Loi invariante et comportement asymptotique

Nous cherchons à comprendre la comportement asymptotique d’une chaine de Markov homogène. C’est à dire la limite des probabilités de transition Qn(i,j) quand n devient très grand.

Périodicité

Prenons l’exemple de la matrice suivante P={0, 1; 1, 0}. Nous constatons que P²=Id ce qui implique la relation suivante : ∀n∈Ν, P2n+1=P.

Une telle chaine ne converge pas, on dit qu’elle est 2-périodique ou de période 2.

Une chaine est dite k-périodique ssi : ∀(n,k)∈Ν², Pkn+1=P. Les états d’une classe ont tous la même période.

Toute chaine n’est pas périodique. Définissons dans un premier temps les états apériodiques.

Un état x est dit apériodique si Pn(x,x)>0. Si P est irréductible et possède au moins un état apériodique, alors tous les états sont apériodique.

Lorsque cette convergence est toujours égale à elle-même, on parle alors de convergence à l’équilibre ou de loi invariante.

Loi invariante

Une dit qu’une mesure de probabilité π est invariante ou stationnaire si pour une matrice de transition P nous avons πP=π. Notons que puisque π est une mesure alors la somme de ces termes est égale à 1.

Soit (Xn) définissant une chaine de Markov homogène avec P une matrice de transition irréductible et apériodique possédant une mesure invariante π. Alors :

  • P(Xn = x) → π(x) quand n → ∞ pour tout x
  • pn(x, y) → π(y) quand n → ∞ pour tous x, y

La vitesse de convergence vers la loi stationnaire est de l’ordre de |ζ|n où ζ est la valeur propre de P différente de 1 et de plus grand module (qui est
strictement plus petit que 1).

Si la chaine est ergodique (irréductible et apériodique) alors tous les états sont atteignable depuis tout autre état. Une telle chaine possède une loi invariante.

Calcul exacte de la mesure

Prenons la définition µP=µ sachant queπ est stochastique (la somme des membres du vecteur est égale à 1. Cela donne le système linéaire suivant :

Une mesure µ sur E est invariante (pour P) si µ = µP, c’est-à-dire : pour tout y ∈ Emarkov1

On parle de loi invariante si de plus µ est une probabilité (µ(E) = 1). On dit aussi loi/probabilité invariante/stationnaire.

 

Vu la relation µn+1 = µnP, on constate de suite que, si µ est une loi invariante et X0 ∼ µ, alors Xn ∼ µ pour tout n. On remarque aussi que µ ne dépend pas du vecteur de distribution initial.

Prenons par exemple une chaîne de Markov à deux états, dont la la matrice de transition est
P=\begin{pmatrix}0,4&0,6\\0,2&0,8\end{pmatrix}

La loi invariante est (x\;;\;y) tel que x+y=1  et (x\;;\;y)\cdot P=(x\;;\;y) .

Ce qui conduit à résoudre le système :

\begin{cases}x+y=1\\0.4x+0.2y=x\\0.6x+0.8y=y\end{cases}

Il est facile de voir que la troisième équation est une conséquence des deux premières.

On trouve x=0.25 et y=0.75

Publicités