Critères de récurrence et transience

Nous allons étudier une seconde classification des états dépendant du type de comportement de la chaîne.

Soit x un état de la chaîne, nous notons le temps d’atteinte de x, noté Tx, le premier instant où x est visité après le départ. par convention, le temps d’atteinte est infini si nous n’atteignons jamais x. La formule est la suivante (nous utiliserons les notations classiques pour les probabilités) :

proba16

Si la chaîne part de l’état x, nous employons le terme de temps de retour.

Un état x est dit récurrent si :proba17

L’état x est dit transient ou transitoire sinon, c’est à dire quand :

proba18

Un état est récurrent si nous sommes sûr d’y revenir, il est transient s’il existe une probabilité non nulle de ne jamais y revenir, et donc de le quitter définitivement.

Une classe d’équivalence est dite récurrente, respectivement transiente, si un de ses sommets est récurrent, resp. transient.

Une classe récurrente est fermée, autrement dit, la probabilité de sortir d’une classe récurrente est nulle.

Soit x un état quelconque appartenant à la classe de récurrence C. Supposons
qu’il existe y ∉ C tel que x → y et montrons que l’on a une contradiction. Remarquons d’abord que y ne conduit à aucun sommet de C, car sinon on aurait y → x et donc x ↔ y et y ∈ C. De plus, on a :

proba19

Or, la probabilité de ne pas revenir en x est bornée inférieurement par la probabilité
d’aller en y en temps fini (vu que y ne conduit à aucun état de C). Ainsi, nous avons la relation suivante :

proba20

Ce qui est une contradiction avec x récurrent. Nous voyons qu’une classe récurrente est fermée, mais la réciproque est fausse en général, elle est tout de même vérifiée si cette classe est de cardinal fini.

Il est important de retenir le corollaire suivant :  une chaîne de Markov définie sur un espace d’états fini admet au moins un état récurrent.
Publicités