Probabilité d’atteinte d’un état

(Xn)n désigne une chaine de Markov homogène d’espace d’états X fini ou dénombrable de matrice de transition Q : on pourra interpréter Xn comme modélisant l’état d’un système à l’instant n.

La loi initiale de la chaine (Xn) ayant été fixée, seuls interviennent dans l’étude de l’évolution de la chaine les états susceptibles d’être atteints. On pose Xa = {x ∈ X, il existe n ≥ 0, P(Xn = x) > 0}.

Pour un état e ∈ Xa, on notera T(n)e le temps qu’il faut à la chaine pour atteindre l’état e strictement après l’instant n :

  • T(n)e désigne donc le plus petit entier k > 0 tel que Xn+k = e si la chaine passe par e après l’instant n
  • T(n)e = +∞ si la chaine ne passe pas par l’état e après l’instant n.
  • Pour simplifier les notations T(0)e sera aussi noté simplement Te.

Soit i, e ∈ Xa.

  • Pour tout n ∈ N et k ∈ N , la probabilité d’atteindre l’état e à l’instant n+k pour la première fois après l’instant n sachant que Xn = i ne dépend pas de n, on la notera fi,e(k) = P(T(n)e = k|Xn = i). Elle vérifie l’équation suivante : fi,e(1) = Q(i, e) et fi,e(k) = ∑j∈X\{e} Q(i, j)fj,e(k − 1) pour tout k ≥ 2.

L’équation pour fi,e(k) traduit simplement le fait que pour arriver pour la première fois dans l’état e en k pas, en partant de l’état i, il faut aller de l’état i à un état j≠e, puis partant de j, arriver pour la première fois en e en k − 1 pas.

  • La probabilité d’atteindre l’état e après l’instant n, sachant que Xn = i ne dépend pas de n, on la notera fi,e : fi,e = P(T(n)e < +∞|Xn = i). Elle vérifie : fi,e = Q(i e) + ∑j∈X\{e} Q(i,j)fj,e.

L’équation pour fi,e traduit le fait que la chaine atteint e à partir d’un état i soit directement, soit passe de l’état i à un état j≠e puis atteint e à partir de l’état j.

Notons que fi,e=1 si et seulement si fj,e=1 pour tout état j≠e tel que Q(i,j)>0.

Exemple

Supposons que le joueur dispose de 1 euro et joue à un jeu de hasard où la mise est de 1 euro jusqu’à ce qu’il ait atteint la somme de 3 euros ou jusqu’à ce qu’il soit ruiné.

Rappelons que p désigne la probabilité qu’il gagne une partie et donc gagne 1 euro et 1−p est la probabilité qu’il perde la partie et donc perde 1 euro.

On cherche la probabilité qu’il réussisse ainsi à avoir 3 euros, c’est-à-dire f1,3. L’équation avec i=1 et e=3 s’écrit f1,3 = pf2,3 + (1 − p)f0,3. On a f0,3 = 0 puisque le joueur ne peut pas jouer s’il n’a pas d’argent initialement (0 est un état absorbant). Il reste à écrire l’équation pour f2,3 qui est la probabilité qu’un joueur arrive à obtenir 3 euros s’il a au départ 2 euros. On obtient : f2,3 = 1 − p + (1 − p)f1,3. On a donc à résoudre un système de 2 équations à 2 inconnues : {f1,3 = pf2,3; f2,3 = p + (1 − p)f1,3}.

Ce système a une seule solution qui est f2,3 =p/(1−p(1−p) et f1,3 =p²/1−p(1−p).

En particulier, si le jeu est équitable c’est-à-dire si p = 1/2, on a f1,3 = 1/3 ce qui signifie que si le joueur a initialement 1 euro, il a une chance sur trois d’arriver à obtenir 3 euros. La probabilité que le jeu s’arrête car le joueur est ruiné se calcule de façon analogue en écrivant les équations satisfaites par f1,0, f2,0 et f3,0 et en résolvant le système obtenu. Ce calcul permet de voir que f1,0 + f1,3 = 1, ce qui signifie que le joueur s’arrête forcément au bout d’un nombre fini de parties soit parce qu’il a réussi à obtenir 3 euros, soit parce qu’il est ruiné.

Publicités