Chaines de Markov en temps continu

Dans le cas du temps discret, nous observons les états sur des moments instantanés et immuables. Dans le cadre du temps continu, les observations se dont de façon continu, c’est à dire sans interruption temporelle.

Temps continu

Soient M + 1 états mutuellement exclusifs. L’analyse débute au temps 0 et le temps s’écoule de façon continue, on nomme X(t) l’état du système au temps t. Les points de changement d’états ti sont des points aléatoires dans le temps (ils ne sont pas nécessairement entiers). Il est impossible d’avoir deux changements d’états en même temps.

langage62

Considérons trois points consécutifs dans le temps où il y a eu un changement d’états r dans le passé, s à l’instant présent et s + t dans le futur. X(s) = i et X(r) = l . Un processus stochastique en temps continu à la propriété de Markov si :

langage63

Les probabilités de transition sont stationnaires puisqu’elles sont indépendantes de s. On note pij(t) = P(X(t) = j , X(0) = i ) la fonction de probabilité de transition en temps continu.

Notons Ti une variable aléatoire dénotant le temps passé dans l’état i avant de se déplacer vers un autre état, i∈{0, …,M}. Supposons que le processus entre dans l’état i au temps t’ = s. Alors pour une durée t > 0, Ti > t ⇔ X(t’ = i ), ∀t’∈[s, s + t].

La propriété de stationnarité des probabilités de transition entraîne : P(Ti > s + t, Ti > s) = P(Ti > t). La distribution du temps restant d’ici la prochaine sortie de i par le processus est la même quel que soit le temps déjà passé dans l’état i . La variable Ti est sans mémoire. La seule distribution de variable aléatoire continue ayant cette propriété est la distribution exponentielle.

La distribution exponentielle Ti possède un seul paramètre qi et sa moyenne (espérance mathématique) est R[Ti ] = 1/qi. Ce résultat nous permet de décrire une chaîne de Markov en temps continu d’une façon équivalente comme suit :

  • La variable aléatoire Ti a une distribution exponentielle de paramètre λ
  • quand le processus quitte l’état i, il passe à l’état j avec  une probabilité pij telle que (similaire à une chaîne de Markov en temps discret) : proba36
  • le prochain état visité après i est indépendant du temps passé dans l’état i.
  • La chaîne de Markov en temps continu possède les mêmes propriétés de Classe et d’Irréductibilité que les chaînes en temps discret.

proba41

Voici quelques propriétés de la loi exponentielle :

proba42

Modèle de durée

Ainsi, si on considère μi le paramètre de la variable aléatoire exponentielle associé à l’état i, nous pouvons représenter la chaîne de Markov à temps continue comme suit :

proba43

Nous voyons bien la chaîne de Markov à temps discret incluse, d’où la possibilité d’effectuer une étude du modèle discret. A noter qu’il n’existe pas de notion de périodicité dans ce cadre.

Si l’on considère qu’on se déplace de l’état i à l’état j après un temps Tij et que l’on considère ce temps comme une variable aléatoire exponentielle de taux μij, alors il est possible d’écrire la chaîne de Markov en temps continu sous un modèle de durée :

proba44

Attention, il existe un grand changement entre le côté stochastique du mouvement d’un état à un autre et le côté continue dans le temps. Il est important de comprendre que la matrice de transition d’une chaîne de Markov en temps continue est toujours un modèle de durée.

La matrice de transition d’un modèle de durée à les propriétés suivantes :

proba45

Cette matrice est appelé le générateur infinitésimale.

Ainsi, à partir du graphe de Markov discret suivant (la loi exponentielle est la même dans les trois états) :

proba37

Il est possible d’obtenir le modèle de temps suivant :

proba38

Publicités