Combien de temps reste-t-on dans un état ?

Ce qu'on emploie. La propriété de Markov, qui rend les transitions successives indépendantes conditionnellement à l'état occupé, et la reconnaissance d'une loi géométrique.

L'événement $[T=k]$. Pour $k⩾1$, dire que $T=k$, c'est dire que la chaîne est restée en $1$ aux instants $1,\dots ,k-1$ et l'a quitté à l'instant $k$. Chacun des $k-1$ premiers pas se fait de $1$ vers $1$, avec la probabilité $m_{1,1}=0,8$ ; le dernier quitte l'état $1$, avec la probabilité $1-0,8=0,2$. Donc $$P([T=k])=0,8^{k-1}\times 0,2,k⩾1.$$

La loi. On reconnaît la loi géométrique de paramètre $p=0,2$, à valeurs dans ${\mathbb{N}}^{\ast }$ : $$T\hookrightarrow \mathcal{G}(0,2).$$ Contrôle : la somme des probabilités vaut $0,2{\sum }_{k⩾1}0,8^{k-1}=\frac{0,2}{1-0,8}=1$, la série géométrique convergeant car $|0,8|<1$.

Les moments. Pour une loi géométrique de paramètre $p$, $$E(T)=\frac{1}{p}=\frac{1}{0,2}=5,V(T)=\frac{1-p}{p^2}=\frac{0,8}{0,04}=20.$$

Lecture. La chaîne passe en moyenne cinq pas dans l'état $1$ avant de le quitter. La règle est simple et vaut pour tout état $i$ : le temps de séjour y suit une loi géométrique de paramètre $1-m_{i,i}$, d'espérance $\frac{1}{1-m_{i,i}}$. Un état très « collant » ($m_{i,i}$ proche de $1$) se garde longtemps — et si $m_{i,i}=1$, l'état est absorbant, la variable $T$ n'est plus définie et l'espérance devient infinie, ce que la formule annonce en $\frac{1}{0}$.