Deux états absorbants

Ce qu'on emploie. La résolution de $VM=V$, puis un découpage en événements incompatibles selon la durée du séjour dans l'état $2$, et la somme d'une série géométrique.

C'est une matrice de transition. Les coefficients sont positifs, et les lignes somment à $1$, $0,3+0,4+0,3=1$, et $1$. Les états $1$ et $3$ sont absorbants : une fois atteints, on n'en sort plus.

Les états stables. Soit $V=(p;q;r)$. On calcule $VM$ colonne par colonne : $$(VM{)}_1=p+0,3q,(VM{)}_2=0,4q,(VM{)}_3=0,3q+r.$$ L'équation $VM=V$ donne trois conditions, dont la deuxième, $0,4q=q$, impose $q=0$ ; les deux autres deviennent alors des identités. Avec la normalisation, l'ensemble des états stables est $$\{(p;0;1-p)\mid p\in [0,1]\}:$$ il n'y en a pas un, mais tout un segment. L'unicité que l'on observe d'ordinaire tenait à ce que le graphe permettait d'aller partout ; ce n'est plus le cas ici.

L'absorption par l'état $1$. Partant de $2$, la chaîne y reste un certain nombre de pas, puis en sort — vers $1$ ou vers $3$ — et s'y fixe. Pour $k⩾0$, l'événement « rester $k$ pas en $2$ puis passer en $1$ » a pour probabilité $0,4^k\times 0,3$, par indépendance des transitions successives. Ces événements sont deux à deux incompatibles, donc $$P(\text{absorption en }1)=\sum _{k=0}^{+\infty }0,4^k\times 0,3=\frac{0,3}{1-0,4}=\frac{0,3}{0,6}=0,5,$$ la série géométrique convergeant car $|0,4|<1$.

Contrôle. Le même calcul avec $0,3$ vers l'état $3$ donne également $0,5$, et la somme fait $1$ : la chaîne est absorbée presque sûrement, ce qui est cohérent puisque la probabilité de rester en $2$ pendant $n$ pas, $0,4^n$, tend vers $0$.