Un cycle à trois états

Exercice d'entraînement · niveau 2 · mathématiques appliquées (ECG 2e année), chapitre 10 — Chaînes de Markov · Comportement en temps long

Énoncé

Soit $M = 001100010$ . Vérifier que c'est une matrice de transition, déterminer tous ses états stables, puis étudier la suite $(V_{n})$ pour $V_{0} = (1; 0; 0)$ .

Corrigé

Ce qu'on emploie. La définition d'une matrice de transition, la résolution de $V M = V$ avec normalisation, et le calcul direct des premiers termes.

C'est bien une matrice de transition. Tous les coefficients valent $0$ ou $1$ , donc sont positifs, et chaque ligne comporte exactement un $1$ : les trois sommes de lignes valent $1$ . La chaîne passe de $1$ à $2$ , de $2$ à $3$ et de $3$ à $1$ , de façon certaine.

Les états stables. Soit $V = (p; q; r)$ . Le produit $V M$ se calcule colonne par colonne : la colonne $1$ de $M$ est $(0, 0, 1)$ , donc $(V M)_{1} = r$ ; de même $(V M)_{2} = p$ et $(V M)_{3} = q$ . L'équation $V M = V$ s'écrit $r = p, p = q, q = r,$ c'est-à-dire $p = q = r$ . La normalisation $p + q + r = 1$ donne alors $V = (\frac{1}{3}; \frac{1}{3}; \frac{1}{3}),$ unique état stable.

La suite des états. Avec $V_{0} = (1; 0; 0)$ : $V_{1} = (0; 1; 0), V_{2} = (0; 0; 1), V_{3} = (1; 0; 0) = V_{0} .$ La suite est périodique de période $3$ : elle prend indéfiniment ces trois valeurs, et ne converge donc pas.

La leçon. L'état stable existe et il est unique, mais il n'attire pas : la chaîne ne s'en approche jamais. C'est exactement l'avertissement du cours, ici sur trois états au lieu de deux. On remarque tout de même que sur trois pas consécutifs, la chaîne visite chaque état exactement une fois : la fréquence moyenne de passage vaut $\frac{1}{3}$ dans chaque état, ce que l'état stable annonçait.

Les autres exercices de ce chapitre Le cours du chapitre

Un blocage sur cet exercice ? Le tuteur d'Adloun guide par questions, sans donner la réponse.