Chaînes de Markov
Cours · mathématiques appliquées (ECG 2e année), chapitre 10 · prépa ECG, 2e année · le début du chapitre, la suite sur Adloun
Un client d'un opérateur téléphonique reste chez lui ou part chez le concurrent ; une page web renvoie vers d'autres pages ; un assuré passe d'un bonus à un malus. Dans tous les cas, un système occupe l'un de plusieurs états et change d'état au fil du temps, avec des probabilités qui ne dépendent que de l'état présent — jamais du chemin parcouru pour y arriver.
C'est une chaîne de Markov. Ce chapitre montre que son évolution s'écrit comme un produit matriciel, et que son comportement à long terme se lit sur un vecteur propre — celui de la valeur propre . Tout le chapitre 3 y sert.
Le programme est explicite : « tous les résultats de cette section seront admis ». Ce chapitre est un chapitre de modélisation et de calcul, pas de démonstration.
10.1 Graphe probabiliste et matrice de transition
Un graphe probabiliste à états est un graphe orienté dont les sommets sont numérotés de à et dont chaque arête porte une probabilité, la somme des probabilités sortant de chaque sommet valant .
La matrice de transition est la matrice de où
Ses coefficients sont positifs et chaque ligne somme à .
va de vers : c'est la ligne qui décrit le départ. En conséquence, l'état de la chaîne se note en vecteur ligne et la récurrence s'écrit , avec la matrice à droite. C'est l'inverse de ce à quoi le chapitre 3 a habitué, et l'erreur la plus fréquente.
Exercices du chapitre
- Lire une matrice de transition corrigé
- Le sens du produit corrigé
- Deux pas d'un coup corrigé
- Remonter à la matrice corrigé
- Un modèle de fidélité corrigé
- Bonus-malus corrigé