Convergences et approximations

Cours complet · mathématiques (ECT 2e année), chapitre 10 · prépa ECT, 2e année

Travailler ce chapitre sur Adloun Exercices corrigés de ce chapitre

Jusqu'ici, une variable aléatoire se décrivait par sa loi. Ce chapitre change de point de vue : il demande ce qu'on peut dire d'une variable aléatoire quand on ne connaît d'elle que son espérance, ou son espérance et sa variance — autrement dit, ce que ces deux nombres, à eux seuls, garantissent.

La réponse tient en deux inégalités, celle de Markov et celle de Bienaymé-Tchebychev. Elles sont grossières, et c'est leur intérêt : elles valent pour toutes les lois. C'est ce caractère universel qui permet ensuite de démontrer le résultat central de l'année — la loi faible des grands nombres — puis, au chapitre suivant, de fabriquer un intervalle de confiance sans rien savoir de la loi observée.

AttentionDeux résultats que le programme dit non exigibles

Le programme accompagne l'inégalité de Markov et l'inégalité de Bienaymé-Tchebychev de la même mention : « Résultat non exigible. »

Cela ne veut pas dire qu'on peut les ignorer : elles servent partout dans le chapitre et dans le suivant, et il faut savoir les appliquer. Cela veut dire qu'on ne vous demandera pas de les restituer ni de les redémontrer pour elles-mêmes. Les démonstrations données ici sont là pour l'intelligence du résultat, pas comme un attendu.

10.1 L'inégalité de Markov

Définition 10.1Le problème posé

Soit $X$ une variable aléatoire à valeurs positives dont on connaît l'espérance $E (X)$ , et rien d'autre. Que peut-on dire de la probabilité que $X$ dépasse un seuil $a > 0$ ?

L'intuition est simple. Si le nombre moyen de retours quotidiens d'une boutique est $1, 75$ , il ne peut pas y avoir « souvent » des journées à $10$ retours : chaque grosse journée pèse lourd dans la moyenne, donc elle doit être rare. Mettre un chiffre sur ce « donc elle doit être rare », c'est exactement l'inégalité de Markov.

◆Théorème 10.2Inégalité de Markov

Soit $X$ une variable aléatoire à valeurs positives admettant une espérance. Alors

$\forall a > 0, P ([X \geq a]) \leq \frac{E ( X )}{a} .$

Démonstration

Traitons le cas d'une variable discrète finie prenant les valeurs $x_{1}, \dots, x_{r}$ , toutes positives. Par définition, $E (X) = \sum_{i = 1}^{r} x_{i} P ([X = x_{i}])$ . Tous les termes sont positifs : on ne diminue pas la somme en ne gardant que ceux pour lesquels $x_{i} \geq a$ . Or sur ces termes-là, $x_{i} \geq a$ , donc

$E (X) \geq x_{i} \geq a \sum x_{i} P ([X = x_{i}]) \geq x_{i} \geq a \sum a P ([X = x_{i}]) = a P ([X \geq a]) .$

On divise par $a > 0$ .

Exemple 10.3Un temps d'attente au service client

Le temps d'attente $T$ d'un appel, en minutes, est positif et d'espérance $4$ minutes. Sans rien savoir de plus, $P ([T \geq 20]) \leq \frac{4}{20} = 0, 2$ . Au plus $20 %$ des appelants attendent un quart d'heure ou plus. C'est une garantie contractuelle utilisable telle quelle, même si le fournisseur refuse de communiquer la loi de $T$ .

AttentionLa positivité n'est pas un détail

L'inégalité est fausse sans l'hypothèse $X \geq 0$ . Prenons $X$ qui vaut $- 100$ ou $+ 100$ avec probabilité $1/2$ chacune : alors $E (X) = 0$ , et l'inégalité de Markov prédirait $P ([X \geq 1]) \leq 0$ , alors que cette probabilité vaut $1/2$ .

La démonstration montre où l'hypothèse sert : c'est la ligne « tous les termes sont positifs, on ne diminue pas la somme en en supprimant ».

iRemarqueOn peut l'appliquer à autre chose que

X

Le programme le suggère : rien n'oblige à appliquer Markov à $X$ elle-même. Si $r \in N^{*}$ , la variable $Y = ∣ X ∣^{r}$ est positive, et Markov lui donne $P ([∣ X ∣ \geq a]) = P ([∣ X ∣^{r} \geq a^{r}]) \leq \frac{E ( ∣ X ∣ ^{r} )}{a ^{r}}$ . C'est en prenant $r = 2$ sur la variable $∣ X - E (X) ∣$ qu'on obtient la seconde inégalité du chapitre.

10.2 L'inégalité de Bienaymé-Tchebychev

Markov ne parle que de grandes valeurs. La question vraiment utile est autre : $X$ a-t-elle des chances de tomber loin de sa moyenne, dans un sens ou dans l'autre ? Il faut pour cela une seconde information, et ce sera la variance.

◆Théorème 10.4Inégalité de Bienaymé-Tchebychev

Soit $X$ une variable aléatoire admettant un moment d'ordre $2$ , d'espérance $m = E (X)$ et de variance $V (X)$ . Alors

$\forall ε > 0, P ([∣ X - m ∣ \geq ε]) \leq \frac{V ( X )}{ε ^{2}} .$

Démonstration

Posons $Y = (X - m)^{2}$ . C'est une variable positive, et son espérance est précisément $E (Y) = V (X)$ . Les deux événements $[∣ X - m ∣ \geq ε]$ et $[Y \geq ε^{2}]$ sont le même événement, puisque $∣ X - m ∣ \geq ε$ équivaut à $(X - m)^{2} \geq ε^{2}$ pour $ε > 0$ . L'inégalité de Markov appliquée à $Y$ avec le seuil $a = ε^{2}$ donne alors

$P ([∣ X - m ∣ \geq ε]) = P ([Y \geq ε^{2}]) \leq \frac{E ( Y )}{ε ^{2}} = \frac{V ( X )}{ε ^{2}} .$

ImportantCe que cette inégalité dit vraiment

Elle transforme une information sur la dispersion en une information sur la probabilité. Écrite avec $ε = k σ$ , où $σ = V (X)$ est l'écart-type, elle devient

$P ([∣ X - m ∣ \geq k σ]) \leq \frac{1}{k ^{2}},$

et cette forme se retient : au plus $1/ k^{2}$ de la masse est à plus de $k$ écarts-types de la moyenne, quelle que soit la loi. Pour $k = 2$ : au plus $25 %$ . Pour $k = 3$ : au plus $11, 1 %$ .

Python : Vérifier les deux inégalités sur la loi des retours


import numpy as np

val = np.array([0, 1, 2, 3, 4, 5, 6])
pro = np.array([0.20, 0.30, 0.25, 0.12, 0.08, 0.03, 0.02])
m = np.sum(val * pro)
V = np.sum(val**2 * pro) - m**2

print(m, V)
print(np.sum(pro[val >= 4]), m / 4)
print(np.sum(pro[np.abs(val - m) >= 2]), V / 4)
# 1.75 2.0675
# 0.13 0.4375
# 0.13 0.516875

Les deux bornes sont vraies, et toutes deux très au-dessus de la vraie valeur $0, 13$ . Une inégalité n'est pas une approximation : elle ne promet pas d'être proche, seulement de ne jamais être fausse.

10.3 Suites de variables aléatoires

Pour parler de moyennes, il faut d'abord savoir manipuler une famille de variables aléatoires, et surtout dire ce que signifie qu'elles ne s'influencent pas.

Définition 10.5Indépendance mutuelle

Les variables aléatoires $X_{1}, \dots, X_{n}$ sont mutuellement indépendantes si, pour tout choix d'intervalles réels $I_{1}, \dots, I_{n}$ , les événements $[X_{1} \in I_{1}], \dots, [X_{n} \in I_{n}]$ sont mutuellement indépendants.

Les variables d'une suite $(X_{n})_{n \in N^{*}}$ sont dites mutuellement indépendantes si, pour tout entier $n \geq 1$ , les variables $X_{1}, \dots, X_{n}$ le sont.

AttentionDeux à deux ne suffit pas

« Mutuellement indépendantes » est plus fort que « indépendantes deux à deux » : il ne suffit pas que chaque paire soit indépendante, il faut que la propriété de produit vaille pour tous les sous-groupes à la fois. Dans la pratique de ce programme, l'indépendance mutuelle sera toujours donnée par l'énoncé, au titre de la modélisation : des clients distincts, des jours distincts, des pièces tirées avec remise.

◆Théorème 10.6Espérance d'une somme, variance d'une somme d'indépendantes

Soient $X_{1}, \dots, X_{n}$ des variables aléatoires admettant une espérance et une variance, et $S_{n} = X_{1} + \dots + X_{n}$ .

Toujours : $E (S_{n}) = i = 1 \sum n E (X_{i})$ .
Si de plus $X_{1}, \dots, X_{n}$ sont mutuellement indépendantes : $V (S_{n}) = i = 1 \sum n V (X_{i})$ .

ImportantLa dissymétrie des deux formules

L'espérance est toujours additive : aucune hypothèse. La variance ne l'est que sous indépendance — le chapitre sur les couples a montré pourquoi : $V (X + Y) = V (X) + V (Y) + 2 Cov (X, Y)$ , et le terme de covariance ne disparaît que si les variables sont indépendantes.

Retenir la formule sans son hypothèse est la faute la plus coûteuse de ce chapitre : c'est elle qui fait tout fonctionner ensuite.

Exemple 10.7Somme de

n

Bernoulli indépendantes

Soient $X_{1}, \dots, X_{n}$ mutuellement indépendantes, chacune de loi de Bernoulli de paramètre $p$ . Alors $S_{n} = X_{1} + \dots + X_{n}$ compte les succès, donc suit la loi binomiale $B (n, p)$ . Les deux formules donnent immédiatement $E (S_{n}) = n p$ et $V (S_{n}) = n p (1 - p)$ . On retrouve, sans le moindre calcul de somme, l'espérance et la variance de la loi binomiale.

10.4 La moyenne empirique

Définition 10.8Moyenne empirique

Soit $(X_{n})_{n \in N^{*}}$ une suite de variables aléatoires. Pour $n \geq 1$ , on appelle moyenne empirique d'ordre $n$ la variable aléatoire

$X_{n} = \frac{X _{1} + X _{2} + \dots + X _{n}}{n} .$

Proposition 10.9Espérance et variance de la moyenne empirique

Si les $X_{i}$ sont mutuellement indépendantes, de même espérance $m$ et de même variance $σ^{2}$ , alors

$E (X_{n}) = m, V (X_{n}) = \frac{σ ^{2}}{n}, σ (X_{n}) = \frac{σ}{n} .$

Démonstration

Par linéarité, $E (X_{n}) = \frac{1}{n} \sum_{i = 1}^{n} E (X_{i}) = \frac{1}{n} nm = m$ . Pour la variance, on utilise $V (a X) = a^{2} V (X)$ avec $a = 1/ n$ , puis l'additivité sous indépendance :

$V (X_{n}) = \frac{1}{n ^{2}} V (X_{1} + \dots + X_{n}) = \frac{1}{n ^{2}} n σ^{2} = \frac{σ ^{2}}{n} .$

L'écart-type s'obtient en prenant la racine.

ImportantLe

1/ n

est le nombre à retenir

La moyenne empirique est centrée sur la bonne valeur — son espérance est exactement $m$ , quel que soit $n$ — et sa dispersion décroît, mais lentement : en $1/ n$ , pas en $1/ n$ .

Conséquence pratique, celle qui gouverne tout le chapitre suivant : quadrupler la taille de l'échantillon divise l'incertitude par deux seulement. C'est ce qui rend les sondages coûteux.

10.5 La loi faible des grands nombres

◆Théorème 10.10Loi faible des grands nombres

Soit $(X_{n})_{n \in N^{*}}$ une suite de variables aléatoires mutuellement indépendantes, admettant toutes la même espérance $m$ et la même variance. On pose $X_{n} = \frac{X _{1} + \dots + X _{n}}{n}$ . Alors

$\forall ε > 0, n \to + \infty lim P ([∣ X_{n} - m ∣ \geq ε]) = 0.$

Démonstration

Notons $σ^{2}$ la variance commune. La proposition précédente donne $E (X_{n}) = m$ et $V (X_{n}) = σ^{2} / n$ . L'inégalité de Bienaymé-Tchebychev appliquée à $X_{n}$ s'écrit alors, pour tout $ε > 0$ :

$0 \leq P ([∣ X_{n} - m ∣ \geq ε]) \leq \frac{σ ^{2}}{n ε ^{2}} .$

Le membre de droite tend vers $0$ quand $n$ tend vers $+ \infty$ , puisque $σ$ et $ε$ sont fixés. Par encadrement, la probabilité du milieu tend vers $0$ .

ImportantComment lire cet énoncé

Fixons une tolérance $ε$ , aussi petite qu'on veut — un point de pourcentage, un centime. L'énoncé dit que la probabilité de manquer la cible de plus de $ε$ devient aussi petite qu'on veut pourvu qu'on prenne $n$ assez grand.

Il ne dit pas que $X_{n}$ finit par valoir $m$ : à tout rang, la probabilité de se tromper de plus de $ε$ reste strictement positive. Elle devient seulement négligeable. C'est pourquoi on parle de loi faible.

Python : La loi faible, mesurée sur 2000 échantillons


import numpy as np
import numpy.random as rd

rd.seed(5)
eps = 0.05
for n in [50, 200, 800, 3200]:
    moy = np.mean(rd.randint(0, 2, (2000, n)), 1)
    hors = np.mean(np.abs(moy - 0.5) >= eps)
    print(n, hors, round(0.25 / (n * eps**2), 4))
# 50 0.4825 2.0
# 200 0.157 0.5
# 800 0.0035 0.125
# 3200 0.0 0.0312

La colonne du milieu est la proportion observée de moyennes hors de la bande ; la dernière est la garantie de Bienaymé-Tchebychev. La garantie est toujours plus grande — elle ne dit rien pour $n = 50$ , où elle dépasse $1$ — et toutes deux tendent vers $0$ .

iRemarquePourquoi ce théorème est le pivot de l'année

La loi faible des grands nombres justifie la lecture fréquentiste des probabilités : si l'on répète une expérience de façon indépendante, la fréquence observée d'un événement approche sa probabilité. En prenant $X_{i}$ égale à $1$ si l'événement se réalise à la $i$ -ème répétition et $0$ sinon, on a $m = p$ , et $X_{n}$ est exactement la fréquence observée.

C'est ce qui autorise, au chapitre suivant, à estimer un paramètre inconnu par une moyenne observée.

Continuer sur Adloun : animation, QCM, fiches, exercices