Convergences, approximations et estimation

Cours complet · mathématiques appliquées (ECG 2e année), chapitre 12 · prépa ECG, 2e année

Travailler ce chapitre sur Adloun Exercices corrigés de ce chapitre

Un sondage interroge mille personnes et annonce un pourcentage « à deux points près ». D'où vient cette précision, et que veut dire « près » ? Ce chapitre y répond, et il boucle l'année : la moyenne d'un grand échantillon se rapproche de l'espérance — c'est la loi faible des grands nombres — et l'écart suit approximativement une loi normale — c'est le théorème limite central.

De là découle toute la statistique inférentielle : estimer un paramètre inconnu, et dire avec quelle confiance.

AttentionPresque tout est admis, et c'est assumé

Le programme précise que ce chapitre « ne doit pas faire l'objet d'un exposé théorique » et que « toutes les indications devront être fournies aux candidats quant à la justification de l'utilisation des approximations ». On apprend à s'en servir, pas à les démontrer.

12.1 Deux inégalités

◆Théorème 12.1Inégalité de Markov

Si $X$ est une variable aléatoire positive admettant une espérance, alors

$\forall a > 0, P ([X ⩾ a]) ⩽ \frac{E ( X )}{a} .$

◆Théorème 12.2Inégalité de Bienaymé-Tchebychev

Si $X$ admet un moment d'ordre $2$ , alors

$\forall ε > 0, P ([∣ X - E (X) ∣ ⩾ ε]) ⩽ \frac{V ( X )}{ε ^{2}} .$

ImportantUne majoration grossière, mais universelle

Bienaymé-Tchebychev ne suppose rien sur la loi de $X$ — d'où sa généralité, et sa faiblesse : pour une loi normale, elle majore $P (∣ X - μ ∣ ⩾ 2 σ)$ par $0, 25$ , alors que la vraie valeur est $0, 0455$ . On s'en sert quand on ne sait rien, et l'on passe au théorème limite central dès qu'on peut.

12.2 Loi faible des grands nombres

◆Théorème 12.3Loi faible des grands nombres

Soit $(X_{n})_{n ⩾ 1}$ une suite de variables aléatoires indépendantes, de même espérance $m$ et de même variance. Posons $X_{n} = \frac{X _{1} + \dots + X _{n}}{n}$ . Alors

$\forall ε > 0, n \to + \infty lim P ([X_{n} - m ⩾ ε]) = 0.$

Démonstration

$E (X_{n}) = m$ et $V (X_{n}) = \frac{σ ^{2}}{n}$ par indépendance. Bienaymé-Tchebychev donne

$P (X_{n} - m ⩾ ε) ⩽ \frac{σ ^{2}}{n ε ^{2}} n \to + \infty 0.∎$

12.3 Convergence en loi

Définition 12.4Convergence en loi

Une suite $(X_{n})$ converge en loi vers $X$ , noté $X_{n} L X$ , lorsque

$n \to + \infty lim F_{X_{n}} (x) = F_{X} (x)$

en tout réel $x$ où $F_{X}$ est continue.

◆Théorème 12.5Cas des valeurs entières

Si les $X_{n}$ et $X$ sont à valeurs dans $Z$ , alors $X_{n} L X$ si et seulement si

$\forall k \in Z, n \to + \infty lim P ([X_{n} = k]) = P ([X = k]) .$

◆Théorème 12.6De la binomiale à Poisson

Si $X_{n} ↪ B (n, \frac{λ}{n})$ , alors $X_{n} L X$ où $X ↪ P (λ)$ .

◆Théorème 12.7Théorème limite central

Soit $(X_{n})$ une suite de variables aléatoires indépendantes, de même loi, d'espérance $m$ et de variance $σ^{2} \neq = 0$ . Alors

$X_{n}^{*} = n \frac{X _{n} - m}{σ} L N (0, 1),$

c'est-à-dire que pour tous $a ⩽ b$ ,

$n \to + \infty lim P ([a ⩽ X_{n}^{*} ⩽ b]) = \int_{a}^{b} \frac{1}{2 π} e^{- t^{2} /2} d t .$

ImportantCe que le théorème ajoute à la loi des grands nombres

La loi des grands nombres dit que $X_{n}$ s'approche de $m$ . Le théorème limite central dit à quelle vitesse et selon quelle forme : l'écart est de l'ordre de $\frac{σ}{n}$ , et sa distribution est une cloche — quelle que soit la loi de départ. C'est ce dernier point qui est extraordinaire.

12.4 Estimation

12.4.1 Estimation ponctuelle

Définition 12.8Échantillon, estimateur, estimation

Un $n$ -échantillon de $X$ est une suite $(X_{1}, \dots, X_{n})$ de variables indépendantes, de même loi que $X$ . Un estimateur de $g (θ)$ est une variable aléatoire $T_{n} = φ (X_{1}, \dots, X_{n})$ ; sa réalisation $φ (x_{1}, \dots, x_{n})$ sur un échantillon observé est l'estimation.

Exemple 12.9La moyenne empirique

$X_{n} = \frac{X _{1} + \dots + X _{n}}{n}$ estime $m = E (X)$ . On a $E (X_{n}) = m$ — l'estimateur est sans biais — et $V (X_{n}) = \frac{σ ^{2}}{n}$ , qui tend vers $0$ .

ImportantLe maximum de vraisemblance, en une phrase

On cherche la valeur du paramètre qui rend l'échantillon observé le plus probable. Pour une loi de Bernoulli $B (1, p)$ et $k$ succès sur $n$ essais, la probabilité d'observer cet échantillon est $p^{k} (1 - p)^{n - k}$ ; elle est maximale pour $p = \frac{k}{n}$ . On retrouve la fréquence observée. Pour une loi de Poisson, le même raisonnement donne $λ = X_{n}$ .

12.4.2 Intervalle de confiance

Définition 12.10Intervalle de confiance

$[U_{n}, V_{n}]$ est un intervalle de confiance de $m$ au niveau $1 - α$ lorsque

$P ([U_{n} ⩽ m ⩽ V_{n}]) ⩾ 1 - α .$

ImportantCe qui est aléatoire, ce sont les BORNES

$m$ est un nombre fixe et inconnu ; il ne « tombe » pas dans l'intervalle avec une probabilité. Ce sont $U_{n}$ et $V_{n}$ qui sont aléatoires : sur un grand nombre d'expériences, $95 %$ des intervalles construits contiennent $m$ . Dire « $m$ a $95 %$ de chances d'être là » est un abus de langage courant, mais un contresens.

◆Théorème 12.11Intervalle par Bienaymé-Tchebychev

Si les $X_{i}$ ont pour variance $σ^{2}$ connue, alors

$[X_{n} - \frac{σ}{n α}, X_{n} + \frac{σ}{n α}]$

est un intervalle de confiance de $m$ au niveau $1 - α$ .

Démonstration

Bienaymé-Tchebychev appliquée à $X_{n}$ , de variance $\frac{σ ^{2}}{n}$ , donne $P (∣ X_{n} - m ∣ ⩾ ε) ⩽ \frac{σ ^{2}}{n ε ^{2}}$ . On choisit $ε$ tel que ce majorant vaille $α$ : $ε = \frac{σ}{n α}$ .

◆Théorème 12.12Intervalle asymptotique par le théorème limite central

Avec $S_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - X_{n})^{2}$ la variance empirique et $t_{α}$ le quantile d'ordre $1 - \frac{α}{2}$ de $N (0, 1)$ :

$P (X_{n} - t_{α} \frac{S _{n}}{n} < m < X_{n} + t_{α} \frac{S _{n}}{n}) n \to + \infty 1 - α .$

Pour $α = 0, 05$ , $t_{α} \approx 1, 96$ .

Python : Voir le théorème limite central


import random, math

random.seed(0)
def moyenne_de(n):
    return sum(random.random() for _ in range(n))/n

for n in (1, 4, 30):
    ech = [moyenne_de(n) for _ in range(200000)]
    m = sum(ech)/len(ech)
    v = sum((x-m)**2 for x in ech)/len(ech)
    print(n, round(m, 4), round(v, 5), round(1/(12*n), 5))
# 1  0.5000  0.08333  0.08333
# 4  0.5001  0.02083  0.02083
# 30 0.5000  0.00278  0.00278

La variance de la moyenne vaut bien $\frac{σ ^{2}}{n} = \frac{1}{12 n}$ à chaque fois. Et la forme de la distribution, elle, devient une cloche — ce que la moyenne et la variance seules ne montrent pas.

Continuer sur Adloun : animation, QCM, fiches, exercices