Estimation

Cours complet · mathématiques approfondies (ECG 2e année), chapitre 12 · prépa ECG, 2e année

Travailler ce chapitre sur Adloun Exercices corrigés de ce chapitre

Toute l'année a supposé les lois connues : on donnait $p$ , $λ$ , $μ$ , et l'on en déduisait des probabilités. La statistique inférentielle renverse la question. On observe des données, on ignore le paramètre, et l'on veut le deviner — en disant honnêtement avec quelle marge d'erreur.

Ce chapitre fournit les deux réponses : une valeur unique, l'estimation ponctuelle ; et une fourchette assortie d'un niveau de confiance, l'intervalle de confiance.

AttentionCe que le programme écarte

« La notion de risque quadratique n'est pas au programme. » On comparera donc deux estimateurs par leur biais et leur variance, jamais par une quantité qui les combine.

12.1 Le cadre

Définition 12.1Modèle, échantillon, estimateur

On observe une variable aléatoire $X$ dont la loi dépend d'un paramètre inconnu $θ$ décrivant un ensemble $Θ$ . Un $n$ -échantillon est une suite $(X_{1}, \dots, X_{n})$ de variables $P_{θ}$ -indépendantes et de même loi que $X$ .

Un estimateur de $g (θ)$ est une variable aléatoire $T_{n} = φ (X_{1}, \dots, X_{n})$ , où $φ$ ne dépend pas de $θ$ . Sa réalisation $φ (x_{1}, \dots, x_{n})$ sur les données observées est l'estimation.

ImportantUn estimateur est une variable aléatoire, une estimation est un nombre

La distinction est constante et elle est essentielle. $T_{n}$ a une loi, une espérance, une variance — c'est sur elles qu'on juge sa qualité. L'estimation, elle, est le nombre qu'on lit une fois les données recueillies : on ne peut rien en dire seule.

Exemple 12.2La moyenne empirique

Pour estimer $m = E (X)$ , on prend $X_{n} = \frac{X _{1} + \dots + X _{n}}{n}$ . Alors $E (X_{n}) = m$ et $V (X_{n}) = \frac{σ ^{2}}{n}$ .

12.2 Qualités d'un estimateur

Définition 12.3Estimateur sans biais

$T_{n}$ est un estimateur sans biais de $g (θ)$ lorsque

$\forall θ \in Θ, E_{θ} (T_{n}) = g (θ) .$

Définition 12.4Suite convergente d'estimateurs

Une suite $(T_{n})_{n ⩾ 1}$ d'estimateurs de $g (θ)$ est convergente lorsque, pour tout $θ$ ,

$T_{n} P g (θ) .$

◆Théorème 12.5Condition suffisante de convergence

Si $n \to + \infty lim E (T_{n}) = g (θ)$ et $n \to + \infty lim V (T_{n}) = 0$ , alors $(T_{n})$ est convergente.

Démonstration

Elle repose sur l'inégalité de Bienaymé-Tchebychev appliquée à $T_{n}$ , dont la variance tend vers $0$ : l'écart à $E (T_{n})$ devient improbable, et $E (T_{n})$ tend vers $g (θ)$ .

◆Théorème 12.6Transport par une fonction continue

Si $(T_{n})$ est une suite convergente d'estimateurs de $g (θ)$ et si $f$ est continue sur $R$ , alors $(f (T_{n}))$ est une suite convergente d'estimateurs de $f (g (θ))$ .

ImportantComment on fabrique un estimateur à partir d'un autre

$X_{n}$ estime $m$ ; par le théorème, $X_{n}^{2}$ estime $m^{2}$ , $e^{X_{n}}$ estime $e^{m}$ , et ainsi de suite. Attention : le nouvel estimateur n'est en général plus sans biais, car $E (f (T_{n})) \neq = f (E (T_{n}))$ .

12.3 Intervalle de confiance

Définition 12.7Intervalle de confiance

Soient $(U_{n})$ et $(V_{n})$ deux suites d'estimateurs avec $P_{θ} ([U_{n} ⩽ V_{n}]) = 1$ . $[U_{n}, V_{n}]$ est un intervalle de confiance de $g (θ)$ au niveau $1 - α$ lorsque

$\forall θ \in Θ, P_{θ} ([U_{n} ⩽ g (θ) ⩽ V_{n}]) ⩾ 1 - α .$

Définition 12.8Intervalle de confiance asymptotique

$([U_{n}, V_{n}])_{n ⩾ 1}$ est un intervalle de confiance asymptotique au niveau $1 - α$ lorsque, pour tout $θ$ , il existe une suite $(α_{n})$ de $[0, 1]$ de limite $α$ telle que

$\forall n ⩾ 1, P_{θ} ([U_{n} ⩽ g (θ) ⩽ V_{n}]) ⩾ 1 - α_{n} .$

ImportantCe qui est aléatoire, ce sont les bornes

$g (θ)$ est un nombre fixe et inconnu. Ce sont $U_{n}$ et $V_{n}$ qui varient d'un échantillon à l'autre. Le niveau de confiance est donc une proportion d'intervalles qui contiennent la vraie valeur, et non une probabilité portant sur le paramètre.

12.3.1 Par Bienaymé-Tchebychev

◆Théorème 12.9Intervalle pour le paramètre d'une loi de Bernoulli

Soit $(X_{1}, \dots, X_{n})$ un $n$ -échantillon de $B (p)$ et $F_{n} = X_{n}$ . Comme $p (1 - p) ⩽ \frac{1}{4}$ ,

$[F_{n} - \frac{1}{2 n α}, F_{n} + \frac{1}{2 n α}]$

est un intervalle de confiance de $p$ au niveau $1 - α$ .

◆Théorème 12.10Moyenne d'une loi normale d'écart-type connu

Si les $X_{i}$ suivent $N (m, σ^{2})$ avec $σ$ connu, alors $X_{n} ↪ N (m, \frac{σ ^{2}}{n})$ et

$[X_{n} - t_{α} \frac{σ}{n}, X_{n} + t_{α} \frac{σ}{n}]$

est un intervalle de confiance exact de $m$ au niveau $1 - α$ , où $t_{α}$ est le quantile d'ordre $1 - \frac{α}{2}$ de $N (0, 1)$ .

Définition 12.11Variance empirique

$S_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - X_{n})^{2}$ .

12.3.2 Intervalle asymptotique

◆Théorème 12.12Par le théorème limite central

Si les $X_{i}$ sont indépendantes de même loi, d'espérance $m$ et de variance $σ^{2}$ finie non nulle, alors

$[X_{n} - t_{α} \frac{σ}{n}, X_{n} + t_{α} \frac{σ}{n}]$

est un intervalle de confiance asymptotique de $m$ au niveau $1 - α$ . Pour $α = 0, 05$ , $t_{α} \approx 1, 96$ .

Python : Compter les intervalles qui couvrent


import random, math

random.seed(2)
p, n, N = 0.4, 200, 20000
couvre = 0
for _ in range(N):
    f = sum(1 for _ in range(n) if random.random() < p)/n
    demi = 1.96*math.sqrt(f*(1-f)/n)
    if f - demi <= p <= f + demi:
        couvre += 1
print(round(couvre/N, 4))     # proche de 0.95

On ne vérifie pas que « $p$ est dans l'intervalle » — $p$ est fixe. On compte la proportion d'intervalles qui le contiennent, et l'on retrouve le niveau annoncé. C'est la définition mise en acte.

Continuer sur Adloun : animation, QCM, fiches, exercices