Estimation

Cours complet · mathématiques (ECT 2e année), chapitre 11 · prépa ECT, 2e année

Travailler ce chapitre sur Adloun Exercices corrigés de ce chapitre

Tous les chapitres de probabilités ont procédé dans le même sens : on se donnait une loi, et l'on en déduisait des probabilités. Ce chapitre marche à l'envers. La loi est là, mais l'un de ses paramètres est inconnu — la proportion d'électeurs favorables à une mesure, le taux de pièces défectueuses d'une chaîne, le nombre moyen de réclamations d'un service. On ne dispose que d'observations, et l'on veut remonter d'elles au paramètre.

C'est le travail de l'estimation. Il en existe deux formes : donner un seul nombre, aussi proche que possible du paramètre — c'est l'estimation ponctuelle ; ou donner un intervalle assorti d'une garantie — c'est l'intervalle de confiance. Les deux reposent entièrement sur les deux résultats du chapitre précédent.

AttentionCe que le programme demande, et ce qu'il ne demande pas

Le programme est explicite sur le niveau attendu. Sur les intervalles de confiance : « Ce paragraphe a uniquement pour but de préciser le vocabulaire employé. […] aucune connaissance autre que ce vocabulaire n'est exigible sur les intervalles de confiance. »

Il ajoute, à propos du résultat central du chapitre : « Résultat non exigible », et « La démonstration n'est pas un attendu du programme. »

On apprend donc ici un vocabulaire et une pratique : savoir calculer une estimation, savoir écrire un intervalle, savoir dire ce qu'il garantit. Pas une théorie.

11.1 La problématique de l'estimation

Prenons l'exemple qui sert de fil conducteur au chapitre. Une commune veut connaître la proportion $p$ de ses habitants favorables à la piétonnisation du centre-ville. Interroger tout le monde coûterait trop cher : on interroge $n = 500$ personnes tirées au hasard, et $212$ répondent oui.

Définition 11.1Échantillon

On modélise le phénomène par une variable aléatoire $X$ dont la loi dépend d'un paramètre inconnu $θ$ . Observer $n$ fois le phénomène revient à se donner $n$ variables aléatoires $X_{1}, \dots, X_{n}$

indépendantes (chaque observation n'influence pas les autres),
de même loi que $X$ .

Ces $n$ variables forment un échantillon de taille $n$ . Les nombres $x_{1}, \dots, x_{n}$ effectivement observés sont une réalisation de cet échantillon.

ImportantDeux niveaux qu'il ne faut jamais confondre

$X_{1}, \dots, X_{n}$ sont des variables aléatoires : elles décrivent ce qu'on pourrait observer, avant l'enquête. Les $x_{1}, \dots, x_{n}$ sont des nombres : ce qu'on a effectivement observé, après.

Toute la difficulté du chapitre tient dans cet aller-retour. Les garanties se calculent au niveau des variables aléatoires ; les nombres, eux, sont ce qu'ils sont.

AttentionLa notion d'estimateur n'est pas un attendu

Le programme précise : « On pourra éventuellement introduire la notion d'estimateur, mais ce n'est pas un attendu du programme. »

On parlera donc simplement de la variable aléatoire $X_{n}$ et de sa réalisation, sans construire de théorie des estimateurs — ni biais, ni risque quadratique, ni convergence d'estimateurs.

11.2 Estimation ponctuelle

Définition 11.2Estimation ponctuelle par la moyenne empirique

Soit $X_{1}, \dots, X_{n}$ un échantillon de même loi que $X$ , dont l'espérance $m = E (X)$ est le paramètre cherché. On pose

$X_{n} = \frac{X _{1} + \dots + X _{n}}{n} .$

La réalisation de $X_{n}$ observée sur l'échantillon $x_{1}, \dots, x_{n}$ , c'est-à-dire le nombre $x = \frac{x _{1} + \dots + x _{n}}{n}$ , est l'estimation ponctuelle du paramètre obtenue sur cet échantillon.

ImportantPourquoi la moyenne, et pas autre chose

La justification est la loi faible des grands nombres, démontrée au chapitre précédent : $E (X_{n}) = m$ et $P ([∣ X_{n} - m ∣ \geq ε]) \to 0$ .

Autrement dit, $X_{n}$ vise juste en moyenne, et se rapproche de la cible quand $n$ grandit. Ce sont les deux qualités qu'on attend d'une estimation, et ce chapitre n'en demande pas d'autres.

Exemple 11.3Le cas de la loi de Bernoulli : un sondage

On modélise la $i$ -ème réponse par $X_{i}$ valant $1$ si la personne est favorable, $0$ sinon : $X_{i}$ suit la loi de Bernoulli de paramètre $p$ , donc $E (X_{i}) = p$ . Le paramètre inconnu est l'espérance.

La moyenne empirique est alors la fréquence observée : $x = \frac{212}{500} = 0, 424$ . L'estimation ponctuelle de $p$ est $0, 424$ , soit $42, 4 %$ .

ImportantUne estimation ponctuelle est presque toujours fausse

Sur la figure, aucune des trente valeurs ne vaut exactement $0, 42$ , et la plus mauvaise se trompe de onze points. C'est inévitable : $X_{n}$ est une variable aléatoire, elle fluctue.

Un nombre livré seul est donc trompeur. C'est la raison d'être de la seconde moitié du chapitre : accompagner le nombre d'un intervalle et d'une garantie.

Exemple 11.4Le cas de la loi de Poisson

Un service après-vente enregistre le nombre de réclamations reçues chaque jour. On modélise ce nombre par une loi de Poisson de paramètre $λ$ inconnu. Comme $E (X) = λ$ pour une loi de Poisson, le paramètre est encore l'espérance : on l'estime par la moyenne des observations.

Sur $200$ journées totalisant $456$ réclamations, l'estimation ponctuelle est

$λ = \frac{456}{200} = 2, 28 r e ˊ clamations par jour .$

Python : Estimer, et voir l'effet de la taille de l'échantillon


import numpy as np
import numpy.random as rd

rd.seed(2)
p = 0.42
for n in [50, 500, 5000]:
    ech = rd.binomial(1, p, n)
    print(n, np.mean(ech))
# 50 0.28
# 500 0.4
# 5000 0.407

Avec $50$ personnes on annonce $28 %$ pour une valeur réelle de $42 %$ : l'erreur est de quatorze points. Avec $5000$ personnes elle tombe à un point et demi. La qualité d'une estimation n'est pas dans la méthode, elle est dans $n$ .

11.3 Moyenne et écart-type empiriques

Définition 11.5Indicateurs empiriques d'un échantillon

Soit $x_{1}, \dots, x_{n}$ une réalisation d'un échantillon. On appelle

moyenne empirique le nombre $x = \frac{1}{n} i = 1 \sum n x_{i}$ ;
variance empirique le nombre $s^{2} = \frac{1}{n} i = 1 \sum n (x_{i} - x)^{2}$ ;
écart-type empirique le nombre $s = s^{2}$ .

iRemarquePourquoi le programme les mentionne ici

Le programme le dit à propos des intervalles de confiance : « On remarque que dans la pratique, l'écart-type n'est pas connu, ce qui conduit à utiliser l'écart-type de l'échantillon (écart-type empirique). »

Autrement dit, $σ$ manque presque toujours, et l'on met $s$ à sa place. Ce remplacement n'est pas justifié dans ce programme ; il est simplement signalé comme la pratique courante.

11.4 Intervalle de confiance

Définition 11.6Intervalle de confiance : le vocabulaire

Estimer par intervalle de confiance, c'est ne plus donner un seul nombre, mais un intervalle aléatoire — ses deux bornes se calculent à partir de l'échantillon, donc elles sont elles-mêmes aléatoires — qui contienne le paramètre cherché avec une probabilité au moins égale à un nombre fixé d'avance.

Ce nombre, noté $1 - a$ , s'appelle le seuil de confiance (ou niveau de confiance) ; $a$ est le risque.

◆Théorème 11.7Intervalle de confiance issu de Bienaymé-Tchebychev

Soit $X_{1}, \dots, X_{n}$ un échantillon indépendant de même loi que $X$ , d'espérance $E (X)$ et de variance $V (X)$ . Pour tout $a \in] 0, 1 [$ , la probabilité que l'intervalle

$[X_{n} - \frac{V ( X )}{n a}, X_{n} + \frac{V ( X )}{n a}]$

contienne $E (X)$ est supérieure à $1 - a$ .

Démonstration

Posons $ε = V (X) / (na)$ . La moyenne empirique a pour espérance $E (X)$ et pour variance $V (X) / n$ ; Bienaymé-Tchebychev lui donne donc

$P ([∣ X_{n} - E (X) ∣ \geq ε]) \leq \frac{V ( X ) / n}{ε ^{2}} = \frac{V ( X ) / n}{V ( X ) / ( na )} = a .$

En passant à l'événement contraire, $P ([∣ X_{n} - E (X) ∣ < ε]) \geq 1 - a$ , ce qui est exactement l'énoncé.

AttentionNi le résultat ni sa démonstration ne sont exigibles

Le programme accompagne cet énoncé de deux mentions : « Résultat non exigible » et « La démonstration n'est pas un attendu du programme. » Il ajoute : « On se limitera au cas d'une variable de Bernoulli. »

Ce qui reste au programme, c'est de savoir écrire un tel intervalle sur un exemple de sondage, et de savoir dire ce qu'il garantit.

ImportantLe cas de Bernoulli, et la majoration par un quart

Pour une variable de Bernoulli de paramètre $p$ , $V (X) = p (1 - p)$ — qui dépend du paramètre inconnu ! On ne peut donc pas calculer la demi-largeur. Le programme donne l'issue : « En pratique, la variance $V$ est inconnue, mais on peut la majorer par $\frac{1}{4}$ . »

En effet, $p (1 - p) \leq \frac{1}{4}$ pour tout $p \in [0, 1]$ , avec égalité en $p = \frac{1}{2}$ . On remplace donc $V (X)$ par $\frac{1}{4}$ , ce qui agrandit l'intervalle — et une garantie reste vraie sur un intervalle plus grand :

$[f - \frac{1}{2 n a}, f + \frac{1}{2 n a}], f = fr e ˊ quence observ e ˊ e .$

Exemple 11.8Les deux seuils du programme, sur le sondage

Avec $n = 500$ et $f = 0, 424$ , la demi-largeur $\frac{1}{2 n a}$ vaut :

au seuil de confiance de $90 %$ ( $a = 0, 10$ ) : $\frac{1}{2 50} ≃ 0, 0707$ , soit $[0, 353; 0, 495]$ ;
au seuil de confiance de $95 %$ ( $a = 0, 05$ ) : $\frac{1}{2 25} = 0, 100$ , soit $[0, 324; 0, 524]$ .

Exiger plus de confiance élargit l'intervalle : c'est le prix de la garantie.

Python : Écrire l'intervalle, et mesurer ce qu'il couvre vraiment


def ic(f, n, a):
    h = (1 / (4 * n * a))**0.5
    return round(f - h, 4), round(f + h, 4)

print(ic(0.42, 500, 0.05))
print(ic(0.42, 500, 0.10))
print(ic(0.42, 2000, 0.05))
# (0.32, 0.52)
# (0.3493, 0.4907)
# (0.37, 0.47)

La troisième ligne montre l'effet de la taille : passer de $500$ à $2000$ personnes, c'est multiplier $n$ par $4$ , donc diviser la largeur par $2$ .

AttentionUne phrase qu'il ne faut pas dire

Une fois le sondage réalisé, l'intervalle $[0, 324; 0, 524]$ est un intervalle de nombres : soit il contient $p$ , soit il ne le contient pas. Il n'y a plus de hasard, et il est faux d'écrire « $P (p \in [0, 324; 0, 524]) = 0, 95$ ».

La bonne formulation porte sur la méthode : si l'on répétait le sondage, au moins $95 %$ des intervalles ainsi construits contiendraient $p$ . C'est la figure précédente, lue ligne par ligne.

11.5 Choisir la taille de l'échantillon

La demi-largeur $\frac{1}{2 na}$ ne dépend que de deux choses : le risque consenti $a$ et la taille $n$ . On peut donc, avant de lancer l'enquête, décider de sa taille.

Proposition 11.9Taille nécessaire pour une précision donnée

Pour que l'intervalle de confiance au seuil $1 - a$ ait une demi-largeur au plus égale à $ε$ , il suffit de prendre

$n \geq \frac{1}{4 a ε ^{2}} .$

Démonstration

La demi-largeur vaut $\frac{1}{2 na}$ . L'inégalité $\frac{1}{2 na} \leq ε$ équivaut à $2 na \geq \frac{1}{ε}$ , puis à $4 na \geq \frac{1}{ε ^{2}}$ , d'où le résultat en divisant par $4 a > 0$ .

Python : La garantie est-elle atteinte, ou largement dépassée ?


import numpy as np
import numpy.random as rd

rd.seed(4)
n, p, a = 500, 0.42, 0.05
h = np.sqrt(1 / (4 * n * a))
f = rd.binomial(n, p, 100000) / n
print(h, np.mean(np.abs(f - p) <= h))
# 0.1 0.99999

Sur cent mille sondages simulés, l'intervalle contient $p$ dans $99, 999 %$ des cas, pour une garantie annoncée de $95 %$ . L'intervalle de Bienaymé-Tchebychev n'est donc pas faux : il est trop large.

iRemarqueLa suite est au chapitre 12

Cette prudence a un coût : pour deux points de précision au seuil de $95 %$ , la proposition exige $12500$ personnes, alors que les instituts de sondage en interrogent mille. Ils n'utilisent pas Bienaymé-Tchebychev, mais l'intervalle de confiance asymptotique, qui s'appuie sur le théorème limite central.

Ce théorème n'est pas au programme ; il est abordé en travaux pratiques, au chapitre 12, où les deux intervalles sont comparés sur une même simulation.

Continuer sur Adloun : animation, QCM, fiches, exercices