Thème 7 — Répétition d'expériences indépendantes, échantillonnage

Cours complet · mathématiques complémentaires (terminale), chapitre 17 · terminale, option mathématiques complémentaires

Travailler ce chapitre sur Adloun Exercices corrigés de ce chapitre

Le même mois, sur la même question — l'adoption d'une réforme soumise à référendum —, deux instituts publient deux chiffres. Le premier annonce $51 %$ de soutien, le second $48 %$ . Les deux ont interrogé mille personnes. La presse titre sur un « retournement de l'opinion », les commentateurs cherchent l'événement qui, entre les deux enquêtes, aurait fait basculer trois points.

Il n'y a peut-être rien eu à basculer. Deux enquêtes menées le même jour, dans la même population, par des instituts également honnêtes, ne donnent pas le même résultat — parce qu'elles n'interrogent pas les mêmes gens. Cet écart-là n'est pas une erreur : il est la conséquence mécanique du tirage au sort. Il porte un nom, la fluctuation d'échantillonnage, et il se calcule.

Ce thème est une étude suivie de deux à quatre semaines. Elle part de la question précédente et n'y répond qu'au dernier problème. Elle mobilise le chapitre 8 (schéma de Bernoulli, loi binomiale, détermination d'un intervalle $I$ tel que $P (X \in I) \geq 1 - α$ ), le chapitre 9 (simuler une variable de Bernoulli à partir d'un tirage uniforme sur $[0; 1]$ ), le chapitre 10 (ajustement affine après changement de variable), et, en chemin, le chapitre 4 (dérivée et tableau de variation), le chapitre 3 (logarithme) et le chapitre 2 (limites).

Problématique. De combien la fréquence observée sur un échantillon peut-elle s'écarter de la proportion vraie, que coûte le fait de réduire cet écart, et que reste-t-il de tout cela si l'échantillon est mal tiré ?

17.1 La question, et ce qu'il faut de neuf pour y répondre

17.1.1 Ce que le chapitre 8 sait déjà faire, et ce qui manque

Le modèle est acquis. On interroge $n$ personnes tirées au hasard dans une population très grande devant $n$ , de sorte que le tirage soit assimilable à un tirage avec remise : chaque personne interrogée est une épreuve à deux issues — favorable ou non —, les épreuves sont indépendantes et de même paramètre $p$ , la proportion de favorables dans la population. Le nombre $X$ de personnes favorables suit donc la loi binomiale $B (n, p)$ , et le chapitre 8 en donne tout :

$P (X = k) = (k n) p^{k} (1 - p)^{n - k}, E (X) = n p, σ (X) = n p (1 - p),$

les deux dernières formules étant admises par le programme. Il sait même déterminer un intervalle $I$ tel que $P (X \in I) \geq 1 - α$ .

Il manque pourtant l'essentiel pour lire un sondage. Un institut ne publie pas « $510$ personnes favorables sur $1000$ » : il publie « $51 %$ ». Et la question posée n'est jamais « combien de personnes ? » mais « de combien ce pourcentage peut-il se tromper ? ». Il faut donc changer de variable.

17.1.2 La fréquence observée

Définition 17.1Fréquence observée sur un échantillon

On répète $n$ fois, de façon indépendante, une même épreuve de Bernoulli de paramètre $p$ , et l'on note $X$ le nombre de succès. La fréquence observée de succès sur cet échantillon est la variable aléatoire

$F = \frac{X}{n} .$

Elle prend ses valeurs parmi $0, \frac{1}{n}, \frac{2}{n}, \dots, 1$ .

Proposition 17.2Espérance et écart type de la fréquence observée

Si $X$ suit $B (n, p)$ et si $F = \frac{X}{n}$ , alors

$E (F) = p et σ (F) = \frac{p ( 1 - p )}{n} .$

Démonstration

On utilise deux résultats de la classe de première, que nous admettons ici : pour tout nombre $a$ , $E (a X) = a E (X)$ et $σ (a X) = ∣ a ∣ σ (X)$ . Avec $a = \frac{1}{n}$ , et en reprenant les valeurs admises du chapitre 8 :

$E (F) = \frac{1}{n} E (X) = \frac{n p}{n} = p,$

$σ (F) = \frac{1}{n} σ (X) = \frac{n p ( 1 - p )}{n} = \frac{n p ( 1 - p )}{n ^{2}} = \frac{p ( 1 - p )}{n} .$

!Le réflexe

Ces deux formules disent tout le thème, et il faut les lire séparément.

$E (F) = p$ : la fréquence observée vise juste. Elle ne dérive pas, elle ne penche d'aucun côté — à condition que l'échantillon ait été tiré au hasard dans la bonne population. C'est cette condition, et non le calcul, qui fera défaut à la section 6.

$σ (F) = p (1 - p) / n$ : elle vise juste mais elle tremble, et son tremblement décroît comme $\frac{1}{n}$ — pas comme $\frac{1}{n}$ . Toute la section 4 tient dans cette racine carrée.

Exemple 17.3Un sondage sur mille personnes

Pour $n = 1000$ et $p = 0, 50$ :

$E (F) = 0, 50, σ (F) = \frac{0 , 50 \times 0 , 50}{1 000} = 0, 00025 \approx 0, 0158,$

soit environ $1, 6$ point de pourcentage. Deux écarts types font $3, 2$ points : un sondage sur mille personnes situe la proportion à environ trois points près, et non à un dixième de point près. Les trois points qui séparent nos deux instituts sont exactement de cet ordre.

17.2 Voir la fluctuation : simuler beaucoup d'échantillons

Le calcul donne un écart type. Il ne montre pas ce qu'est la fluctuation. Pour la voir, il faut faire ce qu'aucun institut ne peut se permettre : refaire l'enquête des milliers de fois dans une population dont on connaît la vraie proportion. C'est précisément ce qu'un ordinateur sait faire.

17.2.1 Le protocole

Méthode : Simuler une campagne d'échantillonnage

Fixer la population : on se donne $p$ , que l'on connaît puisque c'est nous qui le choisissons.
Un échantillon : répéter $n$ fois le tirage d'un nombre au hasard dans $[0; 1 [$ et compter un succès chaque fois qu'il est inférieur à $p$ (chapitre 9). Diviser par $n$ : on obtient une réalisation de $F$ .
Une campagne : recommencer $M$ fois, avec $M$ grand ( $10000$ ici).
Regarder la liste des $M$ fréquences obtenues : sa moyenne, son écart type, son histogramme.

On fixe la graine du générateur : sans cela, deux exécutions ne donnent pas les mêmes chiffres et rien n'est vérifiable.


from random import random, seed

def succes(n, p):
    # Nombre de succes sur n epreuves independantes de parametre p.
    total = 0
    for _ in range(n):
        if random() < p:
            total = total + 1
    return total

def echantillon(n, p):
    # Frequence observee de succes sur un echantillon de taille n.
    return succes(n, p) / n

def campagne(n, p, M):
    # M echantillons independants de taille n : la liste des M frequences.
    return [echantillon(n, p) for _ in range(M)]

def moyenne(valeurs):
    return sum(valeurs) / len(valeurs)

def ecart_type(valeurs):
    m = moyenne(valeurs)
    return (sum((v - m) ** 2 for v in valeurs) / len(valeurs)) ** 0.5

seed(2027)
for n in [25, 100, 400]:
    f = campagne(n, 0.52, 10000)
    print(n, round(moyenne(f), 4), round(ecart_type(f), 4),
          round((0.52 * 0.48 / n) ** 0.5, 4))

Sortie du programme :


25 0.5193 0.1004 0.0999
100 0.5197 0.0501 0.05
400 0.5201 0.0246 0.025

Les trois colonnes de droite se comparent deux à deux : l'écart type observé sur $10000$ échantillons et l'écart type calculé $p (1 - p) / n$ coïncident à la troisième décimale. La proposition de la section précédente n'est pas seulement démontrée, elle est vérifiée.

17.2.2 Trois histogrammes

iRemarque

Les trois paquets sont centrés au même endroit et n'ont pas la même largeur. C'est la totalité du phénomène. Augmenter $n$ ne déplace pas la fréquence observée vers la bonne valeur — elle y était déjà en moyenne : cela réduit son tremblement.

!Attention

Le hasard ne « se compense » pas. Sur $400$ personnes interrogées, il n'y a aucun mécanisme qui rattraperait une série de réponses favorables par une série de réponses défavorables : les épreuves sont indépendantes, et chacune ignore les précédentes (c'est déjà ce que disait l'absence de mémoire, au chapitre 8). Si le paquet se resserre, ce n'est pas parce que les écarts se corrigent, c'est parce qu'un écart de $10$ points sur $400$ épreuves demande une conspiration bien plus improbable qu'un écart de $10$ points sur $25$ .

17.3 L'intervalle de fluctuation, et le sens de sa lecture

17.3.1 Le passer en fréquences

Méthode : De l'intervalle du chapitre 8 à une fourchette de pourcentages

Le chapitre 8 fournit $I = [a; b]$ , plus petit intervalle d'entiers tel que $P (X \in I) \geq 1 - α$ : $a$ est le plus petit entier avec $P (X \leq a) > \frac{α}{2}$ , et $b$ le plus petit entier avec $P (X \leq b) \geq 1 - \frac{α}{2}$ .

Comme $F \leq \frac{b}{n}$ équivaut à $X \leq b$ , et de même à gauche, on a exactement le même événement des deux côtés :

$P (F \in [\frac{a}{n}; \frac{b}{n}]) = P (X \in [a; b]) \geq 1 - α .$

La fourchette de pourcentages cherchée est donc $[\frac{a}{n}; \frac{b}{n}]$ : on divise les deux bornes par $n$ , et rien d'autre.

Le programme du chapitre 8 calculait $(k n)$ directement. Il suffit tant que $n$ reste modeste ; ici, $n$ vaudra $10000$ . Nous le remplaçons donc par un calcul de proche en proche à partir du mode, qui ne fabrique aucun nombre géant : on part d'un poids arbitraire égal à $1$ en $k_{0} = ⌊ n p ⌋$ , on propage par la relation

$\frac{P ( X = k + 1 )}{P ( X = k )} = \frac{n - k}{k + 1} \times \frac{p}{1 - p},$

qui se lit directement sur l'expression de la loi binomiale, puis on divise par la somme obtenue.


def loi_binomiale(n, p):
    # Liste des P(X = k), calculee de proche en proche depuis le mode.
    k0 = int(n * p)
    poids = [0.0] * (n + 1)
    poids[k0] = 1.0
    for k in range(k0, n):
        poids[k + 1] = poids[k] * (n - k) / (k + 1) * p / (1 - p)
    for k in range(k0, 0, -1):
        poids[k - 1] = poids[k] * k / (n - k + 1) * (1 - p) / p
    total = sum(poids)
    return [w / total for w in poids]

def intervalle(n, p, alpha):
    # Plus petit intervalle [a ; b] tel que P(a <= X <= b) >= 1 - alpha.
    loi = loi_binomiale(n, p)
    cumul, a = 0.0, 0
    while cumul + loi[a] <= alpha / 2:
        cumul = cumul + loi[a]
        a = a + 1
    cumul, b = 0.0, n
    while cumul + loi[b] <= alpha / 2:
        cumul = cumul + loi[b]
        b = b - 1
    return a, b, sum(loi[a:b + 1])

!Attention

Le programme du chapitre 8, avec comb(n, k), donne exactement les mêmes résultats que celui-ci jusqu'à $n = 800$ — nous l'avons vérifié. À $n = 1600$ il s'arrête sur une erreur : OverflowError: int too large to convert to float. Le coefficient $(800 1600)$ est un entier de plus de quatre cents chiffres, que Python calcule sans peine, mais qu'il ne peut plus convertir en nombre décimal pour le multiplier par $p^{k}$ . Un algorithme juste peut cesser de fonctionner pour la seule raison que les nombres qu'il fabrique en chemin sont trop gros, alors que le résultat, lui, est un nombre compris entre $0$ et $1$ .

Pour $p = 0, 52$ et $α = 0, 05$ , ce programme donne :

$n 25100400160010000 I (effectifs) [8; 18] [42; 62] [188; 228] [793; 871] [5102; 5298] I (fr e ˊ quences) [0, 320; 0, 720] [0, 420; 0, 620] [0, 470; 0, 570] [0, 496; 0, 544] [0, 510; 0, 530] demi-largeur m 0, 200 0, 100 0, 050 0, 0244 0, 0098 \frac{1}{n} 0, 200 0, 100 0, 050 0, 0250 0, 0100 P (F \in I) 0, 974 0, 965 0, 960 0, 952 0, 951$

iRemarque

La probabilité $P (F \in I)$ vaut $0, 974$ pour $n = 25$ et se rapproche de $0, 95$ quand $n$ grandit, sans jamais descendre en dessous. C'est inévitable : $F$ ne prend que des valeurs isolées, et l'on ne peut pas retirer une probabilité exactement égale à $0, 025$ de chaque côté — on retire ce que valent les bâtons entiers dont on se prive. L'intervalle est donc légèrement trop large, et d'autant plus que $n$ est petit. On ne s'en plaint pas : la garantie annoncée est tenue.

17.3.2 Vérifier que quatre-vingt-quinze pour cent veut bien dire quatre-vingt-quinze pour cent

Un intervalle calculé reste une promesse. La simulation permet de la mettre à l'épreuve : on tire $10000$ échantillons et l'on compte simplement combien de fois la fréquence observée tombe dans l'intervalle annoncé.


def taux_dans(frequences, u, v):
    # Proportion des frequences observees qui tombent dans [u ; v].
    dedans = sum(1 for f in frequences if u <= f <= v)
    return dedans / len(frequences)

seed(2028)
for (n, a, b) in [(100, 42, 62), (400, 188, 228), (1600, 793, 871)]:
    f = campagne(n, 0.52, 10000)
    print(n, a / n, b / n, taux_dans(f, a / n, b / n))

Sortie du programme :


100 0.42 0.62 0.9642
400 0.47 0.57 0.9584
1600 0.495625 0.544375 0.9544

Les taux observés — $0, 9642$ , $0, 9584$ , $0, 9544$ — reproduisent les probabilités calculées — $0, 965$ , $0, 960$ , $0, 952$ — à quelques millièmes près. Ce n'est pas une démonstration, c'est un contrôle ; et un contrôle qui échouerait signalerait une erreur dans le calcul ou dans le modèle.

17.3.3 Dans quel sens l'intervalle se lit-il ?

!Attention

L'intervalle de fluctuation se lit de $p$ vers $F$ , jamais dans l'autre sens. Il dit :

si la proportion vraie est $0, 52$ , alors la fréquence observée a au moins $95 %$ de chances de tomber dans $[0, 47; 0, 57]$ .

Il ne dit pas : « on a observé $0, 52$ , donc $p$ est dans $[0, 47; 0, 57]$ avec $95 %$ de chances ». Cette seconde phrase parle de $p$ , qui n'est pas une variable aléatoire : $p$ est un nombre fixé, inconnu de nous, et il n'a aucune « probabilité » d'être quelque part. Ce sont les deux membres de l'implication qu'on a échangés, et c'est le contresens le plus fréquent sur les sondages.

iRemarque

Comment, alors, les instituts justifient-ils la « marge d'erreur » qu'ils publient, qui va bien de $F$ vers $p$ ? Par un raisonnement de compatibilité, que l'on peut mener avec les seuls outils de ce thème : pour chaque valeur candidate de $p$ , on calcule l'intervalle de fluctuation et l'on demande si la fréquence observée y tombe. Les valeurs de $p$ qui passent ce test sont dites compatibles avec l'observation ; les autres sont écartées. C'est exactement ce que fait le problème des deux instituts et du référendum pour trancher entre « la mesure est majoritaire » et « elle ne l'est pas ». La formalisation de cette démarche — l'intervalle de confiance — ne figure pas au programme de cet enseignement, et nous n'en ferons pas usage.

17.4 Le prix de la précision

17.4.1 Une marge qui ne dépend presque pas de $p$

L'écart type $p (1 - p) / n$ fait intervenir $p$ , que l'on ne connaît justement pas. C'est gênant en apparence seulement, car le facteur $p (1 - p)$ varie très peu.

Proposition 17.4Le produit

p (1 - p)

est majoré par un quart

Pour tout $p$ de $[0; 1]$ , $p (1 - p) \leq \frac{1}{4}$ , avec égalité si et seulement si $p = \frac{1}{2}$ .

Démonstration

Posons $g (x) = x (1 - x) = x - x^{2}$ sur $[0; 1]$ . Cette fonction est dérivable, de dérivée $g^{'} (x) = 1 - 2 x$ , positive pour $x < \frac{1}{2}$ et négative pour $x > \frac{1}{2}$ . Le tableau de variation du chapitre 4 se lit alors sans ambiguïté :

$x g^{'} (x) g 00 + ↗ \frac{1}{2} 0 \frac{1}{4} - ↘ 10$

Le maximum de $g$ sur $[0; 1]$ vaut donc $g (\frac{1}{2}) = \frac{1}{4}$ , atteint au seul point $x = \frac{1}{2}$ .

◆Théorème 17.5Marge garantie à deux écarts types

Quelle que soit la proportion inconnue $p$ ,

$2 σ (F) = 2 \frac{p ( 1 - p )}{n} \leq 2 \frac{1}{4 n} = \frac{1}{n} .$

La quantité $\frac{1}{n}$ est donc une marge garantie : elle majore deux écarts types de la fréquence observée sans qu'on ait besoin de connaître $p$ .

!Le réflexe

Retenir la marge sous la forme $\frac{1}{n}$ , et la lire en points de pourcentage : $100$ enquêtes donnent $10$ points, $1000$ en donnent $3, 2$ , $10000$ en donnent $1$ . C'est le calcul de tête qui permet de juger un sondage à la lecture du journal, avant tout autre calcul.

!Attention

« À deux écarts types » n'est pas « à $95 %$ ». La règle des deux écarts types est une approximation commode, dont le chapitre 8 a constaté qu'elle tombe très près de $95 %$ ; elle n'a pas été démontrée ici et ne le sera pas. Le tableau de la section 3 montre l'écart : pour $n = 400$ et $p = 0, 52$ , la demi-largeur exacte vaut $0, 050$ et la marge garantie $0, 050$ également, mais pour $n = 200$ et $p = 0, 30$ (cas traité dans l'exercice sur le variant génétique) la demi-largeur exacte vaut $0, 0625$ tandis que la marge garantie vaut $0, 0707$ . La marge garantie est prudente : elle majore, elle n'égale pas.

17.4.2 La décroissance en $1/ n$ , et ce qu'elle coûte

Le panneau de droite mérite qu'on s'y arrête, car il illustre exactement la méthode du chapitre 10. Le nuage de gauche est courbé : impossible d'y lire une loi. On applique alors le changement de variable réservé aux modèles puissance $m = A n^{c}$ : on pose $u = ln n$ et $z = ln m$ , de sorte que

$z = ln A + c ln n = ln A + c u,$

qui est affine en $u$ . La droite des moindres carrés calculée sur les dix couples $(ln n; ln m)$ donne

$z = - 0, 504 u + 0, 015, r \approx - 0, 99998.$

La pente est l'exposant cherché : $c \approx - 0, 504$ , c'est-à-dire $- \frac{1}{2}$ à quatre millièmes près. Et l'ordonnée à l'origine donne $A = e^{0, 015} \approx 1, 015$ , soit $1$ à un centième près. On retrouve, lue sur des données, la loi établie au paragraphe précédent :

$m \approx \frac{1}{n} .$

Méthode : Quelle taille d'échantillon pour quelle marge ?

On veut annoncer un résultat à $m$ près (par exemple $m = 0, 02$ , soit deux points). La marge garantie doit être inférieure à $m$ :

$\frac{1}{n} \leq m ⟺ n \geq \frac{1}{m} ⟺ n \geq \frac{1}{m ^{2}} .$

La dernière équivalence utilise la stricte croissance de la fonction carré sur $[0; + \infty [$ . On retient : la taille nécessaire varie comme l'inverse du carré de la marge.

$marge vis e ˊ e m n \geq \frac{1}{m ^{2}} 5 points 400 3 points 1112 2 points 2500 1 point 10000$

!Le réflexe

Ce tableau explique la taille des sondages publiés. Mille personnes, c'est trois points ; c'est le compromis que retiennent la plupart des instituts, parce que passer à un point exigerait dix mille entretiens, soit dix fois le coût pour trois fois la précision. La fonction $n \mapsto \frac{1}{n}$ est décroissante et convexe (chapitre 5) : chaque enquête supplémentaire rapporte moins que la précédente. C'est un cas de rendements décroissants, et la décision qui en découle est économique autant que mathématique.

iRemarque

Une conséquence contre-intuitive, mais qui se lit directement dans $σ (F) = p (1 - p) / n$ : la taille de la population n'y figure pas. Un échantillon de mille personnes donne la même précision pour une commune de dix mille habitants que pour un pays de soixante-dix millions — pourvu, dans les deux cas, que la population soit assez grande devant $n$ pour qu'on puisse assimiler le tirage à un tirage avec remise. Ce n'est pas la proportion de la population interrogée qui fait la précision, c'est le nombre de personnes interrogées.

17.5 Décider

Jusqu'ici l'on connaissait $p$ et l'on prévoyait $F$ . En pratique c'est l'inverse : on observe $F$ et l'on doit trancher. Le lot est-il conforme ? Le traitement est-il meilleur ? Le dé est-il pipé ? Le passage de l'un à l'autre se fait par une règle de décision, qu'on fixe avant de regarder les données.

17.5.1 Le protocole, et ses deux risques

Méthode : Construire une règle de décision

Poser l'hypothèse de référence : une valeur $p_{0}$ que l'on met à l'épreuve (la norme annoncée, le taux du traitement de référence, $\frac{1}{6}$ pour un dé équilibré).
Choisir le risque $α$ que l'on accepte de rejeter cette hypothèse à tort — le plus souvent $α = 0, 05$ .
Calculer, sous l'hypothèse $p_{0}$ , la zone des observations ordinaires : l'intervalle de fluctuation $I$ si l'on se méfie des deux côtés, un seuil $s$ si un seul côté importe.
Décider : observation hors de la zone, on rejette l'hypothèse ; observation dans la zone, on ne la rejette pas.

L'ordre compte. Choisir le seuil après avoir vu le résultat revient à décider de la conclusion, puis à fabriquer la règle qui la produit.

Une règle de décision se trompe de deux façons, et il faut les nommer toutes les deux.

Définition 17.6Les deux risques

Soit une règle qui rejette l'hypothèse $p = p_{0}$ dans une certaine zone.

Le risque de rejeter à tort, noté $α$ , est la probabilité de tomber dans la zone de rejet alors que $p = p_{0}$ .
Le risque de ne pas détecter, noté $β$ , est la probabilité de tomber hors de la zone de rejet alors que $p$ vaut en réalité une autre valeur $p_{1}$ que l'on souhaitait repérer.

La quantité $1 - β$ est la probabilité de conclure quand il y a effectivement quelque chose à conclure.

Exemple 17.7Contrôle de réception d'un lot de flacons

Un fournisseur garantit au plus $3 %$ de flacons non conformes. On en prélève $200$ et l'on note $X$ le nombre de non conformes ; sous l'hypothèse $p_{0} = 0, 03$ , $X$ suit $B (200; 0, 03)$ , d'espérance $6$ et d'écart type $200 \times 0, 03 \times 0, 97 \approx 2, 41$ .

Ici un seul côté importe : trop peu de défauts n'a jamais fait refuser un lot. On cherche donc le plus petit seuil $s$ tel que $P (X \geq s) \leq 0, 05$ . Le calcul donne $P (X \geq 10) \approx 0, 081$ et $P (X \geq 11) \approx 0, 040$ , donc $s = 11$ : on refuse le lot dès que l'on compte au moins onze flacons non conformes, et l'on refuse alors un bon lot avec la probabilité $α \approx 4, 0 %$ .

Que vaut l'autre risque ? Si le lot est en réalité à $8 %$ de défauts, alors $X$ suit $B (200; 0, 08)$ , d'espérance $16$ , et

$β = P (X \leq 10) \approx 0, 069.$

On laisserait donc passer un lot deux fois et demie trop mauvais dans environ $7 %$ des contrôles.

17.5.2 Contrôler le risque annoncé

Un risque de $4 %$ est une prévision. Elle se vérifie exactement comme on a vérifié le taux de couverture : en simulant des lots conformes et en comptant combien la règle en refuse.


def refuses(n, p, seuil, M):
    # Proportion de lots refuses par la regle, sur M controles simules.
    compte = 0
    for _ in range(M):
        if succes(n, p) >= seuil:
            compte = compte + 1
    return compte / M

seed(2033)
print(refuses(200, 0.03, 11, 20000))   # lots conformes : risque alpha
print(refuses(200, 0.08, 11, 20000))   # lots degrades : probabilite de detecter

Sortie du programme :


0.0397
0.9297

La règle refuse $3, 97 %$ des bons lots, contre les $4, 01 %$ annoncés, et détecte $92, 97 %$ des lots à $8 %$ , contre les $93, 09 %$ calculés. Le protocole se comporte comme prévu.

!Attention

On teste ici succes(n, p) >= seuil et non echantillon(n, p) * n >= seuil. Les deux expressions sont mathématiquement identiques, mais la seconde divise par $n$ puis remultiplie par $n$ : le résultat peut valoir $10, 999999999999998$ au lieu de $11$ , et le lot est alors accepté à tort. Quand une décision repose sur une comparaison d'entiers, il faut comparer des entiers.

!Attention

Ne pas rejeter n'est pas démontrer. Si le contrôle compte huit flacons non conformes, on ne refuse pas le lot ; cela ne prouve nullement que $p = 0, 03$ . La figure précédente le montre : sous $p_{1} = 0, 08$ , la valeur $8$ est parfaitement possible. La conclusion correcte est « l'observation ne contredit pas la garantie du fournisseur », et rien de plus. Confondre les deux, c'est croire qu'un contrôle qui ne trouve rien prouve qu'il n'y avait rien.

17.6 Ce qu'aucun calcul ne rattrape

Tout ce qui précède repose sur une hypothèse énoncée une fois, au début, et jamais réexaminée : l'échantillon est tiré au hasard dans la population dont on veut connaître la proportion. Quand cette hypothèse tombe, les formules ne préviennent pas. Elles continuent de produire des marges d'erreur, de plus en plus petites, autour d'une valeur fausse.

17.6.1 Trois façons de mal tirer un échantillon

L'échantillon n'est pas représentatif. On interroge les passants d'une rue commerçante un mardi à quinze heures : on n'y trouvera ni les personnes au travail, ni celles qui ne sortent pas. La population effectivement échantillonnée n'est pas celle sur laquelle on veut conclure.
Le biais de sélection. Le mode de recrutement est corrélé à la réponse. Un questionnaire sur la satisfaction envoyé aux seuls clients ayant renouvelé leur abonnement écarte, par construction, les mécontents.
La non-réponse. L'échantillon était bien tiré, mais une partie ne répond pas — et ceux qui ne répondent pas ne pensent pas comme ceux qui répondent. C'est le plus insidieux des trois, parce qu'il survit à un tirage irréprochable.

17.6.2 La non-réponse, mise en équation

Proposition 17.8Le biais de non-réponse ne dépend pas de

n

Une population se partage en deux groupes : une proportion $r$ de personnes qui répondraient à l'enquête, chez qui la proportion de favorables est $p_{r}$ , et une proportion $1 - r$ qui ne répondrait pas, chez qui elle vaut $p_{n r}$ . La proportion vraie dans la population entière est alors

$p = r p_{r} + (1 - r) p_{n r},$

et l'enquête, qui n'atteint que les répondants, a pour espérance $p_{r}$ . Son biais vaut donc

$p_{r} - p = (1 - r) (p_{r} - p_{n r}) .$

Ce nombre ne fait intervenir ni $n$ , ni la taille de la population.

Démonstration

Il suffit de développer. Puisque $p = r p_{r} + (1 - r) p_{n r}$ ,

$p_{r} - p = p_{r} - r p_{r} - (1 - r) p_{n r} = (1 - r) p_{r} - (1 - r) p_{n r} = (1 - r) (p_{r} - p_{n r}) .$

Exemple 17.9Une enquête en ligne

Un questionnaire est adressé à un échantillon correctement tiré ; $30 %$ des personnes répondent, et $60 %$ d'entre elles se déclarent favorables. Si les non-répondants ne sont favorables qu'à $48 %$ , la proportion vraie est

$p = 0, 30 \times 0, 60 + 0, 70 \times 0, 48 = 0, 516,$

et le biais vaut $0, 60 - 0, 516 = 0, 084$ , soit $8, 4$ points. On retrouve bien $(1 - r) (p_{r} - p_{n r}) = 0, 70 \times 0, 12 = 0, 084$ .

L'enquête annoncera $60 %$ , quelle que soit sa taille.

17.6.3 Quand le biais l'emporte sur la fluctuation

L'erreur totale d'une enquête a deux composantes : une fluctuation, qui décroît comme $\frac{1}{n}$ , et un biais, qui ne décroît pas. Il existe donc une taille d'échantillon à partir de laquelle la seconde domine la première :

$\frac{1}{n} \leq ∣ b ∣ ⟺ n \geq \frac{1}{b ^{2}} .$

$biais ∣ b ∣ n \geq \frac{1}{b ^{2}} 1 point 10000 2 points 2500 3 points 1112 8, 4 points 142$

Un biais de deux points, c'est-à-dire une bagatelle au regard de la plupart des enquêtes réelles, l'emporte sur la fluctuation dès $2500$ personnes interrogées. Au-delà, agrandir l'échantillon n'améliore plus rien du tout.

!Attention

La taille de l'échantillon ne corrige pas le biais : elle le certifie. Un échantillon biaisé de deux millions de réponses donne une marge de fluctuation dérisoire autour d'une valeur fausse ; il produit donc une erreur énorme, accompagnée d'une confiance énorme. C'est exactement ce qui s'est produit en 1936 — le problème consacré au sondage du Literary Digest en fait le compte.

!Le réflexe

Avant tout calcul sur un sondage, poser trois questions dans cet ordre : qui a été interrogé, comment il a été choisi, combien ont répondu. Le nombre d'interrogés ne vient qu'en quatrième position, et c'est le seul que les journaux publient.

17.7 Bilan

Proposition 17.10L'essentiel du thème

On passe du nombre de succès $X \sim B (n, p)$ à la fréquence observée $F = \frac{X}{n}$ , avec

$E (F) = p et σ (F) = \frac{p ( 1 - p )}{n} .$

La fréquence observée vise juste et tremble : deux propriétés à ne jamais confondre.

L'intervalle de fluctuation en fréquences est $[\frac{a}{n}; \frac{b}{n}]$ , où $[a; b]$ est l'intervalle du chapitre 8. Il se lit de $p$ vers $F$ , jamais dans l'autre sens.
Comme $p (1 - p) \leq \frac{1}{4}$ (démontré par le tableau de variation de $x \mapsto x (1 - x)$ ), la marge garantie à deux écarts types vaut $\frac{1}{n}$ , quelle que soit la proportion inconnue. D'où $n \geq \frac{1}{m ^{2}}$ pour une marge $m$ : $1000$ personnes donnent trois points, $10000$ en donnent un.
Quadrupler l'échantillon divise la marge par deux. Cet exposant $- \frac{1}{2}$ se lit sur des données réelles en portant $ln m$ contre $ln n$ : la pente des moindres carrés vaut $- 0, 504$ .
Une règle de décision se fixe avant de voir les données, et se juge sur deux risques : refuser à tort ( $α$ ) et ne pas détecter ( $β$ ). À $n$ fixé, le seuil ne fait que les échanger ; seul $n$ les fait baisser ensemble. Ne pas rejeter n'est jamais démontrer.
Le biais — échantillon non représentatif, biais de sélection, non-réponse — vaut $(1 - r) (p_{r} - p_{n r})$ pour la non-réponse : il ne dépend pas de $n$ . Dès que $n \geq \frac{1}{b ^{2}}$ , il l'emporte sur la fluctuation, et agrandir l'échantillon ne le corrige pas : cela le certifie.

!Le réflexe

Une seule question résume le thème et se pose devant n'importe quel chiffre publié : de quelle population cet échantillon a-t-il été tiré, et qui a répondu ? Si la réponse est bonne, $\frac{1}{n}$ dit tout le reste. Si elle est mauvaise, aucun calcul de ce chapitre ne s'applique — et le nombre d'interrogés, si grand soit-il, ne mesure plus que l'assurance avec laquelle on se trompe.

Continuer sur Adloun : animation, QCM, fiches, exercices

Thème 7 — Répétition d'expériences indépendantes, échantillonnage

17.1 La question, et ce qu'il faut de neuf pour y répondre

17.1.1 Ce que le chapitre 8 sait déjà faire, et ce qui manque

17.1.2 La fréquence observée

17.2 Voir la fluctuation : simuler beaucoup d'échantillons

17.2.1 Le protocole

Méthode : Simuler une campagne d'échantillonnage

17.2.2 Trois histogrammes

17.3 L'intervalle de fluctuation, et le sens de sa lecture

17.3.1 Le passer en fréquences

Méthode : De l'intervalle du chapitre 8 à une fourchette de pourcentages

17.3.2 Vérifier que quatre-vingt-quinze pour cent veut bien dire quatre-vingt-quinze pour cent

17.3.3 Dans quel sens l'intervalle se lit-il ?

17.4 Le prix de la précision

17.4.1 Une marge qui ne dépend presque pas de p

17.4.2 La décroissance en 1/n​, et ce qu'elle coûte

Méthode : Quelle taille d'échantillon pour quelle marge ?

17.5 Décider

17.5.1 Le protocole, et ses deux risques

Méthode : Construire une règle de décision

17.5.2 Contrôler le risque annoncé

17.6 Ce qu'aucun calcul ne rattrape

17.6.1 Trois façons de mal tirer un échantillon

17.6.2 La non-réponse, mise en équation

17.6.3 Quand le biais l'emporte sur la fluctuation

17.7 Bilan

17.4.1 Une marge qui ne dépend presque pas de $p$

17.4.2 La décroissance en $1/ n$ , et ce qu'elle coûte