Problème — Deux millions quatre cent mille bulletins, et une erreur de dix-huit points

Application directe du cours · niveau 3 (difficile) · mathématiques complémentaires (terminale), chapitre 17 — Thème 7 — Répétition d'expériences indépendantes, échantillonnage

Énoncé

Problème — Deux millions quatre cent mille bulletins, et une erreur de dix-huit points.

En 1936, l'hebdomadaire américain The Literary Digest organise le plus grand sondage jamais réalisé sur l'élection présidentielle. Il envoie dix millions de bulletins, tirés de listes d'abonnés au téléphone, de propriétaires d'automobiles et d'abonnés à la revue. Il en reçoit $2376523$ en retour, et annonce la victoire du candidat Landon avec $57 %$ des voix, contre $43 %$ à Roosevelt. Roosevelt fut élu avec $60, 8 %$ des suffrages. La même année, un institut naissant dirigé par George Gallup annonçait, sur environ $50000$ personnes, la victoire de Roosevelt.

Calculer $σ (F)$ pour $n = 2376523$ et $p = 0, 608$ , puis la marge garantie. Quelle précision le Digest pouvait-il annoncer ?
L'écart entre l'annonce et le résultat vaut $17, 8$ points. Combien cela fait-il d'écarts types ? Que conclure sur la nature de l'erreur ?
Calculer $σ (F)$ pour l'enquête de Gallup. Son estimation, de l'ordre de $56 %$ pour Roosevelt, était-elle exempte de biais ?
Le taux de réponse du Digest vaut $r = \frac{2 376 523}{1 0 ^{7}}$ . En admettant que les répondants étaient à $43 %$ pour Roosevelt, calculer la proportion correspondante chez les non-répondants, et vérifier la formule du biais.
Quelles étaient les deux sources de biais, et laquelle la taille de l'échantillon aggrave-t-elle ?
Que faut-il retenir de la comparaison entre les deux enquêtes ?

Corrigé

Une précision extraordinaire. Avec $n = 2376523$ et $p = 0, 608$ ,

$σ (F) = \frac{0 , 608 \times 0 , 392}{2 376 523} \approx 0, 000317,$

soit trois centièmes de point ; deux écarts types font $0, 063$ point, et la marge garantie $\frac{1}{2 376 523} \approx 0, 00065$ vaut $0, 065$ point. Le Digest pouvait annoncer son résultat au dixième de point près — c'est ce que dit la formule, et c'est vrai.

L'erreur, en écarts types.

$\frac{0 , 178}{0 , 000317} \approx 562.$

L'annonce était fausse de cinq cent soixante-deux écarts types. Aucune fluctuation d'échantillonnage ne produit un tel écart : la probabilité en est si petite qu'elle n'a pas de sens pratique. L'erreur n'est donc pas due au hasard du tirage. Elle est structurelle : l'échantillon ne représentait pas le corps électoral.

Gallup aussi. Avec $n = 50000$ ,

$σ (F) = \frac{0 , 608 \times 0 , 392}{50 000} \approx 0, 00218,$

soit deux dixièmes de point, et une marge garantie de $0, 45$ point. Or Gallup annonçait environ $56 %$ pour un résultat de $60, 8 %$ : un écart de $4, 8$ points, soit encore $22$ écarts types. L'enquête de Gallup était donc elle aussi biaisée — beaucoup moins, assez peu pour désigner le bon vainqueur, mais pas au point d'être juste. Le biais n'est pas une maladie exceptionnelle : c'est le régime ordinaire des enquêtes.

Le compte de la non-réponse. Le taux de réponse vaut $r \approx 0, 238$ . Si $p_{r} = 0, 43$ chez les répondants, la relation $p = r p_{r} + (1 - r) p_{n r}$ donne

$p_{n r} = \frac{p - r p _{r}}{1 - r} = \frac{0 , 608 - 0 , 238 \times 0 , 43}{0 , 762} \approx 0, 663.$

Les trois quarts de personnes qui n'ont pas renvoyé leur bulletin votaient Roosevelt à environ $66 %$ , contre $43 %$ chez les répondants. Le biais vaut bien

$(1 - r) (p_{r} - p_{n r}) \approx 0, 762 \times (0, 43 - 0, 663) \approx - 0, 178,$

soit les $17, 8$ points d'erreur, retrouvés exactement.

Deux biais superposés. D'abord un biais de sélection : posséder le téléphone ou une automobile en 1936, en pleine crise, désignait les ménages aisés, plus favorables à Landon. Ensuite un biais de non-réponse : parmi ceux qui reçoivent un bulletin, les partisans du changement se donnent moins la peine de le renvoyer que les mécontents du pouvoir en place. Aucun des deux ne diminue quand $n$ augmente ; en revanche, la fluctuation, elle, diminue — de sorte qu'augmenter $n$ ne fait que resserrer le résultat autour de la mauvaise valeur, et donne au sondage l'apparence d'une certitude.
La leçon. Cinquante mille personnes bien choisies valent mieux que deux millions quatre cent mille mal choisies. La formule $σ (F) = p (1 - p) / n$ ne mesure qu'une seule des deux erreurs d'une enquête, et c'est presque toujours la plus petite. Le Digest, qui avait correctement prédit les quatre élections précédentes, disparut deux ans plus tard.

Les autres exercices de ce chapitre Le cours du chapitre

Un blocage sur cet exercice ? Le tuteur d'Adloun guide par questions, sans donner la réponse.