Mesurer ce que couvre vraiment un intervalle

La demi-largeur. Pour une variable de Bernoulli et une variance majorée par $\frac{1}{4}$, elle vaut $$h=\frac{1}{2\sqrt{na}}=\frac{1}{2\sqrt{500\times 0,05}}=\frac{1}{2\sqrt{25}}=\frac{1}{10}=0,1.$$

La traduction en programme. L'intervalle $[f-h;f+h]$ contient $p$ si et seulement si $|f-p|\le h$ : c'est la même condition, écrite du point de vue de $p$.

import numpy as np
import numpy.random as rd

rd.seed(12)
n, p, a = 500, 0.30, 0.05
h = (1 / (4 * n * a))**0.5
f = rd.binomial(n, p, 20000) / n
print(h, np.mean(np.abs(f - p) <= h))
# 0.1 1.0

La prévision. La garantie annoncée est $95\%$, mais on doit s'attendre à bien davantage. En effet l'écart-type réel de la fréquence vaut $$\sqrt{\frac{p(1-p)}{n}}=\sqrt{\frac{0,21}{500}}\approx 0,0205,$$ et la demi-largeur $0,1$ représente donc près de cinq écarts-types. Il serait extraordinaire qu'un seul sondage sur vingt mille sorte de là.

Le résultat. La couverture mesurée vaut $1,0$, soit $100\%$ des sondages, pour une garantie de $95\%$.

L'interprétation. L'intervalle de Bienaymé-Tchebychev n'est pas faux : il tient sa promesse, et au-delà. Il est trop large. Deux raisons se cumulent : l'inégalité elle-même est grossière, et l'on a de surcroît majoré $p(1-p)=0,21$ par $0,25$.

La leçon. Une garantie du type « au moins $95\%$ » ne dit rien de la vraie couverture. C'est précisément la compétence de regard critique : dire ce que chaque méthode garantit, et ce qu'elle ne garantit pas.