Pourquoi la variance empirique est biaisée

On se ramène à une espérance nulle. Posons $Y_i=X_i-m$. Alors $\overline{Y_n}=\overline{X_n}-m$, donc $Y_i-\overline{Y_n}=X_i-\overline{X_n}$ : la quantité $S_n^2$ est inchangée, et $E(Y_i)=0$, $V(Y_i)={\sigma }^2$.

Le développement. Puisque ${\sum }_i{Y}_i=n\overline{Y_n}$,

$$\sum _{i=1}^n(Y_i-\overline{Y_n}{)}^2=\sum _{i=1}^n{Y}_i^2-2\overline{Y_n}\sum _{i=1}^n{Y}_i+n{\overline{Y_n}}^2=\sum _{i=1}^n{Y}_i^2-n{\overline{Y_n}}^2.$$

Les deux espérances. $E(Y_i)=0$ donne $E\left(Y_i^2\right)=V(Y_i)={\sigma }^2$, d'où $E(\sum Y_i^2)=n{\sigma }^2$. De même $E\left(\overline{Y_n}\right)=0$ donne $E\left({\overline{Y_n}}^2\right)=V\left(\overline{Y_n}\right)=\frac{{\sigma }^2}{n}$.

Conclusion.

$$E\left(S_n^2\right)=\frac{1}{n}\left(n{\sigma }^2-\frac{n{\sigma }^2}{n}\right)=\frac{n-1}{n}{\sigma }^2.$$

D'où vient la perte. Les écarts sont mesurés à $\overline{X_n}$, tirée des données elles-mêmes et donc placée au plus près d'elles : la somme des carrés est plus petite que si l'on avait centré sur le vrai $m$. Une observation est consommée par cette estimation, et c'est le $n-1$.

Le correctif. $\frac{n}{n-1}{S}_n^2$ est sans biais, et $S_n^2$ reste convergent puisque $\frac{n-1}{n}\to 1$.

Le point à retenir. Centrer sur une quantité estimée coûte toujours quelque chose. Quand $m$ est connue, $\frac{1}{n}\sum (X_i-m{)}^2$ n'a lui aucun biais : c'est la seule différence entre les deux situations.