La variance d'une somme, puis celle d'une moyenne

Ce qu'on montre. Que l'additivité de la variance vient de $E(XY)=E(X)E(Y)$, et qu'elle est le seul ingrédient de la loi faible des grands nombres.

L'additivité. Par la formule de Kœnig-Huygens appliquée à $X+Y$ : $$V(X+Y)=E((X+Y{)}^2)-(E(X+Y){)}^2.$$ Développons chaque membre. Par linéarité de l'espérance, $$E((X+Y{)}^2)=E(X^2)+2E(XY)+E(Y^2),$$ $$(E(X)+E(Y){)}^2=E(X{)}^2+2E(X)E(Y)+E(Y{)}^2.$$ Comme $X$ et $Y$ sont indépendantes et admettent une espérance, le théorème du cours donne $E(XY)=E(X)E(Y)$ : les deux termes doubles se détruisent. Il reste $$V(X+Y)=(E(X^2)-E(X{)}^2)+(E(Y^2)-E(Y{)}^2)=V(X)+V(Y).$$

La variance d'une moyenne. Soient $X_1,\dots ,X_n$ indépendantes de même loi, d'espérance $m$ et de variance ${\sigma }^2$. En itérant l'additivité, $V(X_1+\cdots +X_n)=n{\sigma }^2$. Et comme $V(aZ)=a^{2}V(Z)$ : $$V\left(\overline{X_n}\right)=V\left(\frac{X_1+\cdots +X_n}{n}\right)=\frac{1}{n^2}\times n{\sigma }^2=\frac{{\sigma }^2}{n}.$$ La moyenne a la même espérance $m$ que chaque variable, mais une variance $n$ fois plus petite : c'est tout le mécanisme de la loi faible des grands nombres.

Le dé. Soit $X_i$ le résultat du $i$-ième lancer, de loi uniforme sur $[[1,6]]$ : $$m=E(X_i)=\frac{1+2+\cdots +6}{6}=3,5,E\left(X_i^2\right)=\frac{1+4+9+16+25+36}{6}=\frac{91}{6},$$ $${\sigma }^2=\frac{91}{6}-(3,5{)}^2=\frac{91}{6}-\frac{49}{4}=\frac{182-147}{12}=\frac{35}{12}\approx 2,9167.$$

L'application de Bienaymé-Tchebychev. Appliquée à $\overline{X_n}$, d'espérance $3,5$ et de variance $\frac{{\sigma }^2}{n}$, avec $\epsilon =0,1$ : $$P\left(\right|\overline{X_n}-3,5|\ge 0,1)\le \frac{{\sigma }^2}{n{\epsilon }^2}=\frac{35/12}{n\times 0,01}.$$ Pour que ce majorant soit inférieur à $0,05$, il suffit que $$n\ge \frac{35/12}{0,01\times 0,05}=\frac{2,9167}{5\cdot 10^{-4}}\approx 5833,3,$$ c'est-à-dire $n\ge 5834$ lancers.

Commentaire. Ce nombre est suffisant, pas nécessaire : la majoration est très large. Sa valeur est ailleurs — le majorant $\frac{{\sigma }^2}{n{\epsilon }^2}$ tend vers $0$, et c'est exactement la démonstration de la loi faible des grands nombres.

Point délicat. L'additivité de la variance exige l'indépendance ; celle de l'espérance non. Pour $n$ copies de la même variable, $\overline{X_n}=X_1$ et la variance ne décroît pas du tout.