Problème — Le théorème de Weierstrass par les polynômes de Bernstein

1) Le polynôme est une espérance. La variable $S_n$ prend les valeurs $0,1,\dots ,n$ avec $P(S_n=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)x^k(1-x{)}^{n-k}$. La variable $S_n/n$ prend donc les valeurs $\frac{k}{n}$ avec les mêmes probabilités, et la formule de transfert appliquée à la fonction $f$ donne $$E(f(S_n/n))=\sum _{k=0}^{n}f\left(\frac{k}{n}\right)P(S_n=k)=\sum _{k=0}^{n}f\left(\frac{k}{n}\right)\left(\genfrac{}{}{0ex}{}{n}{k}\right)x^k(1-x{)}^{n-k}=B_n(f)(x).$$ Le cours donne $E(S_n)=nx$ et $V(S_n)=nx(1-x)$. Par linéarité de l'espérance et la relation $V(aX)=a^{2}V(X)$ : $$E\left(\frac{S_n}{n}\right)=x,V\left(\frac{S_n}{n}\right)=\frac{nx(1-x)}{n^2}=\frac{x(1-x)}{n}.$$ Enfin $x(1-x)\le \frac{1}{4}$ sur $[0,1]$ : c'est un trinôme de maximum $\frac{1}{4}$ en $x=\frac{1}{2}$, ou encore $\frac{1}{4}-x(1-x)={\left(x-\frac{1}{2}\right)}^2\ge 0$. Donc $V(S_n/n)\le \frac{1}{4n}$.

Lecture. $S_n/n$ est la fréquence de succès ; elle a pour moyenne la probabilité $x$, et sa variance tend vers $0$ comme $\frac{1}{n}$. $B_n(f)(x)$ est la moyenne de $f$ prise en la fréquence.

2) Les trois premiers polynômes. Notons d'abord que $B_n$ est linéaire en $f$, par linéarité de l'espérance (ou de la somme). Pour $f=1$ : $B_n(1)(x)=E(1)=1$. Pour $f=(t\mapsto t)$ : $B_n(f)(x)=E(S_n/n)=x$. Pour $f=(t\mapsto t^2)$ : par Koenig-Huygens, $E((S_n/n{)}^2)=V(S_n/n)+E(S_n/n{)}^2$, donc $$B_n(t\mapsto t^2)(x)=x^2+\frac{x(1-x)}{n}.$$ Par linéarité, si $f(t)=\alpha t+\beta$ est affine, $B_n(f)=\alpha B_n(t\mapsto t)+\beta B_n(1)=f$ : $B_n$ conserve les fonctions affines. Pour le carré, ce n'est plus exact, mais l'écart $\frac{x(1-x)}{n}$ est au plus $\frac{1}{4n}$, qui tend vers $0$ — premier signe de ce qui va suivre.

Contrôle numérique. Pour $f(t)=t^2$, $n=4$, $x=\frac{1}{2}$ : la formule donne $\frac{1}{4}+\frac{1/4}{4}=\frac{5}{16}$. Directement, avec $\left(\genfrac{}{}{0ex}{}{4}{k}\right)$ valant $1,4,6,4,1$ et $x^k(1-x{)}^{4-k}=\frac{1}{16}$ pour tout $k$ : $B_4(t^2)\left(\frac{1}{2}\right)=\frac{1}{16}\times \frac{0+4+24+36+16}{16}=\frac{80}{256}=\frac{5}{16}$.

3) Le cas lipschitzien. Pour tout $\omega$, $\left|f\right(S_n(\omega )/n)-f(x)|\le K|\frac{S_n(\omega )}{n}-x|$ par hypothèse. On prend l'espérance, en trois temps.

Premier temps, l'inégalité triangulaire de l'espérance : $|E(Z)|\le E(|Z|)$. Avec $Z=f(S_n/n)-f(x)$, dont l'espérance est $B_n(f)(x)-f(x)$ (la constante $f(x)$ a pour espérance elle-même) : $$|B_n(f)(x)-f(x)|\le E\left(\right|f\left(\frac{S_n}{n}\right)-f(x)\left|\right)\le KE\left(\right|\frac{S_n}{n}-x\left|\right),$$ la seconde inégalité par croissance de l'espérance.

Deuxième temps, $E(|Z|)\le \sqrt{E(Z^2)}$. Pour toute variable $Z$, la variance de $|Z|$ est positive : $E(|Z|{)}^2\le E(|Z{|}^2)=E(Z^2)$, et l'on prend la racine carrée. Avec $Z=\frac{S_n}{n}-x$, qui est centrée, $E(Z^2)=V(S_n/n)$. Donc $$E\left(\right|\frac{S_n}{n}-x\left|\right)\le \sqrt{V(S_n/n)}.$$

Troisième temps, le 1) : $\sqrt{V(S_n/n)}\le \sqrt{\frac{1}{4n}}=\frac{1}{2\sqrt{n}}$. En enchaînant : $$|B_n(f)(x)-f(x)|\le \frac{K}{2\sqrt{n}}\text{pour tout }x\in [0,1].$$ La borne ne dépend pas de $x$ : pour une fonction lipschitzienne, la convergence est acquise, avec une vitesse explicite en $\frac{1}{\sqrt{n}}$.

4) L'inégalité entre variables aléatoires. Le réel $\delta$ existe par le théorème de Heine : $f$ est continue sur le segment $[0,1]$, donc uniformément continue. Et $\Vert f{\Vert }_{\infty }$ existe par le théorème des bornes atteintes : une fonction continue sur un segment est bornée. Fixons $\omega$ et posons $u=S_n(\omega )/n\in [0,1]$. Deux cas.

• Si $|u-x|<\delta$ : alors $|f(u)-f(x)|\le \epsilon$, et l'indicatrice vaut $0$ ; le membre de droite vaut $\epsilon$, l'inégalité est vraie.
• Si $|u-x|\ge \delta$ : alors $|f(u)-f(x)|\le |f(u)|+|f(x)|\le 2\Vert f{\Vert }_{\infty }$, et l'indicatrice vaut $1$ ; le membre de droite vaut $\epsilon +2\Vert f{\Vert }_{\infty }\ge 2\Vert f{\Vert }_{\infty }$, l'inégalité est vraie.

Dans les deux cas, en tout $\omega$, $$|f\left(\frac{S_n}{n}\right)-f(x)|\le \epsilon +2\Vert f{\Vert }_{\infty }{1}_{(|S_n/n-x|\ge \delta )}.$$ Le point délicat. On a découpé selon que la fréquence est proche de $x$ ou non : proche, la continuité uniforme contrôle l'écart ; loin, on ne contrôle rien, mais l'événement est rare — c'est ce que la question suivante quantifie. Et c'est la continuité uniforme qui compte : le même $\delta$ sert pour tous les $u$ et tous les $x$.

5) Tchebychev. On prend l'espérance de l'inégalité du 4) : par croissance et linéarité, et $E(1_A)=P(A)$, $$E\left(\right|f\left(\frac{S_n}{n}\right)-f(x)\left|\right)\le \epsilon +2\Vert f{\Vert }_{\infty }P\left(\right|\frac{S_n}{n}-x|\ge \delta ).$$ L'inégalité de Bienaymé-Tchebychev appliquée à $S_n/n$, d'espérance $x$ et de variance au plus $\frac{1}{4n}$, donne $$P\left(\right|\frac{S_n}{n}-x|\ge \delta )\le \frac{V(S_n/n)}{{\delta }^2}\le \frac{1}{4n{\delta }^2}.$$ Avec l'inégalité triangulaire de l'espérance comme au 3) : $$|B_n(f)(x)-f(x)|\le \epsilon +\frac{2\Vert f{\Vert }_{\infty }}{4n{\delta }^2}=\epsilon +\frac{\Vert f{\Vert }_{\infty }}{2n{\delta }^2}.$$ Là encore, la borne ne dépend pas de $x$ : $\epsilon$ et $\delta$ ont été choisis avant $x$, et la variance a été majorée par une quantité indépendante de $x$.

6) Conclusion. Pour chaque $n$, la fonction $x\mapsto |B_n(f)(x)-f(x)|$ est continue sur le segment $[0,1]$ (différence d'un polynôme et d'une fonction continue), donc bornée : $M_n$ est un réel, et le 5) dit que $M_n\le \epsilon +\frac{\Vert f{\Vert }_{\infty }}{2n{\delta }^2}$. Soit $N$ un entier tel que $\frac{\Vert f{\Vert }_{\infty }}{2N{\delta }^2}\le \epsilon$, par exemple $N\ge \frac{\Vert f{\Vert }_{\infty }}{2\epsilon {\delta }^2}$. Pour tout $n\ge N$, $0\le M_n\le 2\epsilon$. Comme $\epsilon >0$ était arbitraire — et que $\delta$, puis $N$, ont été choisis en fonction de lui —, c'est exactement la définition de $M_n\to 0$ : $$\underset{x\in [0,1]}{\sup }|B_n(f)(x)-f(x)|\underset{n\to +\infty }{\to }0.$$ Or $B_n(f)$ est un polynôme en $x$, de degré au plus $n$ : c'est ce qu'on lit sur sa définition, somme de termes $x^k(1-x{)}^{n-k}$ à coefficients constants.

Le théorème obtenu — théorème d'approximation de Weierstrass. Toute fonction continue sur un segment est limite uniforme d'une suite de polynômes : pour tout $\epsilon >0$, il existe un polynôme $Q$ tel que $|f(x)-Q(x)|\le \epsilon$ pour tout $x$ du segment. Et la démonstration de Bernstein est constructive : elle fournit les polynômes, avec une vitesse explicite $\frac{K}{2\sqrt{n}}$ pour une fonction $K$-lipschitzienne.

Pourquoi c'est la loi des grands nombres. Le cœur de la preuve est la phrase : la fréquence $S_n/n$ se concentre autour de la probabilité $x$ — c'est la loi faible des grands nombres du cours, sous sa forme non asymptotique, $P(|S_n/n-x|\ge \delta )\le \frac{1}{4n{\delta }^2}$. Si la fréquence est presque toujours proche de $x$, alors $f(\text{freˊquence})$ est presque toujours proche de $f(x)$, par continuité, et la moyenne de $f(\text{freˊquence})$ — qui est $B_n(f)(x)$ — est proche de $f(x)$. Le polynôme de Bernstein est la valeur moyenne de $f$ sous le hasard binomial, et le hasard binomial s'éteint quand $n$ grandit.

Ce que le problème installe. Un théorème d'analyse pure — rien, dans « toute fonction continue est limite uniforme de polynômes », ne parle de hasard — démontré par une construction probabiliste dont chaque étape est une propriété du cours : transfert, linéarité, inégalité triangulaire, Tchebychev. Et l'inégalité du 4), entre variables aléatoires, avec son découpage « proche / loin », est le schéma de toutes les preuves de convergence en probabilités : le cas typique est contrôlé par la régularité, le cas rare par sa probabilité.