Problème — La droite des moindres carrés

1) Le gradient et les équations normales. $E$ est une fonction polynomiale des deux variables $(a,b)$ — chaque terme $(y_i-a{x}_i-b{)}^2$ l'est —, donc de classe ${\mathcal{C}}^1$ sur ${\mathbb{R}}^2$. En dérivant terme à terme, $b$ étant traité comme une constante puis $a$ : $$\frac{\partial E}{\partial a}=\sum _{i=1}^{n}2(y_i-a{x}_i-b)(-x_i)=-2\sum _{i=1}^n{x}_i(y_i-a{x}_i-b),\frac{\partial E}{\partial b}=-2\sum _{i=1}^n(y_i-a{x}_i-b).$$ Le gradient est nul si et seulement si les deux sommes le sont : $$\sum x_i{y}_i-a\sum x_i^2-b\sum x_i=0\text{et}\sum y_i-a\sum x_i-nb=0.$$ En divisant par $n$ : $\overline{xy}-a\overline{x^2}-b\bar{x}=0$ et $\bar{y}-a\bar{x}-b=0$. Ce sont les équations normales : $$a\overline{x^2}+b\bar{x}=\overline{xy},a\bar{x}+b=\bar{y}.$$

2) La résolution. Les deux identités. En développant le carré : $$s_x^2=\frac{1}{n}\sum (x_i^2-2\bar{x}{x}_i+{\bar{x}}^2)=\overline{x^2}-2\bar{x}\cdot \bar{x}+{\bar{x}}^2=\overline{x^2}-{\bar{x}}^2,$$ et de même $s_{xy}=\frac{1}{n}\sum (x_i{y}_i-\bar{x}{y}_i-\bar{y}{x}_i+\bar{x}\bar{y})=\overline{xy}-\bar{x}\bar{y}-\bar{y}\bar{x}+\bar{x}\bar{y}=\overline{xy}-\bar{x}\bar{y}$. C'est la formule de Koenig-Huygens, version statistique.

Positivité stricte. $s_x^2$ est une moyenne de carrés, donc positive ; elle est nulle si et seulement si chaque terme $(x_i-\bar{x}{)}^2$ est nul, c'est-à-dire si tous les $x_i$ sont égaux à $\bar{x}$ — ce que l'hypothèse exclut. Donc $s_x^2>0$.

Le système. La seconde équation normale donne $b=\bar{y}-a\bar{x}$. En reportant dans la première : $a\overline{x^2}+(\bar{y}-a\bar{x})\bar{x}=\overline{xy}$, soit $a(\overline{x^2}-{\bar{x}}^2)=\overline{xy}-\bar{x}\bar{y}$, c'est-à-dire $a{s}_x^2=s_{xy}$. Comme $s_x^2\ne 0$, le système a une solution et une seule : $$a^{\ast }=\frac{s_{xy}}{s_x^2},b^{\ast }=\bar{y}-a^{\ast }\bar{x}.$$ Et $a^{\ast }\bar{x}+b^{\ast }=\bar{y}$ : la droite passe par le point moyen $(\bar{x},\bar{y})$ — c'est la seconde équation normale elle-même.

3) L'identité qui prouve le minimum global. Pour tout $i$, $y_i-a{x}_i-b=(y_i-a^{\ast }{x}_i-b^{\ast })-((a-a^{\ast })x_i+(b-b^{\ast }))=r_i-(u{x}_i+v)$. Donc $$E(a,b)=\sum _{i=1}^n(r_i-(u{x}_i+v){)}^2=\sum r_i^2-2\sum r_i(u{x}_i+v)+\sum (u{x}_i+v{)}^2.$$ Le premier terme est $E(a^{\ast },b^{\ast })$. Le terme croisé vaut $-2\left(u\sum x_i{r}_i+v\sum r_i\right)$ ; or les équations normales en $(a^{\ast },b^{\ast })$ disent exactement $\sum x_i{r}_i=0$ et $\sum r_i=0$ — ce sont les deux composantes du gradient, à un facteur $-2$ près. Le terme croisé est nul : $$E(a,b)=E(a^{\ast },b^{\ast })+\sum _{i=1}^n(u{x}_i+v{)}^2.$$ Conséquence. La somme de carrés est positive ou nulle : $E(a,b)\ge E(a^{\ast },b^{\ast })$ pour tout $(a,b)$, et $(a^{\ast },b^{\ast })$ est un minimum global. L'égalité a lieu si et seulement si $u{x}_i+v=0$ pour tout $i$ ; comme les abscisses ne sont pas toutes égales, il existe $i,j$ avec $x_i\ne x_j$, et la différence des deux équations donne $u(x_i-x_j)=0$, donc $u=0$, puis $v=0$ : $(a,b)=(a^{\ast },b^{\ast })$. Le minimum est unique, et l'on n'a utilisé aucun théorème d'existence — une identité algébrique, comme à l'exercice 7.

4) La lecture euclidienne. Les coordonnées du vecteur $Y-aX-b1$ sont les $y_i-a{x}_i-b$, donc $\Vert Y-aX-b1{\Vert }^2=\sum (y_i-a{x}_i-b{)}^2=E(a,b)$ : minimiser $E$, c'est chercher le point de $F=\mathrm{Vect}(X,1)$ le plus proche de $Y$. Le vecteur $R=Y-a^{\ast }X-b^{\ast }1$ a pour coordonnées les résidus $r_i$, et $$⟨R,X⟩=\sum x_i{r}_i=0,⟨R,1⟩=\sum r_i=0:$$ les équations normales disent que $R$ est orthogonal à $X$ et à $1$, donc à toute combinaison linéaire, c'est-à-dire à $F$. Ainsi $Y=(a^{\ast }X+b^{\ast }1)+R$ avec $a^{\ast }X+b^{\ast }1\in F$ et $R\in F^{\perp }$ : par la caractérisation du chapitre des espaces préhilbertiens, $a^{\ast }X+b^{\ast }1$ est la projection orthogonale de $Y$ sur $F$. (Le sous-espace $F$ est de dimension $2$ : $X$ et $1$ sont linéairement indépendants, parce que $X$ n'est pas colinéaire à $1$ — les $x_i$ ne sont pas tous égaux.)

Enfin, pour $(a,b)$ quelconque, $Y-aX-b1=R-(uX+v1)$, avec $uX+v1\in F$ orthogonal à $R$. Le théorème de Pythagore donne $$\Vert Y-aX-b1{\Vert }^2=\Vert R{\Vert }^2+\Vert uX+v1{\Vert }^2,$$ et $\Vert uX+v1{\Vert }^2=\sum (u{x}_i+v{)}^2$ : c'est mot pour mot l'identité du 3). La distance de $Y$ à $F$ est atteinte en la projection, et là seulement.

5) La lecture probabiliste. Sous la probabilité uniforme sur $\{1,\dots ,n\}$, chaque issue a la probabilité $\frac{1}{n}$, et les espérances sont des moyennes : $E(X)=\bar{x}$, $E(Y)=\bar{y}$, $V(X)=\frac{1}{n}\sum (x_i-\bar{x}{)}^2=s_x^2$, $V(Y)=s_y^2$, $\mathrm{Cov}(X,Y)=s_{xy}$. Donc $$a^{\ast }=\frac{\mathrm{Cov}(X,Y)}{V(X)}.$$ Le résidu est lui aussi une variable aléatoire, $R=Y-a^{\ast }X-b^{\ast }$, d'espérance $E(R)=\bar{y}-a^{\ast }\bar{x}-b^{\ast }=0$ (seconde équation normale) : $R$ est centrée, donc $E(R^2)=V(R)$. Et $\frac{1}{n}E(a^{\ast },b^{\ast })=\frac{1}{n}\sum r_i^2=E(R^2)=V(R)$. Calculons cette variance avec les règles du chapitre de probabilités — la constante $b^{\ast }$ ne change pas la variance, et $V(Y-a^{\ast }X)=V(Y)+a^{\ast 2}V(X)-2a^{\ast }\mathrm{Cov}(X,Y)$ : $$V(R)=V(Y)+\frac{\mathrm{Cov}(X,Y{)}^2}{V(X{)}^2}V(X)-2\frac{\mathrm{Cov}(X,Y)}{V(X)}\mathrm{Cov}(X,Y)=V(Y)-\frac{\mathrm{Cov}(X,Y{)}^2}{V(X)}.$$ Donc $\frac{1}{n}E(a^{\ast },b^{\ast })=V(Y)-\frac{\mathrm{Cov}(X,Y{)}^2}{V(X)}$.

6) Le coefficient de corrélation, et le théorème. Avec $s_y>0$, factorisons $V(Y)=s_y^2$ : $$\frac{1}{n}E(a^{\ast },b^{\ast })=s_y^2\left(1-\frac{s_{xy}^2}{s_x^2{s}_y^2}\right)=s_y^2(1-{\rho }^2),\text{soit}E(a^{\ast },b^{\ast })=n{s}_y^2(1-{\rho }^2).$$ Or $E(a^{\ast },b^{\ast })$ est une somme de carrés, donc positive ou nulle, et $n{s}_y^2>0$ : $1-{\rho }^2\ge 0$, c'est-à-dire $|\rho |\le 1$. C'est l'inégalité de Cauchy-Schwarz probabiliste du chapitre de probabilités, retrouvée par les moindres carrés. Et $|\rho |=1$ si et seulement si $E(a^{\ast },b^{\ast })=0$, si et seulement si tous les résidus $r_i$ sont nuls, si et seulement si $y_i=a^{\ast }{x}_i+b^{\ast }$ pour tout $i$ : les $n$ points sont alignés — sur la droite des moindres carrés, nécessairement. Le signe de $\rho$ est celui de $a^{\ast }$, puisque $\rho =a^{\ast }\frac{s_x}{s_y}$ : $\rho >0$ pour une droite croissante.

Contrôle sur quatre points. $(0,1)$, $(1,3)$, $(2,2)$, $(3,4)$ : $\bar{x}=1,5$, $\bar{y}=2,5$, $\overline{x^2}=\frac{0+1+4+9}{4}=3,5$, $s_x^2=3,5-2,25=1,25$ ; $\overline{xy}=\frac{0+3+4+12}{4}=4,75$, $s_{xy}=4,75-3,75=1$ ; $a^{\ast }=\frac{1}{1,25}=0,8$, $b^{\ast }=2,5-1,2=1,3$. Les résidus valent $-0,3$, $0,9$, $-0,9$, $0,3$ : leur somme est nulle, et $\sum x_i{r}_i=0+0,9-1,8+0,9=0$ — les équations normales. $E(a^{\ast },b^{\ast })=0,09+0,81+0,81+0,09=1,8$. Enfin $\overline{y^2}=\frac{1+9+4+16}{4}=7,5$, $s_y^2=7,5-6,25=1,25$, $\rho =\frac{1}{\sqrt{1,25}\sqrt{1,25}}=0,8$, et $n{s}_y^2(1-{\rho }^2)=4\times 1,25\times 0,36=1,8$.

Le théorème obtenu — la droite des moindres carrés. Pour $n\ge 2$ points dont les abscisses ne sont pas toutes égales, la fonction $E(a,b)=\sum (y_i-a{x}_i-b{)}^2$ admet un unique minimum global, atteint pour $a^{\ast }=\frac{s_{xy}}{s_x^2}$ et $b^{\ast }=\bar{y}-a^{\ast }\bar{x}$ ; la droite $y=a^{\ast }x+b^{\ast }$ passe par le point moyen, et le résidu minimal vaut $n{s}_y^2(1-{\rho }^2)$, où $\rho =\frac{s_{xy}}{s_x{s}_y}\in [-1,1]$ mesure l'alignement des points.

Ce que le problème installe. Trois chapitres, un seul objet. L'optimisation différentielle donne les équations normales et, par une identité, le minimum global sans compacité ; la géométrie euclidienne dit que cette identité est le théorème de Pythagore et que la droite est une projection orthogonale ; les probabilités disent que la pente est un quotient de covariance par variance et que le résidu mesure ce que la droite n'explique pas, $1-{\rho }^2$. La même droite, trois fois — et c'est ce qu'un chapitre de fin d'année doit faire : relier.