Problème — La droite des moindres carrés

1) Le gradient et les équations normales. $E$ est une fonction polynomiale des deux variables $(a,b)$ — chaque terme $(y_i-a{x}_i-b{)}^2$ l'est —, donc de classe ${\mathcal{C}}^1$ sur ${\mathbb{R}}^2$. En dérivant terme à terme, $b$ étant traité comme une constante, puis $a$ : $$\frac{\partial E}{\partial a}=\sum _{i=1}^{n}2(y_i-a{x}_i-b)(-x_i)=-2\sum _{i=1}^n{x}_i(y_i-a{x}_i-b),\frac{\partial E}{\partial b}=-2\sum _{i=1}^n(y_i-a{x}_i-b).$$ Le gradient est nul si et seulement si les deux sommes le sont : $$\sum x_i{y}_i-a\sum x_i^2-b\sum x_i=0\text{et}\sum y_i-a\sum x_i-nb=0.$$ En divisant par $n$ : $\overline{xy}-a\overline{x^2}-b\bar{x}=0$ et $\bar{y}-a\bar{x}-b=0$. Ce sont les équations normales : $$a\overline{x^2}+b\bar{x}=\overline{xy},a\bar{x}+b=\bar{y}.$$

2) La résolution. Les deux identités. En développant le carré : $$s_x^2=\frac{1}{n}\sum (x_i^2-2\bar{x}{x}_i+{\bar{x}}^2)=\overline{x^2}-2\bar{x}\cdot \bar{x}+{\bar{x}}^2=\overline{x^2}-{\bar{x}}^2,$$ et de même $s_{xy}=\frac{1}{n}\sum (x_i{y}_i-\bar{x}{y}_i-\bar{y}{x}_i+\bar{x}\bar{y})=\overline{xy}-\bar{x}\bar{y}-\bar{y}\bar{x}+\bar{x}\bar{y}=\overline{xy}-\bar{x}\bar{y}$. C'est la formule de Koenig-Huygens, version statistique.

Positivité stricte. $s_x^2$ est une moyenne de carrés, donc positive ; elle est nulle si et seulement si chaque terme $(x_i-\bar{x}{)}^2$ est nul, c'est-à-dire si tous les $x_i$ sont égaux à $\bar{x}$ — ce que l'hypothèse exclut. Donc $s_x^2>0$.

Le système. La seconde équation normale donne $b=\bar{y}-a\bar{x}$. En reportant dans la première : $a\overline{x^2}+(\bar{y}-a\bar{x})\bar{x}=\overline{xy}$, soit $a(\overline{x^2}-{\bar{x}}^2)=\overline{xy}-\bar{x}\bar{y}$, c'est-à-dire $a{s}_x^2=s_{xy}$. Comme $s_x^2\ne 0$, le système a une solution et une seule : $$a^{\ast }=\frac{s_{xy}}{s_x^2},b^{\ast }=\bar{y}-a^{\ast }\bar{x}.$$ Et $a^{\ast }\bar{x}+b^{\ast }=\bar{y}$ : la droite passe par le point moyen $(\bar{x},\bar{y})$ — c'est la seconde équation normale elle-même.

3) Les résidus, et l'identité qui prouve le minimum global. Les équations normales, relues. En $(a^{\ast },b^{\ast })$, le gradient est nul ; ses deux composantes valent $-2\sum x_i(y_i-a^{\ast }{x}_i-b^{\ast })=-2\sum x_i{r}_i$ et $-2\sum (y_i-a^{\ast }{x}_i-b^{\ast })=-2\sum r_i$. Les équations normales s'écrivent donc exactement $$\sum _{i=1}^n{r}_i=0\text{et}\sum _{i=1}^n{x}_i{r}_i=0:$$ les résidus sont de somme nulle, et « orthogonaux » aux abscisses, au sens où la somme de leurs produits par les $x_i$ est nulle.

L'identité. Pour tout $i$, $y_i-a{x}_i-b=(y_i-a^{\ast }{x}_i-b^{\ast })-((a-a^{\ast })x_i+(b-b^{\ast }))=r_i-(u{x}_i+v)$. En développant le carré et en sommant, $$E(a,b)=\sum _{i=1}^n(r_i-(u{x}_i+v){)}^2=\sum _{i=1}^n{r}_i^2-2\sum _{i=1}^n{r}_i(u{x}_i+v)+\sum _{i=1}^n(u{x}_i+v{)}^2.$$ Le premier terme est $E(a^{\ast },b^{\ast })$. Le terme croisé vaut $-2\left(u\sum x_i{r}_i+v\sum r_i\right)$, et les deux relations des résidus l'annulent : $$E(a,b)=E(a^{\ast },b^{\ast })+\sum _{i=1}^n(u{x}_i+v{)}^2.$$ C'est le geste de la formule de Koenig-Huygens : on développe un carré autour de la valeur optimale, et le terme croisé disparaît parce que les écarts vérifient les relations qui définissent cette valeur.

Conséquence. La somme de carrés est positive ou nulle : $E(a,b)\ge E(a^{\ast },b^{\ast })$ pour tout $(a,b)$, et $(a^{\ast },b^{\ast })$ est un minimum global. L'égalité a lieu si et seulement si $u{x}_i+v=0$ pour tout $i$ ; comme les abscisses ne sont pas toutes égales, il existe $i,j$ avec $x_i\ne x_j$, et la différence des deux équations donne $u(x_i-x_j)=0$, donc $u=0$, puis $v=0$ : $(a,b)=(a^{\ast },b^{\ast })$. Le minimum est unique, et l'on n'a utilisé aucun théorème d'existence — une identité algébrique, comme à l'exercice 7.

4) La lecture probabiliste. Sous la probabilité uniforme sur $\{1,\dots ,n\}$, chaque issue a la probabilité $\frac{1}{n}$, et les espérances sont des moyennes : $E(X)=\bar{x}$, $E(Y)=\bar{y}$, $V(X)=\frac{1}{n}\sum (x_i-\bar{x}{)}^2=s_x^2$, $V(Y)=s_y^2$, $\mathrm{Cov}(X,Y)=s_{xy}$. Donc $$a^{\ast }=\frac{\mathrm{Cov}(X,Y)}{V(X)}.$$ Le résidu est lui aussi une variable aléatoire, $R=Y-a^{\ast }X-b^{\ast }$, d'espérance $E(R)=\bar{y}-a^{\ast }\bar{x}-b^{\ast }=0$ (seconde équation normale) : $R$ est centrée, donc, par Koenig-Huygens, $E(R^2)=V(R)$. Et $\frac{1}{n}E(a^{\ast },b^{\ast })=\frac{1}{n}\sum r_i^2=E(R^2)=V(R)$. Calculons cette variance avec les règles du chapitre de probabilités — la constante $b^{\ast }$ ne change pas la variance, et $V(Y-a^{\ast }X)=V(Y)+a^{\ast 2}V(X)-2a^{\ast }\mathrm{Cov}(X,Y)$ : $$V(R)=V(Y)+\frac{\mathrm{Cov}(X,Y{)}^2}{V(X{)}^2}V(X)-2\frac{\mathrm{Cov}(X,Y)}{V(X)}\mathrm{Cov}(X,Y)=V(Y)-\frac{\mathrm{Cov}(X,Y{)}^2}{V(X)}.$$ Donc $\frac{1}{n}E(a^{\ast },b^{\ast })=V(Y)-\frac{\mathrm{Cov}(X,Y{)}^2}{V(X)}$ : la pente est une covariance divisée par une variance, et la variance des résidus est ce que la droite n'explique pas de la variance de $Y$.

5) Le coefficient de corrélation, et le théorème. Avec $s_y>0$, factorisons $V(Y)=s_y^2$ : $$\frac{1}{n}E(a^{\ast },b^{\ast })=s_y^2\left(1-\frac{s_{xy}^2}{s_x^2{s}_y^2}\right)=s_y^2(1-{\rho }^2),\text{soit}E(a^{\ast },b^{\ast })=n{s}_y^2(1-{\rho }^2).$$ Or $E(a^{\ast },b^{\ast })$ est une somme de carrés, donc positive ou nulle, et $n{s}_y^2>0$ : $1-{\rho }^2\ge 0$, c'est-à-dire $|\rho |\le 1$ — autrement dit $|\mathrm{Cov}(X,Y)|\le \sigma (X)\sigma (Y)$, obtenu ici par les moindres carrés. Et $|\rho |=1$ si et seulement si $E(a^{\ast },b^{\ast })=0$, si et seulement si tous les résidus $r_i$ sont nuls, si et seulement si $y_i=a^{\ast }{x}_i+b^{\ast }$ pour tout $i$ : les $n$ points sont alignés — sur la droite des moindres carrés, nécessairement ; réciproquement, si les points sont alignés sur une droite $y=ax+b$, alors $E(a,b)=0$, donc le minimum $E(a^{\ast },b^{\ast })$ est nul. Le signe de $\rho$ est celui de $a^{\ast }$, puisque $\rho =a^{\ast }\frac{s_x}{s_y}$ : $\rho >0$ pour une droite croissante.

6) Application. a) La loi d'Ohm. Avec $x_i=I_i$ en mA et $y_i=U_i$ en V : $\bar{I}=30$ mA, $\bar{U}=\frac{15,02}{5}=3,004$ V ; les écarts $I_i-\bar{I}$ valent $-20$, $-10$, $0$, $10$, $20$, d'où $s_I^2=\frac{400+100+0+100+400}{5}=200$ ; les écarts $U_i-\bar{U}$ valent $-1,984$ ; $-1,024$ ; $0,046$ ; $0,956$ ; $2,006$, d'où $$s_{IU}=\frac{39,68+10,24+0+9,56+40,12}{5}=\frac{99,6}{5}=19,92.$$ Donc $a^{\ast }=\frac{19,92}{200}=0,0996$ V/mA, soit une résistance $R\approx 99,6\Omega$, et $b^{\ast }=3,004-0,0996\times 30=0,016$ V, une ordonnée à l'origine de l'ordre de l'incertitude de lecture. Les résidus valent $0,008$ ; $-0,028$ ; $0,046$ ; $-0,040$ ; $0,014$ V — de somme nulle, sans signe ni tendance organisés —, et $E(a^{\ast },b^{\ast })\approx 0,00476{\mathrm{V}}^2$. Avec $s_U^2\approx 1,985$, on trouve ${\rho }^2=\frac{19,92^2}{200\times 1,985}\approx 0,9995$, soit $\rho \approx 0,9998$.

b) Une parabole. Pour $(k,k^2)$, $k=1,\dots ,5$ : $\bar{x}=3$, $\bar{y}=\frac{1+4+9+16+25}{5}=11$ ; les écarts $x_i-\bar{x}$ valent $-2,-1,0,1,2$ et $y_i-\bar{y}$ valent $-10,-7,-2,5,14$, d'où $s_x^2=2$, $s_{xy}=\frac{20+7+0+5+28}{5}=12$ et $s_y^2=\frac{100+49+4+25+196}{5}=\frac{374}{5}$. Donc $a^{\ast }=6$, $b^{\ast }=11-18=-7$, et les résidus $k^2-6k+7$ valent $$2,-1,-2,-1,2,$$ de somme nulle, et $\sum x_i{r}_i=2-2-6-4+10=0$ : les deux relations du 3). Enfin ${\rho }^2=\frac{144}{2\times 374/5}=\frac{180}{187}\approx 0,963$, soit $\rho \approx 0,981$ ; et $n{s}_y^2(1-{\rho }^2)=374\times \frac{7}{187}=14=4+1+4+1+4$, conforme au 5).

c) Ce que $\rho$ dit, et ce qu'il ne dit pas. Un $\rho$ proche de $1$ dit seulement que la meilleure droite laisse peu de variance inexpliquée, $1-{\rho }^2$ en proportion. Il ne prouve pas que le modèle est linéaire : au b), $\rho =0,981$ — une corrélation « excellente » — pour des points exactement sur une parabole, et le modèle linéaire est faux. Ce qui le révèle, ce sont les résidus : en $2,-1,-2,-1,2$, ils dessinent un « U », une structure que $\rho$ écrase en un seul nombre. Au a), au contraire, les résidus alternent de signe sans motif et restent de l'ordre de l'incertitude de mesure : c'est cela, et non la valeur de $\rho$, qui valide la loi d'Ohm. Il faut donc toujours tracer les résidus, les comparer aux incertitudes, et se demander si le modèle a une raison physique d'être linéaire — c'est la mise en garde du programme de physique contre « l'exploitation non raisonnée du coefficient de corrélation ».

Le théorème obtenu — la droite des moindres carrés. Pour $n\ge 2$ points dont les abscisses ne sont pas toutes égales, la fonction $E(a,b)=\sum (y_i-a{x}_i-b{)}^2$ admet un unique minimum global, atteint pour $a^{\ast }=\frac{s_{xy}}{s_x^2}$ et $b^{\ast }=\bar{y}-a^{\ast }\bar{x}$ ; la droite $y=a^{\ast }x+b^{\ast }$ passe par le point moyen, ses résidus sont de somme nulle et vérifient $\sum x_i{r}_i=0$, et le résidu minimal vaut $n{s}_y^2(1-{\rho }^2)$, où $\rho =\frac{s_{xy}}{s_x{s}_y}\in [-1,1]$ vaut $\pm 1$ si et seulement si les points sont alignés.

Ce que le problème installe. Un point critique, une identité, et la covariance. L'optimisation à deux variables donne les équations normales ; les deux relations des résidus tuent le terme croisé et donnent le minimum global sans aucun théorème d'existence ; le chapitre de probabilités dit que la pente est une covariance divisée par une variance, et que $1-{\rho }^2$ mesure ce que la droite n'explique pas. Et la leçon de travaux pratiques, en physique comme en sciences industrielles : la régression fournit un paramètre — une résistance, une raideur, une constante de temps —, mais c'est l'examen des résidus, pas la valeur de $\rho$, qui dit si le modèle est le bon.