La droite des moindres carrés est une projection

La stratégie. Reconnaître une somme de carrés comme le carré d'une norme : dès lors, minimiser cette somme, c'est minimiser une distance à un sous-espace, et le théorème de projection donne d'un coup l'existence, l'unicité et la caractérisation du minimum.

a) Mise en forme. Dans ${\mathbb{R}}^n$ muni du produit scalaire canonique, pour tous réels $a,b$, $$\sum _{i=1}^n(y_i-a{x}_i-b{)}^2=\Vert Y-(aX+bU){\Vert }^2.$$ Quand $(a,b)$ décrit ${\mathbb{R}}^2$, le vecteur $aX+bU$ décrit exactement $F=\mathrm{Vect}(X,U)$. Donc $$\underset{a,b}{\min }\sum _i(y_i-a{x}_i-b{)}^2=\underset{f\in F}{\min }\Vert Y-f{\Vert }^2=d(Y,F{)}^2,$$ et le théorème de la distance dit que ce minimum est atteint en l'unique point $f=p_F(Y)$.

Unicité du couple. Les $x_i$ n'étant pas tous égaux, $X$ n'est pas colinéaire à $U$ : la famille $(X,U)$ est libre, c'est une base de $F$, et $p_F(Y)$ s'écrit de façon unique $aX+bU$. Le couple $(a,b)$ est unique. Ajuster une droite, c'est projeter $Y$ sur un plan de ${\mathbb{R}}^n$ — et rien d'autre.

b) Les équations normales. Le projeté est caractérisé par $Y-p_F(Y)\in F^{\perp }$, c'est-à-dire $Y-aX-bU\perp X$ et $Y-aX-bU\perp U$ : $$⟨Y-aX-bU,X⟩=0,⟨Y-aX-bU,U⟩=0.$$ En développant, avec $⟨X,X⟩=\sum x_i^2$, $⟨X,U⟩=\sum x_i$, $⟨U,U⟩=n$, $⟨Y,X⟩=\sum x_i{y}_i$, $⟨Y,U⟩=\sum y_i$ : $$\{\begin{array}{l}a\sum _i{x}_i^2+b\sum _i{x}_i=\sum _i{x}_i{y}_i\\ a\sum _i{x}_i+bn=\sum _i{y}_i\end{array}$$ C'est le système des équations normales. Sa matrice $G=\left(\begin{array}{cc}\sum x_i^2& \sum x_i\\ \sum x_i& n\end{array}\right)$ a pour déterminant $$\det G=n\sum _i{x}_i^2-(\sum _i{x}_i{)}^2=\Vert U{\Vert }^2\Vert X{\Vert }^2-⟨X,U{⟩}^2,$$ strictement positif par l'inégalité de Cauchy-Schwarz, dont le cas d'égalité — $X$ et $U$ colinéaires — est précisément exclu. Le système est de Cramer, ce qui redonne l'unicité.

c) Le point moyen et la pente. Divisons la seconde équation par $n$ : $a\overline{x}+b=\overline{y}$, où $\overline{x}=\frac{1}{n}\sum x_i$ et $\overline{y}=\frac{1}{n}\sum y_i$. La droite passe par le point moyen, et $b=\overline{y}-a\overline{x}$. En reportant dans la première équation : $a\sum x_i^2+(\overline{y}-a\overline{x})n\overline{x}=\sum x_i{y}_i$, soit $$a(\sum _i{x}_i^2-n{\overline{x}}^2)=\sum _i{x}_i{y}_i-n\overline{x}\overline{y},a=\frac{{\sum }_i{x}_i{y}_i-n\overline{x}\overline{y}}{{\sum }_i{x}_i^2-n{\overline{x}}^2}.$$ Le dénominateur est $n$ fois la variance des $x_i$, non nul ; le numérateur, $n$ fois leur covariance avec les $y_i$.

d) L'exemple. $n=4$, $\sum x_i=10$, $\sum x_i^2=30$, $\sum y_i=14$, $\sum x_i{y}_i=2+6+15+16=39$. Donc $\overline{x}=\frac{5}{2}$, $\overline{y}=\frac{7}{2}$, et $$a=\frac{39-4\cdot \frac{5}{2}\cdot \frac{7}{2}}{30-4\cdot \frac{25}{4}}=\frac{39-35}{30-25}=\frac{4}{5},b=\frac{7}{2}-\frac{4}{5}\cdot \frac{5}{2}=\frac{7}{2}-2=\frac{3}{2}.$$ Contrôle sur le système : $30\cdot \frac{4}{5}+10\cdot \frac{3}{2}=24+15=39$ et $10\cdot \frac{4}{5}+4\cdot \frac{3}{2}=8+6=14$.

Les résidus. $r_i=y_i-\frac{4}{5}{x}_i-\frac{3}{2}$ : $r=(2-\frac{23}{10},3-\frac{31}{10},5-\frac{39}{10},4-\frac{47}{10})=(-\frac{3}{10},-\frac{1}{10},\frac{11}{10},-\frac{7}{10})$. Alors $⟨r,U⟩=\frac{-3-1+11-7}{10}=0$ et $⟨r,X⟩=\frac{-3-2+33-28}{10}=0$ : le résidu est orthogonal au plan, comme la théorie l'exige. Et $\Vert r{\Vert }^2=\frac{9+1+121+49}{100}=\frac{180}{100}=\frac{9}{5}$ est la valeur du minimum.

Ce que l'exercice installe. La régression linéaire, l'outil statistique le plus employé au monde, est une projection orthogonale, dans un espace de dimension égale au nombre de mesures. Tout ce qu'on en dit s'en déduit sans calcul supplémentaire : la somme des résidus est nulle ($r\perp U$), les résidus ne sont pas corrélés aux $x_i$ ($r\perp X$), la droite passe par le point moyen, et la décomposition $\Vert Y{\Vert }^2=\Vert p_F(Y){\Vert }^2+\Vert r{\Vert }^2$ est Pythagore. Le problème qui suit montrera qu'on peut même calculer la distance $\Vert r\Vert$ sans jamais projeter.