La droite des moindres carrés

La stratégie : lire une somme de carrés comme un carré de norme. Tout le reste suit du cours.

a) Traduction. Plaçons-nous dans ${\mathbb{R}}^n$ muni du produit scalaire canonique, et posons

$$Y=(y_1,\dots ,y_n),X=(x_1,\dots ,x_n),U=(1,1,\dots ,1).$$

La somme à minimiser est alors exactement le carré de la norme du vecteur $Y-aX-bU$ :

$$\sum _{i=1}^n(y_i-a{x}_i-b{)}^2=\Vert Y-(aX+bU){\Vert }^2.$$

Quand $(a,b)$ parcourt ${\mathbb{R}}^2$, le vecteur $aX+bU$ parcourt $F=\mathrm{Vect}(X,U)$. Minimiser revient donc à chercher $d(Y,F{)}^2$, et le cours répond : le minimum existe, il est atteint en un unique point de $F$, le projeté orthogonal $p_F(Y)$.

b) Les équations normales. Le projeté est caractérisé par $Y-aX-bU\perp F$, c'est-à-dire par l'orthogonalité aux deux générateurs :

$$⟨Y-aX-bU,X⟩=0\text{et}⟨Y-aX-bU,U⟩=0.$$

En développant par bilinéarité, et en notant les sommes usuelles, on obtient le système

$$a\sum _i{x}_i^2+b\sum _i{x}_i=\sum _i{x}_i{y}_i,a\sum _i{x}_i+bn=\sum _i{y}_i.$$

Ce sont les équations normales de la régression linéaire.

c) Condition d'unicité. ⚠️ Le système a une solution unique si et seulement si $X$ et $U$ ne sont pas colinéaires, c'est-à-dire si et seulement si les $x_i$ ne sont pas tous égaux. Sinon $F$ est une droite, la décomposition de $p_F(Y)$ sur $(X,U)$ n'est plus unique, et géométriquement le nuage est aligné sur une verticale : aucune droite d'équation $y=ax+b$ ne peut le représenter. Le cas d'égalité de Cauchy-Schwarz est exactement ce qui sépare les deux situations.

Contrôle numérique. Prenons les cinq points $(1;2,1)$, $(2;3,9)$, $(3;6,2)$, $(4;7,8)$, $(5;10,1)$. Alors $\sum x_i=15$, $\sum x_i^2=55$, $\sum y_i=30,1$ et $\sum x_i{y}_i=110,2$. Le système s'écrit $55a+15b=110,2$ et $15a+5b=30,1$ ; il donne $a=1,99$ et $b=0,05$. On vérifie alors que le vecteur des résidus est orthogonal à $X$ et à $U$, et qu'un déplacement de $\pm 0,01$ sur $a$ ou sur $b$ augmente la somme des carrés : le minimum est bien là.

Ce que l'exercice installe. L'orthogonalité au vecteur $U$ signifie que la somme des résidus est nulle : la droite des moindres carrés passe toujours par le point moyen du nuage. L'outil statistique le plus utilisé au monde n'est donc rien d'autre qu'une projection orthogonale — et il fonctionnera à l'identique avec dix variables explicatives, en projetant sur un sous-espace de dimension onze.