Les équations normales de la droite des moindres carrés

Stratégie : $f$ est quadratique, donc son développement à l'ordre 2 est exact. C'est la clé de tout l'exercice : au lieu de chercher un extremum local puis d'argumenter pour passer au global, on écrit une identité exacte $f(a^{\ast }+u,b^{\ast }+v)=f(a^{\ast },b^{\ast })+\text{(somme de carreˊs)}$, qui donne le minimum global et son unicité d'un seul geste.

Notons $N$ le nombre de points et

$$S_1=\sum _{i=1}^N{x}_i,S_2=\sum _{i=1}^N{x}_i^2,T_1=\sum _{i=1}^N{y}_i,T_{xy}=\sum _{i=1}^N{x}_i{y}_i,\bar{x}=\frac{S_1}{N},\bar{y}=\frac{T_1}{N}.$$

1. Gradient. $f$ est polynomiale en $(a,b)$, donc de classe ${\mathcal{C}}^{\infty }$ sur ${\mathbb{R}}^2$, et

$$\frac{\partial f}{\partial a}(a,b)=\sum _{i=1}^{N}2x_i(a{x}_i+b-y_i)=2\left(a{S}_2+b{S}_1-T_{xy}\right),$$

$$\frac{\partial f}{\partial b}(a,b)=\sum _{i=1}^{N}2(a{x}_i+b-y_i)=2\left(a{S}_1+bN-T_1\right).$$

2. Les équations normales, et pourquoi elles ont une solution unique. $\nabla f(a,b)=0$ équivaut au système linéaire

$$\{\begin{array}{l}a{S}_2+b{S}_1=T_{xy}\\ a{S}_1+bN=T_1\end{array}$$

de déterminant $N{S}_2-S_1^2$. L'inégalité de Cauchy-Schwarz dans ${\mathbb{R}}^N$, appliquée aux vecteurs $(x_1,\dots ,x_N)$ et $(1,\dots ,1)$, donne

$$S_1^2=(\sum _i{x}_i\cdot 1{)}^2\le (\sum _i{x}_i^2\left)\right(\sum _i{1}^2)=N{S}_2,$$

avec égalité si et seulement si les deux vecteurs sont colinéaires, c'est-à-dire si tous les $x_i$ sont égaux. Ils ne le sont pas : l'inégalité est stricte, $N{S}_2-S_1^2>0$, le système est de Cramer, et il existe un unique point critique $(a^{\ast },b^{\ast })$ :

$$a^{\ast }=\frac{N{T}_{xy}-S_1{T}_1}{N{S}_2-S_1^2},b^{\ast }=\frac{T_1-a^{\ast }{S}_1}{N}=\bar{y}-a^{\ast }\bar{x}.$$

La seconde équation normale, relue, dit exactement que la droite passe par le point moyen $(\bar{x},\bar{y})$.

3. Le développement exact, et le minimum global. Notons $r_i=a^{\ast }{x}_i+b^{\ast }-y_i$ les résidus au point critique. Pour tout $(u,v)\in {\mathbb{R}}^2$ :

$$f(a^{\ast }+u,b^{\ast }+v)=\sum _{i=1}^N{\left(r_i+u{x}_i+v\right)}^2=\sum _i{r}_i^2+2\sum _i{r}_i(u{x}_i+v)+\sum _i(u{x}_i+v{)}^2.$$

Le terme croisé vaut

$$u\sum _{i}2r_i{x}_i+v\sum _{i}2r_i=u\frac{\partial f}{\partial a}(a^{\ast },b^{\ast })+v\frac{\partial f}{\partial b}(a^{\ast },b^{\ast })=0,$$

puisque $(a^{\ast },b^{\ast })$ est point critique. Il reste l'identité exacte

$$f(a^{\ast }+u,b^{\ast }+v)=f(a^{\ast },b^{\ast })+\sum _{i=1}^N(u{x}_i+v{)}^2\ge f(a^{\ast },b^{\ast }).$$

Le minimum est donc global. Il est de plus strict : l'égalité impose $u{x}_i+v=0$ pour tout $i$ ; en prenant deux indices $i,j$ avec $x_i\ne x_j$ (ils existent), la soustraction donne $u(x_i-x_j)=0$, donc $u=0$, puis $v=0$. Le minimiseur est unique, c'est $(a^{\ast },b^{\ast })$ : c'est la droite de régression $y=a^{\ast }x+b^{\ast }$.

Lecture par la hessienne, pour mémoire. $H_f=2\left(\begin{array}{cc}{S}_2& S_1\\ S_1& N\end{array}\right)$, constante ; $\det H_f=4\left(N{S}_2-S_1^2\right)>0$ et $\mathrm{tr}{H}_f=2(S_2+N)>0$, donc $H_f\in {\mathcal{S}}_2^{++}$ : le critère du cours donne un minimum local strict. Le développement exact ci-dessus donne davantage — le caractère global et l'unicité — pour le même prix, parce que $f$ est quadratique.

Contrôle chiffré. Prenons les quatre points $(1,2)$, $(2,2)$, $(3,4)$, $(4,5)$ : $N=4$, $S_1=10$, $S_2=30$, $T_1=13$, $T_{xy}=38$. Alors $N{S}_2-S_1^2=120-100=20>0$ (les $x_i$ ne sont pas tous égaux ✓), et

$$a^{\ast }=\frac{4\times 38-10\times 13}{20}=\frac{22}{20}=1,1,b^{\ast }=\frac{13-11}{4}=0,5.$$

Les résidus valent $-0,4$ ; $0,7$ ; $-0,2$ ; $-0,1$. Deux vérifications des équations normales : ${\sum }_i{r}_i=0$ ✓ (deuxième équation) et ${\sum }_i{r}_i{x}_i=-0,4+1,4-0,6-0,4=0$ ✓ (première équation). La valeur minimale est

$$f(1,1;0,5)=0,16+0,49+0,04+0,01=0,70.$$

Enfin, l'identité exacte du 3 se teste : elle prédit un excès de ${\sum }_i(u{x}_i+v{)}^2$ en $(a^{\ast }+u,b^{\ast }+v)$.

$(u,v)$	excès prédit $\sum (u{x}_i+v{)}^2$	$f$ prédite	$f$ calculée
$(0,05;0)$	$0,0025\times 30=0,075$	$0,775$	$0,775$
$(-0,05;0)$	$0,075$	$0,775$	$0,775$
$(0;0,05)$	$4\times 0,0025=0,01$	$0,71$	$0,71$
$(0,05;0,05)$	$0,135$	$0,835$	$0,835$

Quatre valeurs prédites, quatre valeurs retrouvées, toutes strictement supérieures à $0,70$ ✓.

Ce qui est acquis. Les équations normales, l'inversibilité de leur système par Cauchy-Schwarz strict, et surtout le réflexe : une fonction quadratique se développe exactement, et l'on conclut au global sans détour.