Les équations normales de la droite des moindres carrés

La stratégie. $f$ est un polynôme de degré deux en $(a,b)$ : son développement de Taylor à l'ordre deux est exact, sans reste. Au lieu de chercher un minimum local puis d'argumenter pour passer au global, on écrit une identité exacte qui donne d'un seul coup le minimum global et son unicité.

Notons $S_1={\sum }_i{x}_i$, $S_2={\sum }_i{x}_i^2$, $T_1={\sum }_i{y}_i$ et $T_{xy}={\sum }_i{x}_i{y}_i$.

a) Gradient et équations normales. $f$ est polynomiale, et $$\frac{\partial f}{\partial a}(a,b)=\sum _{i=1}^{N}2x_i(a{x}_i+b-y_i)=2(a{S}_2+b{S}_1-T_{xy}),$$ $$\frac{\partial f}{\partial b}(a,b)=\sum _{i=1}^{N}2(a{x}_i+b-y_i)=2(a{S}_1+bN-T_1).$$ Le gradient s'annule si et seulement si $$\{\begin{array}{l}a{S}_2+b{S}_1=T_{xy}\\ a{S}_1+bN=T_1\end{array}$$ — les équations normales —, système de déterminant $N{S}_2-S_1^2$. L'inégalité de Cauchy-Schwarz dans ${\mathbb{R}}^N$, appliquée à $(x_1,\dots ,x_N)$ et $(1,\dots ,1)$, donne $$S_1^2=(\sum _i{x}_i\cdot 1{)}^2\le (\sum _i{x}_i^2\left)\right(\sum _i{1}^2)=N{S}_2,$$ avec égalité si et seulement si les deux vecteurs sont colinéaires, c'est-à-dire si toutes les abscisses sont égales. Elles ne le sont pas : $N{S}_2-S_1^2>0$, le système est de Cramer, et il existe un unique point critique $(a^{\ast },b^{\ast })$, avec $$a^{\ast }=\frac{N{T}_{xy}-S_1{T}_1}{N{S}_2-S_1^2}.$$

b) Le point moyen, et la pente. La seconde équation normale, divisée par $N$, s'écrit $a^{\ast }\overline{x}+b^{\ast }=\overline{y}$ : la droite passe par le point moyen. En divisant numérateur et dénominateur de $a^{\ast }$ par $N^2$ : $$a^{\ast }=\frac{\frac{1}{N}{T}_{xy}-\overline{x}\overline{y}}{\frac{1}{N}{S}_2-{\overline{x}}^2}.$$ Or, en développant, $\mathrm{Cov}(x,y)=\frac{1}{N}{T}_{xy}-\overline{x}\overline{y}-\overline{x}\overline{y}+\overline{x}\overline{y}=\frac{1}{N}{T}_{xy}-\overline{x}\overline{y}$, et de même $V(x)=\frac{1}{N}{S}_2-{\overline{x}}^2$ : $a^{\ast }=\frac{\mathrm{Cov}(x,y)}{V(x)}$.

c) La hessienne, et le minimum global. Les dérivées secondes sont constantes : $$H_f=2\left(\begin{array}{cc}{S}_2& S_1\\ S_1& N\end{array}\right),\det H_f=4(N{S}_2-S_1^2)>0,\mathrm{tr}{H}_f=2(S_2+N)>0.$$ Par l'explicitation du critère pour $p=2$, $H_f\in {\mathcal{S}}_2^{++}(\mathbb{R})$ : $(a^{\ast },b^{\ast })$ est un minimum local strict. Le développement exact donne davantage. Notons $r_i=a^{\ast }{x}_i+b^{\ast }-y_i$ les résidus ; pour tout $(u,v)$, $$f(a^{\ast }+u,b^{\ast }+v)=\sum _i(r_i+u{x}_i+v{)}^2=\sum _i{r}_i^2+2\sum _i{r}_i(u{x}_i+v)+\sum _i(u{x}_i+v{)}^2.$$ Le terme du milieu vaut $u\frac{\partial f}{\partial a}(a^{\ast },b^{\ast })+v\frac{\partial f}{\partial b}(a^{\ast },b^{\ast })=0$, puisque le point est critique. Il reste l'identité exacte $$f(a^{\ast }+u,b^{\ast }+v)=f(a^{\ast },b^{\ast })+\sum _{i=1}^N(u{x}_i+v{)}^2\ge f(a^{\ast },b^{\ast }).$$ Le minimum est global, et strict : l'égalité impose $u{x}_i+v=0$ pour tout $i$ ; avec deux indices tels que $x_i\ne x_j$, la différence donne $u=0$, puis $v=0$. Le minimiseur est unique : c'est la droite de régression.

d) Application numérique. Ici $N=4$, $S_1=10$, $S_2=30$, $T_1=13$ et $T_{xy}=38$ ; $N{S}_2-S_1^2=20>0$, et $$a^{\ast }=\frac{4\times 38-10\times 13}{20}=\frac{22}{20}=1,1,$$ puis $b^{\ast }=\frac{13-1,1\times 10}{4}=0,5$. Contrôle par le b) : $\overline{x}=2,5$, $\overline{y}=3,25$, $\mathrm{Cov}(x,y)=9,5-8,125=1,375$ et $V(x)=7,5-6,25=1,25$, de quotient $1,1$. Les résidus valent $-0,4$ ; $0,7$ ; $-0,2$ ; $-0,1$ : de somme nulle (seconde équation normale), et ${\sum }_i{r}_i{x}_i=-0,4+1,4-0,6-0,4=0$ (première). Le minimum vaut $0,16+0,49+0,04+0,01=0,70$, et l'identité exacte prédit $f(1,15;0,5)=0,70+0,0025\times 30=0,775$, ce que le calcul direct confirme.

Ce que l'exercice installe. Une fonction quadratique se développe exactement à l'ordre deux : un point critique où la hessienne est définie positive y est un minimum global, sans autre argument. Les équations normales disent que le vecteur des résidus est orthogonal à $(x_1,\dots ,x_N)$ et à $(1,\dots ,1)$ : c'est la projection orthogonale du cours d'algèbre euclidienne, retrouvée par le calcul différentiel. Et c'est la régression linéaire des travaux pratiques de physique et de chimie : la droite passe par le point moyen, et sa pente est la covariance divisée par la variance.