Les moindres carrés sont une recherche d'extremum

Le gradient. $g$ est polynomiale en $(a,b)$, donc de classe ${\mathcal{C}}^2$ sur ${\mathbb{R}}^2$. En dérivant terme à terme : $${\partial }_{1}g=-2\sum _{i=1}^n{x}_i(y_i-a{x}_i-b),{\partial }_{2}g=-2\sum _{i=1}^n(y_i-a{x}_i-b).$$

La seconde équation. $\sum y_i-a\sum x_i-nb=0$ ; en divisant par $n$ : $\bar{y}=a\bar{x}+b$, c'est-à-dire $$b=\bar{y}-a\bar{x}.$$ La droite passe donc par le point moyen : ce n'est pas une propriété ajoutée, c'est la condition d'ordre $1$ elle-même.

La première équation. En divisant par $n$ : $\frac{1}{n}\sum x_i{y}_i-a\frac{1}{n}\sum x_i^2-b\bar{x}=0$. On y remplace $b$ : $$\frac{1}{n}\sum x_i{y}_i-\bar{x}\bar{y}=a\left(\frac{1}{n}\sum x_i^2-{\bar{x}}^2\right),$$ soit, par Koenig-Huygens, $s_{xy}=a{s}_x^2$. Les $x_i$ n'étant pas toutes égales, $s_x^2>0$ et $$a=\frac{s_{xy}}{s_x^2}.$$ Le point critique est donc unique, et c'est exactement le couple $(a,b)$ du chapitre 7.

C'est un minimum. La hessienne ${\nabla }^{2}g=2\left(\begin{array}{cc}\sum x_i^2& \sum x_i\\ \sum x_i& n\end{array}\right)$ est constante et symétrique. Le produit de ses valeurs propres est son déterminant, $4(n\sum x_i^2-(\sum x_i{)}^2)=4n^2{s}_x^2>0$ : elles ont le même signe. Leur somme est celle des coefficients diagonaux, $2\sum x_i^2+2n>0$ : ce signe est donc positif. C'est un minimum.

Le point à retenir. La droite des moindres carrés n'est pas une formule tombée du ciel : c'est le point critique d'une fonction de deux variables, et les coefficients $a$ et $b$ sortent des deux équations $\nabla g=0$.