Les équations normales de la droite de régression

La stratégie : une fonction polynomiale de degré $2$, donc un Taylor exact. $f$ est un polynôme du second degré en $(a,b)$ : sa formule de Taylor à l'ordre $2$ est exacte, sans reste, ce qui dispense de tout raisonnement local. Il suffit donc de deux choses : trouver le point critique — un système linéaire $2\times 2$, les équations normales — et montrer que la hessienne, constante, est définie positive. Le point critique est alors le minimum global et strict, et il est unique. (On n'invoque aucun critère de convexité : le programme n'en donne aucun. C'est le caractère exact du développement de Taylor qui fait passer du local au global.)

1) Les dérivées partielles. $f$ est polynomiale, donc de classe C∞ sur ${\mathbb{R}}^2$. En dérivant terme à terme la somme finie : $$\frac{\partial f}{\partial a}(a,b)=2\sum _{i=1}^N{x}_i(a{x}_i+b-y_i),\frac{\partial f}{\partial b}(a,b)=2\sum _{i=1}^N(a{x}_i+b-y_i).$$

2) Les équations normales. $\nabla f(a,b)=0$ s'écrit, après division par $2$ et regroupement des termes en $a$ et en $b$ : $$\{\begin{array}{l}a{\sum }_i{x}_i^2+b{\sum }_i{x}_i={\sum }_i{x}_i{y}_i,\\ a{\sum }_i{x}_i+Nb={\sum }_i{y}_i.\end{array}$$

3) La hessienne. Les dérivées secondes se lisent sur le 1) : $${\partial }_{aa}^{2}f=2\sum _i{x}_i^2,{\partial }_{ab}^{2}f={\partial }_{ba}^{2}f=2\sum _i{x}_i,{\partial }_{bb}^{2}f=2N,$$ soit $H=2\left(\begin{array}{cc}{\sum }_i{x}_i^2& {\sum }_i{x}_i\\ {\sum }_i{x}_i& N\end{array}\right)$, symétrique (théorème de Schwarz, ou lecture directe) et surtout constante : elle ne dépend pas du point.

4) $H$ est définie positive. Sa trace vaut $2(\sum x_i^2+N)>0$. Son déterminant vaut $\det H=4(N{\sum }_i{x}_i^2-({\sum }_i{x}_i{)}^2)$. Appliquons l'inégalité de Cauchy–Schwarz dans ${\mathbb{R}}^N$ aux vecteurs $u=(x_1,\dots ,x_N)$ et $1=(1,\dots ,1)$ : $$(\sum _i{x}_i{)}^2=⟨u,1{⟩}^2\le \Vert u{\Vert }^2\Vert 1{\Vert }^2=N\sum _i{x}_i^2,$$ avec égalité si et seulement si $u$ et $1$ sont colinéaires, c'est-à-dire si et seulement si tous les $x_i$ sont égaux. L'hypothèse l'exclut : l'inégalité est stricte, donc $\det H>0$. Trace et déterminant strictement positifs en dimension $2$ : les deux valeurs propres sont strictement positives, donc $H\in {\mathcal{S}}_2^{++}(\mathbb{R})$. En particulier le déterminant du système du 2), qui vaut $\frac{1}{4}\det H$, est non nul : ce système a une solution unique $(a^{\ast },b^{\ast })$.

5) Minimum global strict. $f$ étant polynomiale de degré $2$, ses dérivées d'ordre $\ge 3$ sont nulles et sa formule de Taylor à l'ordre $2$ au point critique $z_0=(a^{\ast },b^{\ast })$ est exacte : $$f(z_0+h)=f(z_0)+⟨\nabla f(z_0),h⟩+\frac{1}{2}⟨Hh,h⟩=f(z_0)+\frac{1}{2}⟨Hh,h⟩,$$ le terme du premier ordre étant nul puisque $z_0$ est critique. Or, pour $H$ symétrique définie positive, $⟨Hh,h⟩\ge {\lambda }_{\min }(H)\Vert h{\Vert }^2>0$ pour $h\ne 0$, où ${\lambda }_{\min }(H)>0$ par le 4). Donc $f(z_0+h)>f(z_0)$ pour tout $h\ne 0$ : $z_0$ est le minimum global strict de $f$ sur ${\mathbb{R}}^2$, et il est unique.

6) Forme centrée. Posons $\bar{x}=\frac{1}{N}\sum x_i$ et $\bar{y}=\frac{1}{N}\sum y_i$. La seconde équation normale s'écrit $b=\bar{y}-a\bar{x}$ ; en la reportant dans la première et en regroupant, $$a^{\ast }=\frac{{\sum }_i(x_i-\bar{x})(y_i-\bar{y})}{{\sum }_i(x_i-\bar{x}{)}^2},b^{\ast }=\bar{y}-a^{\ast }\bar{x}.$$ Le dénominateur vaut $\sum x_i^2-N{\bar{x}}^2=\frac{1}{4N}\det H>0$ : c'est exactement la quantité que Cauchy–Schwarz strict rendait non nulle. On lit au passage que la droite de régression passe toujours par le point moyen $(\bar{x},\bar{y})$.

Le point délicat : l'hypothèse « les $x_i$ non tous égaux » fait tout le travail, et elle n'intervient qu'une fois — dans le cas d'égalité de Cauchy–Schwarz. Si tous les $x_i$ valaient $x_0$, on aurait $\det H=0$ : la hessienne ne serait que positive, $f$ ne dépendrait de $(a,b)$ qu'à travers la quantité $a{x}_0+b$, et l'ensemble des minimiseurs serait une droite entière du plan $(a,b)$. Géométriquement : les points de données sont alignés sur une verticale, et aucune pente n'est déterminée.

Contrôle chiffré. Points $(1,2)$, $(2,3)$, $(3,5)$, $(4,4)$ : $N=4$, $\bar{x}=2,5$, $\bar{y}=3,5$, $\sum x_i=10$, $\sum x_i^2=30$. Numérateur de $a^{\ast }$ : $2,25+0,25+0,75+0,75=4$ ; dénominateur : $2,25+0,25+0,25+2,25=5$. Donc $a^{\ast }=0,8$ et $b^{\ast }=3,5-0,8\times 2,5=1,5$ ; les résidus valent $0,3$ ; $0,1$ ; $-1,1$ ; $0,7$, d'où $f(a^{\ast },b^{\ast })=1,80$. Cauchy–Schwarz est bien strict, $(\sum x_i{)}^2=100<120=N\sum x_i^2$, donc $H=\left(\begin{array}{cc}60& 20\\ 20& 8\end{array}\right)$ de déterminant $80>0$ et de valeurs propres $1,19756$ et $66,80244$, toutes deux positives ; et $\frac{\det H}{4N}=5$, exactement le dénominateur calculé. Enfin le Taylor exact se vérifie : $f(z_0+h)-f(z_0)$ et $\frac{1}{2}⟨Hh,h⟩$ valent tous deux $0,04$ pour $h=(0;-0,1)$, $0,075$ pour $h=(0,05;0)$, $0,0036$ pour $h=(-0,02;0,03)$. L'accord est exact, non asymptotique — signature du degré $2$, et c'est ce qui transforme un minimum local en minimum global.

Ce que l'exercice installe. La droite des moindres carrés est le minimum global d'une fonction dont la hessienne est constante définie positive, et les équations normales en sont l'unique caractérisation. Le mécanisme se généralise à la régression multiple : la hessienne devient $H=2X^{\mathsf{T}}X$, définie positive dès que la matrice $X$ des prédicteurs est de rang plein — le même cas d'égalité de Cauchy–Schwarz, sous forme matricielle —, et $X{\theta }^{\ast }$ est la projection orthogonale de $y$ sur l'image de $X$. On retrouve le chapitre 3 derrière le chapitre 11.