Distance d'un point à un hyperplan par Lagrange

Stratégie : Lagrange fournit le candidat, la géométrie le confirme. La contrainte est affine et la fonction quadratique : le système de Lagrange est linéaire, il se résout en deux lignes et ne livre qu'un seul candidat. Encore faut-il savoir qu'un minimum existe — un hyperplan n'est pas compact — puis vérifier que ce candidat est bien le minimum. On le fera deux fois : par un argument de coercivité (général), puis par un Pythagore explicite qui donne l'inégalité pour tous les points d'un coup, et l'unicité par-dessus le marché.

Cadre : $E$ euclidien, $n\in E\setminus \{0\}$, $c\in \mathbb{R}$, $H=\{x\in E:⟨n,x⟩=c\}$ et $p\in E$. On minimise $f(x)=\Vert x-p{\Vert }^2$ sur $H$. (Minimiser $\Vert x-p{\Vert }^2$ ou $\Vert x-p\Vert$ revient au même, $u\mapsto \sqrt{u}$ étant strictement croissante sur ${\mathbb{R}}_{+}$ : on préfère le carré, différentiable partout, y compris en $x=p$.)

1) Existence du minimum. $H$ est non vide (il contient $\frac{c}{\Vert n{\Vert }^2}n$). Choisissons $x_0\in H$ et posons $R=\Vert x_0-p\Vert$. Tout $x\in H$ avec $\Vert x-p\Vert >R$ vérifie $f(x)>f(x_0)$ : la borne inférieure de $f$ sur $H$ est donc aussi sa borne inférieure sur

$$K=H\cap \overline{B}(p,R),$$

qui est compact — fermé (intersection de deux fermés : $H$ est l'image réciproque du fermé $\{c\}$ par l'application continue $x\mapsto ⟨n,x⟩$) et borné, en dimension finie (chapitre 4) — et non vide ($x_0\in K$). $f$ étant continue, elle atteint son minimum sur $K$, donc sur $H$.

2) Les gradients. $f(x)=\Vert x{\Vert }^2-2⟨p,x⟩+\Vert p{\Vert }^2$, donc $\mathrm{d}f(x)\cdot h=2⟨x,h⟩-2⟨p,h⟩=⟨2(x-p),h⟩$, soit

$$\nabla f(x)=2(x-p).$$

La contrainte s'écrit $g(x)=⟨n,x⟩-c$, application affine, de différentielle $\mathrm{d}g(x)\cdot h=⟨n,h⟩$, soit $\nabla g(x)=n\ne 0$ en tout point : l'hypothèse de qualification du théorème de Lagrange est satisfaite partout sur $H$.

3) Le système de Lagrange. En un extremum lié $x^{\ast }$, il existe $\lambda \in \mathbb{R}$ tel que $\nabla f(x^{\ast })=\lambda \nabla g(x^{\ast })$, soit $2(x^{\ast }-p)=\lambda n$, c'est-à-dire

$$x^{\ast }=p+\frac{\lambda }{2}n.$$

On reporte dans la contrainte : $⟨n,p⟩+\frac{\lambda }{2}\Vert n{\Vert }^2=c$, donc $\frac{\lambda }{2}=\frac{c-⟨n,p⟩}{\Vert n{\Vert }^2}$ et

$$x^{\ast }=p+\frac{c-⟨n,p⟩}{\Vert n{\Vert }^2}n.$$

C'est l'unique candidat. Le minimum existe (1) et est nécessairement candidat (3) : c'est donc $x^{\ast }$, et la distance vaut

$$d=\Vert x^{\ast }-p\Vert =\frac{|c-⟨n,p⟩|}{\Vert n{\Vert }^2}\cdot \Vert n\Vert =\frac{|⟨n,p⟩-c|}{\Vert n\Vert }.$$

4) Confirmation directe, par Pythagore. Soit $x\in H$ quelconque. Comme $x$ et $x^{\ast }$ sont tous deux dans $H$, $⟨n,x-x^{\ast }⟩=c-c=0$. Or $x^{\ast }-p=\frac{\lambda }{2}n$ est colinéaire à $n$. Donc

$$⟨x-x^{\ast },x^{\ast }-p⟩=\frac{\lambda }{2}⟨x-x^{\ast },n⟩=0:$$

les deux vecteurs sont orthogonaux, exactement, et le théorème de Pythagore donne

$$\Vert x-p{\Vert }^2=\Vert (x-x^{\ast })+(x^{\ast }-p){\Vert }^2=\Vert x-x^{\ast }{\Vert }^2+\Vert x^{\ast }-p{\Vert }^2\ge \Vert x^{\ast }-p{\Vert }^2,$$

avec égalité si et seulement si $x=x^{\ast }$. On retrouve le minimum et son unicité, sans invoquer la compacité, et l'on constate que $x^{\ast }$ n'est autre que le projeté orthogonal de $p$ sur $H$ (chapitre 3).

⚠️ Le point délicat : Lagrange ne prouve pas l'existence, il ne fait que localiser. Un hyperplan n'est ni compact ni borné ; sauter l'étape 1 laisserait ouverte la possibilité que $f$ n'atteigne pas sa borne inférieure, auquel cas le « candidat » ne serait candidat à rien. Le réflexe à conserver, dans cet ordre : existence d'abord (compacité ou coercivité), condition nécessaire ensuite, comparaison des valeurs enfin.

⚠️ Second point, sur l'orthogonalité. L'affirmation « $x-x^{\ast }$ est orthogonal à $x^{\ast }-p$ » n'est pas un dessin, elle se calcule, et le calcul du 4) donne un produit scalaire nul au sens strict, pas « à peu près nul » : $x-x^{\ast }$ appartient à la direction de $H$, qui est $n^{\perp }$, et $x^{\ast }-p$ est un multiple de $n$. Une figure suggérant un angle droit ne remplace jamais ces deux lignes.

Contrôle chiffré. Dans ${\mathbb{R}}^3$ euclidien canonique : $n=(1,2,2)$ (donc $\Vert n{\Vert }^2=9$ et $\Vert n\Vert =3$), $c=6$, $p=(1,1,1)$ (donc $⟨n,p⟩=1+2+2=5$).

• Formule : $d=\frac{|5-6|}{3}=\frac{1}{3}=0,333333$.
• Point : $x^{\ast }=(1,1,1)+\frac{6-5}{9}(1,2,2)=\left(\frac{10}{9},\frac{11}{9},\frac{11}{9}\right)=(1,111111;1,222222;1,222222)$.
• Contrainte : $⟨n,x^{\ast }⟩=\frac{10}{9}+\frac{22}{9}+\frac{22}{9}=\frac{54}{9}=6$ ✓ — $x^{\ast }$ est bien sur l'hyperplan.
• Distance recalculée : $\Vert x^{\ast }-p\Vert =\frac{1}{9}\Vert n\Vert =\frac{3}{9}=\frac{1}{3}$ ✓, cohérent avec la formule.
• Minimalité : $400000$ points de $H$ tirés au hasard (vecteurs gaussiens, puis projetés sur $H$) donnent une distance minimale observée de $0,3333734$, à comparer à $\frac{1}{3}=0,3333333$. Aucun point sous la borne, et l'échantillon la frôle à $4\cdot 10^{-5}$ près.
• Pythagore : sur cinq points de $H$ tirés au hasard, $⟨x-x^{\ast },x^{\ast }-p⟩$ vaut $0$ ou $-5,6\cdot 10^{-17}$ (zéro machine), et $\Vert x-p{\Vert }^2-\Vert x-x^{\ast }{\Vert }^2-\Vert x^{\ast }-p{\Vert }^2$ reste sous $10^{-14}$.

Ce que l'exercice installe. Le multiplicateur de Lagrange retrouve la projection orthogonale du chapitre 3 : les deux méthodes désignent le même point. La formule $d=\frac{|⟨n,p⟩-c|}{\Vert n\Vert }$ généralise à toute dimension la formule du lycée $d=\frac{|a{x}_0+b{y}_0-c|}{\sqrt{a^2+b^2}}$, et le multiplicateur $\lambda$, dont on n'a pas eu besoin, mesure la sensibilité du minimum au déplacement de la contrainte. Moralité : contrainte affine $+$ fonction quadratique $=$ système de Lagrange linéaire. C'est le cas où la méthode est la plus rentable, et c'est le cœur des moindres carrés — le dernier exercice de ce TD — comme de la programmation quadratique.