La boussole du gradient, et la descente qu'elle guide

La stratégie. Cauchy-Schwarz pour la plus forte pente, la règle de la chaîne pour l'orthogonalité, et deux suites géométriques pour la descente. Trois propriétés du gradient, une seule figure : une carte topographique, sur laquelle la ligne de plus grande pente coupe les courbes de niveau à angle droit.

a) Le gradient. $\frac{\partial f}{\partial x}=2x$ et $\frac{\partial f}{\partial y}=6y$, donc $$\nabla f(1,1)=(2,6),\Vert \nabla f(a)\Vert =\sqrt{4+36}=\sqrt{40}=2\sqrt{10}\approx 6,325.$$

b) La plus forte pente. Pour $u$ unitaire, le cours donne $D_{u}f(a)=⟨\nabla f(a),u⟩$. L'inégalité de Cauchy-Schwarz fournit $$⟨\nabla f(a),u⟩\le \Vert \nabla f(a)\Vert \Vert u\Vert =\Vert \nabla f(a)\Vert ,$$ avec égalité si et seulement si $u$ est positivement colinéaire à $\nabla f(a)$. Le maximum est donc atteint pour $$u=\frac{\nabla f(a)}{\Vert \nabla f(a)\Vert }=\frac{(2,6)}{2\sqrt{10}}=\frac{1}{\sqrt{10}}(1,3),\text{et vaut}\underset{\Vert u\Vert =1}{\max }{D}_{u}f(a)=2\sqrt{10}.$$ Le minimum, $-2\sqrt{10}$, est atteint pour $-u$ : c'est la plus forte descente.

Le point délicat. La contrainte $\Vert u\Vert =1$ n'est pas une décoration : sans elle, $⟨\nabla f(a),u⟩$ n'est pas borné, il suffit d'agrandir $u$. C'est parce qu'on compare des directions à longueur égale que la question a un sens, et c'est exactement l'hypothèse dont Cauchy-Schwarz a besoin.

c) L'orthogonalité aux lignes de niveau. Paramétrage. Posons $\gamma (t)=\left(2\cos t,\frac{2}{\sqrt{3}}\sin t\right)$. Alors $f(\gamma (t))=4{\cos }^{2}t+3\cdot \frac{4}{3}{\sin }^{2}t=4$ : l'arc $\gamma$ est tracé dans la ligne de niveau. Le point $a=(1,1)$ correspond à $\cos t_0=\frac{1}{2}$ et $\sin t_0=\frac{\sqrt{3}}{2}$, soit $t_0=\frac{\pi }{3}$. Le vecteur vitesse est ${\gamma }^{\prime }(t)=\left(-2\sin t,\frac{2}{\sqrt{3}}\cos t\right)$, donc $${\gamma }^{\prime }(t_0)=\left(-\sqrt{3},\frac{1}{\sqrt{3}}\right)=\frac{1}{\sqrt{3}}(-3,1).$$ Un vecteur tangent en $a$ est $(-3,1)$, et $⟨\nabla f(a),(-3,1)⟩=2\times (-3)+6\times 1=0$.

La raison générale. La fonction $t\mapsto f(\gamma (t))$ est constante, égale à $4$, donc de dérivée nulle ; or la règle de la chaîne donne $(f\circ \gamma {)}^{\prime }(t)=⟨\nabla f(\gamma (t)),{\gamma }^{\prime }(t)⟩$. En $t_0$ : $⟨\nabla f(a),{\gamma }^{\prime }(t_0)⟩=0$. Le gradient est orthogonal à toute ligne de niveau, en tout point, pour toute fonction ${\mathcal{C}}^1$ : le calcul ci-dessus n'en est qu'une vérification.

d) La descente de gradient. Notons $u_k=(x_k,y_k)$. Comme $\nabla f(x,y)=(2x,6y)$, la récurrence se sépare coordonnée par coordonnée : $$x_{k+1}=x_k-2\eta x_k=(1-2\eta )x_k,y_{k+1}=y_k-6\eta y_k=(1-6\eta )y_k.$$ Deux suites géométriques, de premier terme $1$ : $$u_k=((1-2\eta {)}^k,(1-6\eta {)}^k).$$ Convergence. Une suite géométrique $q^k$ tend vers $0$ si et seulement si $|q|<1$. Il faut donc $|1-2\eta |<1$, soit $0<\eta <1$, et $|1-6\eta |<1$, soit $0<\eta <\frac{1}{3}$. La suite converge vers $(0,0)$ si et seulement si $$0<\eta <\frac{1}{3}.$$ Pour $\eta =\frac{1}{3}$, $y_k=(-1{)}^k$ oscille sans converger ; pour $\eta =\frac{1}{2}$, $x_k=0$ dès $k=1$ mais $y_k=(-2{)}^k$ diverge : le pas est limité par la direction de plus forte courbure, celle du coefficient $6$, même si l'autre direction supporterait un pas plus grand.

Le pas optimal. La vitesse est gouvernée par la plus grande des deux raisons en valeur absolue, $m(\eta )=\max (|1-2\eta |,|1-6\eta |)$, à rendre minimale sur $\left]0,\frac{1}{3}\right[$. Sur cet intervalle $1-2\eta >0$. Pour $\eta \le \frac{1}{6}$, $1-6\eta \ge 0$ et $1-6\eta \le 1-2\eta$, donc $m(\eta )=1-2\eta$, décroissante. Pour $\eta \ge \frac{1}{6}$, $|1-6\eta |=6\eta -1$, et $6\eta -1\le 1-2\eta$ si et seulement si $\eta \le \frac{1}{4}$ : donc $m(\eta )=1-2\eta$ (décroissante) sur $\left[\frac{1}{6},\frac{1}{4}\right]$ et $m(\eta )=6\eta -1$ (croissante) sur $\left[\frac{1}{4},\frac{1}{3}\right[$. Le minimum est atteint en $$\eta =\frac{1}{4},\text{ouˋ }m=\frac{1}{2}:u_k=\left(\frac{1}{2^k},\frac{(-1{)}^k}{2^k}\right).$$ Les deux coordonnées sont divisées par $2$ à chaque pas, la seconde en changeant de signe : la trajectoire zigzague de part et d'autre de l'axe des abscisses en fondant vers l'origine. Concrètement, $u_1=\left(\frac{1}{2},-\frac{1}{2}\right)$ avec $f(u_1)=\frac{1}{4}+\frac{3}{4}=1$, contre $f(a)=4$ ; $u_2=\left(\frac{1}{4},\frac{1}{4}\right)$, $f(u_2)=\frac{1}{4}$.

La direction. $-\nabla f(a)=(-2,-6)$, alors que la direction de $(0,0)$ vu de $a$ est $(-1,-1)$. Ces deux vecteurs ne sont pas colinéaires : le gradient ne pointe pas vers le minimum. Il pointe perpendiculairement à l'ellipse de niveau, et une ellipse n'est pas un cercle : sa normale ne passe par le centre qu'aux quatre sommets. C'est pourquoi la descente à pas fixe ne va pas droit au but et zigzague.

Ce que l'exercice installe. Le gradient est une boussole locale : il indique la montée la plus raide, sa norme est la pente, il est perpendiculaire aux courbes de niveau — trois faits, une seule figure. Et la descente $u_{k+1}=u_k-\eta \nabla f(u_k)$, que le cours annonce comme l'algorithme au cœur de l'optimisation, montre ses deux limites dès l'exemple le plus simple : le pas se règle sur la plus forte courbure, et la direction locale n'est pas la direction du but.