La boussole du gradient, et la descente qu'elle guide

La stratégie. La définition géométrique du produit scalaire pour la plus forte pente, la règle de la chaîne pour l'orthogonalité, et deux suites géométriques pour la descente. Trois propriétés du gradient, une seule figure : une carte topographique, sur laquelle la ligne de plus grande pente coupe les courbes de niveau à angle droit.

a) Le gradient. $\frac{\partial f}{\partial x}=2x$ et $\frac{\partial f}{\partial y}=6y$, donc $$\nabla f(1,1)=(2,6),\Vert \nabla f(a)\Vert =\sqrt{4+36}=\sqrt{40}=2\sqrt{10}\approx 6,325.$$

b) La plus forte pente. Pour $u$ unitaire, le cours donne $D_{u}f(a)=\nabla f(a)\cdot u$. Notons $\theta$ l'angle entre $\nabla f(a)$ et $u$ ; la définition géométrique du produit scalaire, vue au chapitre de géométrie, donne $$\nabla f(a)\cdot u=\Vert \nabla f(a)\Vert \Vert u\Vert \cos \theta =\Vert \nabla f(a)\Vert \cos \theta \le \Vert \nabla f(a)\Vert ,$$ avec égalité si et seulement si $\cos \theta =1$, c'est-à-dire si $u$ est positivement colinéaire à $\nabla f(a)$. Le maximum est donc atteint pour $$u=\frac{\nabla f(a)}{\Vert \nabla f(a)\Vert }=\frac{(2,6)}{2\sqrt{10}}=\frac{1}{\sqrt{10}}(1,3),\text{et vaut}2\sqrt{10}.$$ Le minimum, $-2\sqrt{10}$, est atteint pour $-u$ ($\cos \theta =-1$) : c'est la plus forte descente. Et pour les deux directions orthogonales au gradient ($\cos \theta =0$), la dérivée est nulle : ce sont les directions de la ligne de niveau.

Le point délicat. La contrainte $\Vert u\Vert =1$ n'est pas une décoration : sans elle, $\nabla f(a)\cdot u$ n'est pas borné, il suffit d'agrandir $u$. C'est parce qu'on compare des directions à longueur égale que la dérivée ne dépend plus que de l'angle $\theta$, et que la question a un sens.

c) L'orthogonalité aux lignes de niveau. Paramétrage. Posons $\gamma (t)=\left(2\cos t,\frac{2}{\sqrt{3}}\sin t\right)$. Alors $f(\gamma (t))=4{\cos }^{2}t+3\cdot \frac{4}{3}{\sin }^{2}t=4$ : l'arc $\gamma$ est tracé dans la ligne de niveau. Le point $a=(1,1)$ correspond à $\cos t_0=\frac{1}{2}$ et $\sin t_0=\frac{\sqrt{3}}{2}$, soit $t_0=\frac{\pi }{3}$. Le vecteur vitesse est ${\gamma }^{\prime }(t)=\left(-2\sin t,\frac{2}{\sqrt{3}}\cos t\right)$, donc $${\gamma }^{\prime }(t_0)=\left(-\sqrt{3},\frac{1}{\sqrt{3}}\right)=\frac{1}{\sqrt{3}}(-3,1).$$ Un vecteur tangent en $a$ est $(-3,1)$, et $\nabla f(a)\cdot (-3,1)=2\times (-3)+6\times 1=0$.

La raison générale. La fonction $t\mapsto f(\gamma (t))$ est constante, égale à $4$, donc de dérivée nulle ; or la règle de la chaîne donne $(f\circ \gamma {)}^{\prime }(t)=\nabla f(\gamma (t))\cdot {\gamma }^{\prime }(t)$. En $t_0$ : $\nabla f(a)\cdot {\gamma }^{\prime }(t_0)=0$. Le gradient est orthogonal à toute ligne de niveau, en tout point, pour toute fonction ${\mathcal{C}}^1$ : le calcul ci-dessus n'en est qu'une vérification.

d) La descente de gradient. Notons $u_k=(x_k,y_k)$. Comme $\nabla f(x,y)=(2x,6y)$, la récurrence se sépare coordonnée par coordonnée : $$x_{k+1}=x_k-2\eta x_k=(1-2\eta )x_k,y_{k+1}=y_k-6\eta y_k=(1-6\eta )y_k.$$ Deux suites géométriques, de premier terme $1$ : $$u_k=((1-2\eta {)}^k,(1-6\eta {)}^k).$$ Convergence. Une suite géométrique $q^k$ tend vers $0$ si et seulement si $|q|<1$. Il faut donc $|1-2\eta |<1$, soit $0<\eta <1$, et $|1-6\eta |<1$, soit $0<\eta <\frac{1}{3}$. La suite converge vers $(0,0)$ si et seulement si $$0<\eta <\frac{1}{3}.$$ Pour $\eta =\frac{1}{3}$, $y_k=(-1{)}^k$ oscille sans converger ; pour $\eta =\frac{1}{2}$, $x_k=0$ dès $k=1$ mais $y_k=(-2{)}^k$ diverge : le pas est limité par la direction la plus raide, celle du coefficient $6$, même si l'autre direction supporterait un pas plus grand.

Le pas optimal. La vitesse est gouvernée par la plus grande des deux raisons en valeur absolue, $m(\eta )=\max (|1-2\eta |,|1-6\eta |)$, à rendre minimale sur $\left]0,\frac{1}{3}\right[$. Sur cet intervalle $1-2\eta >0$. Pour $\eta \le \frac{1}{6}$, $0\le 1-6\eta \le 1-2\eta$, donc $m(\eta )=1-2\eta$, décroissante. Pour $\eta \ge \frac{1}{6}$, $|1-6\eta |=6\eta -1$, et $6\eta -1\le 1-2\eta$ si et seulement si $\eta \le \frac{1}{4}$ : donc $m(\eta )=1-2\eta$ (décroissante) sur $\left[\frac{1}{6},\frac{1}{4}\right]$ et $m(\eta )=6\eta -1$ (croissante) sur $\left[\frac{1}{4},\frac{1}{3}\right[$. Le minimum est atteint en $$\eta =\frac{1}{4},\text{ouˋ }m=\frac{1}{2}:u_k=\left(\frac{1}{2^k},\frac{(-1{)}^k}{2^k}\right).$$ Les deux coordonnées sont divisées par $2$ à chaque pas, la seconde en changeant de signe : la trajectoire zigzague de part et d'autre de l'axe des abscisses en fondant vers l'origine. Concrètement, $u_1=\left(\frac{1}{2},-\frac{1}{2}\right)$ avec $f(u_1)=\frac{1}{4}+\frac{3}{4}=1$, contre $f(a)=4$ ; $u_2=\left(\frac{1}{4},\frac{1}{4}\right)$, $f(u_2)=\frac{1}{4}$.

La direction. $-\nabla f(a)=(-2,-6)$, alors que la direction de $(0,0)$ vu de $a$ est $(-1,-1)$. Ces deux vecteurs ne sont pas colinéaires — leur déterminant vaut $(-2)(-1)-(-6)(-1)=-4\ne 0$ : le gradient ne pointe pas vers le minimum. Il pointe perpendiculairement à l'ellipse de niveau, et une ellipse n'est pas un cercle.

e) Le gradient radial. Sur l'ouvert ${\mathbb{R}}^2\setminus \{(0,0)\}$, où $x^2+y^2>0$, on dérive $\ln$ composé avec une fonction de $x$, $y$ étant fixé, puis l'inverse : $$\frac{\partial g}{\partial x}=\frac{2x}{x^2+y^2},\frac{\partial g}{\partial y}=\frac{2y}{x^2+y^2},\text{soit}\nabla g(x,y)=\frac{2}{x^2+y^2}(x,y).$$ Le gradient est un multiple strictement positif du vecteur qui joint l'origine au point : il est radial et pointe vers l'extérieur, de norme $\frac{2}{r}$ à la distance $r$ de l'origine. La plus forte descente, $-\nabla g$, vise exactement le centre.

Pourquoi cette fois. Les lignes de niveau de $g$ sont les ensembles $x^2+y^2=e^c$ : des cercles centrés en l'origine. Le gradient, orthogonal à la ligne de niveau, est donc porté par la normale au cercle — et la normale à un cercle passe par son centre, en tout point. Pour $f$, les lignes de niveau sont des ellipses, dont la normale ne passe par le centre qu'aux quatre sommets (on le démontrera à l'exercice 4) : c'est toute la différence. Contrôle en $(3,4)$ : $\nabla g=\left(\frac{6}{25},\frac{8}{25}\right)$, de norme $\frac{2}{5}=\frac{2}{r}$ avec $r=5$ ; un pas de $0,01$ dans la direction radiale $(0,6;0,8)$ fait croître $g$ de $0,003996$, contre $0,4\times 0,01=0,004$ prévu au premier ordre.

Ce que l'exercice installe. Le gradient est une boussole locale : il indique la montée la plus raide, sa norme est la pente, il est perpendiculaire aux courbes de niveau — trois faits, une seule figure. Sur une carte de température, le flux de chaleur descend le gradient, perpendiculairement aux isothermes ; sur un relief, l'eau ruisselle perpendiculairement aux courbes de niveau. Et la descente $u_{k+1}=u_k-\eta \nabla f(u_k)$, que le cours annonce comme l'algorithme au cœur de l'optimisation, montre ses deux limites dès l'exemple le plus simple : le pas se règle sur la direction la plus raide, et la direction locale ne vise le but que si les lignes de niveau sont des cercles.