Ce qu'une droite prouve, et ce qu'elle ne prouve pas

La stratégie. Plan tangent horizontal équivaut à gradient nul : on résout $\nabla f=0$, puis on décide de la nature de chaque candidat à la main, par des restrictions à des chemins bien choisis — des droites d'abord, puis, au c), une parabole, parce que les droites ne suffisent pas.

a) La selle. Le plan tangent en $(a,b)$ a pour équation $z=f(a,b)+\frac{\partial f}{\partial x}(a,b)(x-a)+\frac{\partial f}{\partial y}(a,b)(y-b)$ ; il est horizontal si et seulement si ses deux pentes sont nulles, c'est-à-dire si et seulement si $\nabla f(a,b)=(0,0)$. Pour $f(x,y)=x^2-y^2$ : $\nabla f=(2x,-2y)=(0,0)$ si et seulement si $(x,y)=(0,0)$. Unique point, l'origine, où $f=0$ et le plan tangent est $z=0$.

Ce n'est pas un extremum. Pour $x\ne 0$, $f(x,0)=x^2>0$ ; pour $y\ne 0$, $f(0,y)=-y^2<0$. Aussi près de l'origine qu'on veut, $f$ prend des valeurs strictement positives et strictement négatives, alors que $f(0,0)=0$ : ni maximum ni minimum local. C'est le point selle, ou col, du cours : minimum le long de l'axe des abscisses, maximum le long de l'axe des ordonnées.

b) La selle de singe. $\nabla f=(3x^2-3y^2,-6xy)=(0,0)$. La seconde équation impose $x=0$ ou $y=0$ ; la première, $x^2=y^2$, force alors l'autre coordonnée à s'annuler. Unique point critique : l'origine, où $f=0$. Ce n'est pas un extremum : $f(x,0)=x^3$ change de signe en $0$.

En polaires. Pour $x=r\cos \theta$, $y=r\sin \theta$ : $$f=r^3\left({\cos }^3\theta -3\cos \theta {\sin }^2\theta \right)=r^3\left({\cos }^3\theta -3\cos \theta (1-{\cos }^2\theta )\right)=r^3\left(4{\cos }^3\theta -3\cos \theta \right)=r^3\cos 3\theta ,$$ par la formule de triplication du cosinus. Le signe de $f$ est celui de $\cos 3\theta$ : positif sur trois secteurs d'ouverture $\frac{\pi }{3}$ (autour des directions $\theta =0$, $\frac{2\pi }{3}$, $\frac{4\pi }{3}$), négatif sur les trois secteurs intercalés. Autour de l'origine, la surface a trois crêtes et trois vallées — une selle de cheval a deux places pour les jambes, celle-ci en a une troisième pour la queue, d'où son nom.

c) Un minimum sur toutes les droites, et pourtant. Développons : $h=y^2-3x^{2}y+2x^4$, d'où $\nabla h=(-6xy+8x^3,2y-3x^2)$, qui s'annule en $(0,0)$ : point critique, avec $h(0,0)=0$.

Sur la droite verticale $x=0$ : $h(0,y)=y\cdot y=y^2>0$ pour $y\ne 0$. Minimum local strict.

Sur une droite $y=\lambda x$ : $h(x,\lambda x)=(\lambda x-x^2)(\lambda x-2x^2)=x^2(\lambda -x)(\lambda -2x)$. Si $\lambda \ne 0$, pour $0<|x|<\frac{|\lambda |}{2}$, les deux facteurs $\lambda -x$ et $\lambda -2x$ ont le signe de $\lambda$, donc leur produit est strictement positif, et $h(x,\lambda x)>0$. Si $\lambda =0$, $h(x,0)=(-x^2)(-2x^2)=2x^4>0$ pour $x\ne 0$. Dans tous les cas, minimum local strict en $0$.

Sur chaque droite du plan passant par l'origine, sans exception, la restriction de $h$ admet en $0$ un minimum local strict.

Et pourtant. Suivons la parabole $y=\frac{3}{2}{x}^2$ : $$h\left(x,\frac{3}{2}{x}^2\right)=\left(\frac{3}{2}{x}^2-x^2\right)\left(\frac{3}{2}{x}^2-2x^2\right)=\left(\frac{1}{2}{x}^2\right)\left(-\frac{1}{2}{x}^2\right)=-\frac{x^4}{4}<0\text{pour }x\ne 0.$$ Le point $\left(x,\frac{3}{2}{x}^2\right)$ tend vers l'origine quand $x\to 0$ : dans tout voisinage de $(0,0)$, il existe des points où $h<0=h(0,0)$. $(0,0)$ n'est pas un minimum local de $h$.

Pourquoi les droites ne le voient pas. $h$ est strictement négative exactement sur la région $\{x^2<y<2x^2\}$, comprise entre les deux paraboles où elle s'annule. Cette région touche l'origine, mais elle est aplatie contre l'axe des abscisses : sur la droite $y=\lambda x$ avec $\lambda \ne 0$, la condition $x^2<\lambda x<2x^2$ impose $\frac{|\lambda |}{2}<|x|<|\lambda |$, donc les points de la région sur cette droite sont à distance au moins $\frac{|\lambda |}{2}$ de l'origine ; sur les deux axes, il n'y en a aucun. Aucune droite issue de l'origine ne pénètre la région négative au voisinage de l'origine — elles ne la traversent qu'en un point, l'origine elle-même.

d) L'asymétrie à retenir. Une restriction à une droite — ou à n'importe quel chemin — sert à prouver qu'un point n'est pas un extremum : une seule direction où cela rate suffit, et c'est concluant, comme au a) et au b). Elle ne prouve jamais qu'un point en est un : il faudrait examiner tous les chemins, et « toutes les droites » n'en recouvre qu'une partie infime. C'est exactement le phénomène de l'exercice 1, où les deux axes ne suffisaient pas à décider de la continuité.

Contrôle numérique. $h(0,1;0,015)=(0,015-0,010)(0,015-0,020)=0,005\times (-0,005)=-2,5\times 10^{-5}<0$, en un point situé à environ $0,101$ de l'origine ; et $h(0,01;1,5\times 10^{-4})=-2,5\times 10^{-9}$, conforme à $-\frac{x^4}{4}$.

Ce que l'exercice installe. Un point critique n'est pas un extremum : la condition $\nabla f=0$ est nécessaire sur un ouvert, jamais suffisante. Et en deux variables, un voisinage n'est pas une réunion de droites : entre les droites passent les paraboles. Ce contre-exemple, dû à Peano, est celui qu'on opposera en seconde année aux conditions du second ordre, qui elles aussi ne regardent que des directions.