Un col reconnu de deux façons

Ce qu'on emploie. La condition d'ordre $1$, la lecture du produit des valeurs propres de la hessienne, et l'étude directe le long de deux droites — la méthode que le cours recommande quand on veut voir « à la main » qu'il n'y a pas d'extremum.

Le point critique. ${\partial }_{1}f=2x+3y$ et ${\partial }_{2}f=3x+2y$. Le système $$\{\begin{array}{l}2x+3y=0\\ 3x+2y=0\end{array}$$ se résout en multipliant la première ligne par $3$, la seconde par $2$ et en soustrayant : $5y=0$, donc $y=0$ puis $x=0$. L'unique point critique est $(0,0)$, où $f$ vaut $0$.

Le critère d'ordre $2$. La hessienne est constante : $${\nabla }^{2}f=\left(\begin{array}{cc}2& 3\\ 3& 2\end{array}\right).$$ Le produit de ses valeurs propres vaut $2\times 2-3\times 3=-5$, strictement négatif : les deux valeurs propres sont non nulles et de signes opposés. C'est donc un point col. On peut d'ailleurs les expliciter : la matrice envoie $\left(\genfrac{}{}{0ex}{}{1}{1}\right)$ sur $5\left(\genfrac{}{}{0ex}{}{1}{1}\right)$ et $\left(\genfrac{}{}{0ex}{}{1}{-1}\right)$ sur $-\left(\genfrac{}{}{0ex}{}{1}{-1}\right)$, donc ses valeurs propres sont $5$ et $-1$.

La confirmation directe. Le long de la droite $y=x$ : $$f(t,t)=t^2+3t^2+t^2=5t^2>0=f(0,0)(t\ne 0).$$ Le long de la droite $y=-x$ : $$f(t,-t)=t^2-3t^2+t^2=-t^2<0=f(0,0)(t\ne 0).$$

Conclusion. Dans tout disque centré en l'origine, si petit soit-il, $f$ prend des valeurs strictement supérieures et strictement inférieures à $f(0,0)$. Il n'y a donc ni maximum ni minimum local en ce point — les deux méthodes se rejoignent, et les directions $y=\pm x$ sont précisément celles que la hessienne désigne.