Calcul Différentiel et Optimisation

Cours complet · mathématiques (PSI), chapitre 10 · CPGE PSI (2e année)

Travailler ce chapitre sur Adloun Exercices corrigés de ce chapitre

10.1 Introduction et vue d'ensemble

Passer d'une variable à plusieurs ne complique pas seulement les calculs : cela change ce qu'on peut dire. Une fonction d'une variable dérivable est continue ; une fonction de deux variables peut admettre ses deux dérivées partielles en un point sans même y être continue. Les énoncés de première année ne se transposent pas, ils se refondent.

Le fil du chapitre est de retrouver, une à une, les bonnes hypothèses. La classe $C^{1}$ — dérivées partielles continues — rend la différentiabilité, et avec elle l'approximation par un plan tangent. La classe $C^{2}$ rend la symétrie de la hessienne, et avec elle la classification des points critiques. À chaque étage de régularité correspond un théorème, et l'oubli de l'hypothèse est ici plus qu'une imprécision : c'est un résultat faux.

Le calcul différentiel à plusieurs variables étend la dérivation aux fonctions définies sur des ouverts de $R^{p}$ . Il formalise la linéarisation locale — différentielle, gradient, matrice jacobienne —, la courbure d'ordre $2$ par la matrice hessienne, et la recherche d'extrema libres, au cœur de l'apprentissage automatique, de la thermodynamique et de la mécanique lagrangienne.

Figure : Le gradient est orthogonal aux lignes de niveau, et il pointe vers les

niveaux croissants. Les trois ellipses sont les niveaux $c_{1} < c_{2} < c_{3}$ d'une même fonction ; le point $A$ est pris sur celle du milieu, où la normale fait $63, 3^{\circ}$ avec l'horizontale et la tangente $153, 3^{\circ}$ — l'angle droit de la figure en est un. Là où les lignes de niveau se resserrent, la pente est forte et le gradient long.</div>

10.2 Différentiabilité, Gradient et Règle de la Chaîne

Toute la difficulté de la définition qui suit est qu'elle ne se réduit pas à l'existence des dérivées partielles. Celles-ci ne regardent que $p$ directions privilégiées, celles des axes ; la différentiabilité, elle, exige une approximation valable dans toutes les directions à la fois, et c'est une exigence strictement plus forte.

10.2.1 Différentielle et Gradient

Définition 10.1Différentiabilité et Gradient

Soit $U$ un ouvert de $R^{p}$ et $f : U \to R$ .

$f$ est dite différentiable en $a \in U$ s'il existe une forme linéaire continue notée $d f_{a} \in (R^{p})^{*}$ telle que :

$f (a + h) = f (a) + d f_{a} (h) + o (∥ h ∥) quand h \to 0.$

Dans la base canonique orthonormée de $R^{p}$ , le gradient de $f$ en $a$ est le vecteur :

$\nabla f (a) = (\frac{\partial f}{\partial x _{1}} (a), \frac{\partial f}{\partial x _{2}} (a), \dots, \frac{\partial f}{\partial x _{p}} (a))^{⊤} \in R^{p} .$

On a alors : $\forall h \in R^{p}, d f_{a} (h) = ⟨ \nabla f (a), h ⟩ = \sum_{i = 1}^{p} \frac{\partial f}{\partial x _{i}} (a) h_{i}$ .

ImportantDérivées partielles, différentiabilité, continuité

Les trois notions ne coïncident pas, et l'ordre dans lequel elles s'impliquent est à retenir tel quel :

$f de classe C^{1} ⟹ f diff e ˊ rentiable ⟹ f continue et admet des d e ˊ riv e ˊ es partielles,$

et aucune de ces implications n'est une équivalence. Le contre-exemple classique — il montre que l'existence des deux dérivées partielles n'entraîne ni la différentiabilité, ni même la continuité — est

$f (x, y) = \frac{x y}{x ^{2} + y ^{2}} si (x, y) \neq = (0, 0), f (0, 0) = 0.$

Cette fonction est identiquement nulle sur chacun des deux axes : ses deux dérivées partielles en l'origine existent donc, et valent $0$ . Et pourtant elle n'y est même pas continue, puisqu'elle vaut $\frac{1}{2}$ en tout point de la diagonale $y = x$ , aussi près de l'origine que l'on veut.

C'est pourquoi la classe $C^{1}$ est l'hypothèse de travail du chapitre : elle se vérifie par un simple calcul de dérivées partielles suivi d'un argument de continuité, et elle donne la différentiabilité sans avoir à revenir au $o (∥ h ∥)$ .

La différentielle admet une lecture géométrique immédiate. Le graphe de $f$ est une surface de $R^{p + 1}$ , et l'égalité $f (a + h) = f (a) + d f_{a} (h) + o (∥ h ∥)$ dit que cette surface est approchée au premier ordre par son hyperplan tangent au point $(a, f (a))$ , d'équation

$z = f (a) + ⟨ \nabla f (a), x - a ⟩ .$

En dimension $2$ , c'est le plan tangent au graphe, et le gradient en donne la pente dans les deux directions des axes.

Proposition 10.2Dérivée directionnelle et Ligne de plus grande pente

Pour tout vecteur unitaire $u \in R^{p}$ ( $∥ u ∥ = 1$ ), la dérivée directionnelle de $f$ en $a$ selon $u$ est :

$D_{u} f (a) = t \to 0 lim \frac{f ( a + t u ) - f ( a )}{t} = ⟨ \nabla f (a), u ⟩ = ∥ \nabla f (a) ∥ cos θ .$

La dérivée directionnelle est maximale lorsque $u$ est colinéaire et de même sens que $\nabla f (a)$ . Le gradient indique donc la direction et le sens de plus grande pente.

La même formule donne la propriété la plus utilisée du gradient, celle que la figure ci-dessus illustre et qu'il faut savoir démontrer.

Proposition 10.3Le gradient est orthogonal aux lignes de niveau

Soit $f$ de classe $C^{1}$ et $c \in R$ . Si $γ$ est un arc de classe $C^{1}$ tracé sur la ligne de niveau ${f = c}$ , alors pour tout $t$

$⟨ \nabla f (γ (t)), γ^{'} (t) ⟩ = 0.$

Le gradient en un point est donc orthogonal à la direction tangente à la ligne de niveau qui y passe.

Démonstration

La fonction $t \mapsto f (γ (t))$ est constante égale à $c$ , donc de dérivée nulle. Or la règle de la chaîne, appliquée à cette composée d'un arc et d'une fonction scalaire, donne exactement

$\frac{d}{d t} f (γ (t)) = ⟨ \nabla f (γ (t)), γ^{'} (t) ⟩ .$

Le sens physique est celui d'une carte topographique : les lignes de niveau sont les courbes d'altitude constante, et le gradient pointe perpendiculairement à elles, dans le sens de la montée. Là où les lignes se resserrent, la pente est forte et le gradient long.

10.2.2 Matrice Jacobienne et Règle de Dérivation des Fonctions Composées

Définition 10.4Matrice jacobienne

Pour $f = (f_{1}, \dots, f_{q}) : U \subset R^{p} \to R^{q}$ , la matrice jacobienne de $f$ en $a$ est :

$J_{f} (a) = Mat (d f_{a}) = \frac{\partial f _{1}}{\partial x _{1}} (a) ⋮ \frac{\partial f _{q}}{\partial x _{1}} (a) \dots \dots \frac{\partial f _{1}}{\partial x _{p}} (a) ⋮ \frac{\partial f _{q}}{\partial x _{p}} (a) \in M_{q, p} (R) .$

◆Théorème 10.5Règle de dérivation des fonctions composées (Chain Rule)

Soient $f : U \subset R^{p} \to V \subset R^{q}$ différentiable en $a$ , et $g : V \subset R^{q} \to R^{m}$ différentiable en $b = f (a)$ . Alors $g \circ f$ est différentiable en $a$ , et :

$d (g \circ f)_{a} = d g_{f (a)} \circ d f_{a} ⟺ J_{g \circ f} (a) = J_{g} (f (a)) \cdot J_{f} (a) .$

Sous cette forme matricielle, le théorème est court ; c'est sous sa forme développée qu'il sert. Deux cas reviennent constamment.

Dérivation le long d'un arc. Si $γ : t \mapsto (x (t), y (t))$ est de classe $C^{1}$ et $f$ de classe $C^{1}$ , alors

$\frac{d}{d t} f (x (t), y (t)) = \frac{\partial f}{\partial x} (γ (t)) x^{'} (t) + \frac{\partial f}{\partial y} (γ (t)) y^{'} (t) .$

C'est le cas qui démontre l'orthogonalité du gradient aux lignes de niveau, et celui qui donne la dérivée d'une grandeur physique le long d'une trajectoire.

Changement de variables. Si l'on pose $x = x (u, v)$ et $y = y (u, v)$ , et $F (u, v) = f (x (u, v), y (u, v))$ , alors

$\frac{\partial F}{\partial u} = \frac{\partial f}{\partial x} \frac{\partial x}{\partial u} + \frac{\partial f}{\partial y} \frac{\partial y}{\partial u}, \frac{\partial F}{\partial v} = \frac{\partial f}{\partial x} \frac{\partial x}{\partial v} + \frac{\partial f}{\partial y} \frac{\partial y}{\partial v} .$

Le passage en polaires, $x = r cos θ$ et $y = r sin θ$ , est l'application standard : il transforme une équation aux dérivées partielles en une autre, souvent plus simple, et c'est la manière dont les sujets de concours abordent le laplacien.

ImportantUne notation qui ment

Dans $\frac{\partial F}{\partial u} = \frac{\partial f}{\partial x} \frac{\partial x}{\partial u} + \dots$ , les dérivées partielles de $f$ sont évaluées au point $(x (u, v), y (u, v))$ et non en $(u, v)$ . La notation ne le dit pas, et c'est la source d'erreur principale des changements de variables : $F$ et $f$ sont deux fonctions différentes, qu'il vaut mieux noter différemment, même si l'usage physique les confond.

10.3 Dérivées d'Ordre 2, Matrice Hessienne et Formule de Taylor

Passer à l'ordre deux, c'est passer d'une approximation par un plan à une approximation par une quadrique : la hessienne joue pour une fonction de plusieurs variables le rôle que la dérivée seconde joue pour une fonction d'une variable. Elle dit dans quel sens la surface se courbe, et dans quelle direction.

Sa symétrie n'est pas automatique : c'est le théorème de Schwarz, et il demande la continuité des dérivées secondes. Sous cette hypothèse — toujours vérifiée en pratique en CPGE, mais qu'il faut citer — la hessienne est symétrique réelle, donc diagonalisable en base orthonormée. Ses valeurs propres donnent les courbures principales, et leurs signes décident de la nature du point critique.

10.3.1 Théorème de Schwarz et Matrice Hessienne

◆Théorème 10.6Théorème de Schwarz

Soit $f : U \to R$ de classe $C^{2}$ sur l'ouvert $U$ . Pour tous indices $i, j \in [[1, p]]$ :

$\frac{\partial ^{2} f}{\partial x _{i} \partial x _{j}} = \frac{\partial ^{2} f}{\partial x _{j} \partial x _{i}} .$

Définition 10.7Matrice hessienne

La matrice hessienne de $f$ en $a$ est la matrice carrée symétrique :

$H_{f} (a) = \frac{\partial ^{2} f}{\partial x _{1}^{2}} (a) ⋮ \frac{\partial ^{2} f}{\partial x _{p} \partial x _{1}} (a) \dots ⋱ \dots \frac{\partial ^{2} f}{\partial x _{1} \partial x _{p}} (a) ⋮ \frac{\partial ^{2} f}{\partial x _{p}^{2}} (a) \in S_{p} (R) .$

◆Théorème 10.8Formule de Taylor-Young à l'ordre 2

Pour $f$ de classe $C^{2}$ au voisinage de $a$ :

$f (a + h) = f (a) + ⟨ \nabla f (a), h ⟩ + \frac{1}{2} h^{⊤} H_{f} (a) h + o (∥ h ∥^{2}) .$

Cette formule est l'outil de toute la section suivante, et sa lecture est simple. En un point critique, le terme du premier ordre disparaît, et il ne reste que

$f (a + h) - f (a) = \frac{1}{2} h^{⊤} H_{f} (a) h + o (∥ h ∥^{2}) :$

le signe de $f (a + h) - f (a)$ pour $h$ petit est donc celui de la forme quadratique associée à la hessienne, dès que celle-ci ne s'annule pas. Classer un point critique, c'est classer une forme quadratique — c'est-à-dire, la hessienne étant symétrique réelle, regarder le signe de ses valeurs propres.

10.4 Optimisation : existence et extrema libres

Deux questions se posent dans tout problème d'optimisation, et il faut les tenir séparées. La première est celle de l'existence d'un extremum, qui ne se lit sur aucune dérivée : elle relève de la topologie du chapitre 5. La seconde est celle de sa localisation, et c'est là que le calcul différentiel intervient.

Pour l'existence, un seul énoncé suffit dans la quasi-totalité des cas : une fonction continue sur une partie compacte et non vide de $R^{p}$ est bornée et atteint ses bornes. Sur un ouvert, en revanche, rien n'est garanti — $f (x) = x$ n'a ni maximum ni minimum sur $] 0, 1 [$ —, et un candidat trouvé par annulation du gradient peut parfaitement n'être ni l'un ni l'autre.

10.4.1 Extrema Libres et Conditions du Second Ordre

◆Théorème 10.9Conditions d'optimalité pour les extrema libres

Soit $f : U \to R$ de classe $C^{2}$ sur l'ouvert $U$ et $a \in U$ .

Condition nécessaire du 1er ordre : Si $f$ admet un extremum local en $a$ , alors $a$ est un point critique :

$\nabla f (a) = 0 ⟺ d f_{a} = 0.$

Conditions suffisantes du 2nd ordre : Soit $a$ un point critique ( $\nabla f (a) = 0$ ).

Si $H_{f} (a) \in S_{p}^{++} (R)$ (toutes les valeurs propres sont $> 0$ ), $f$ admet un minimum local strict en $a$ .
Si $H_{f} (a) \in S_{p}^{--} (R)$ (toutes les valeurs propres sont $< 0$ ), $f$ admet un maximum local strict en $a$ .
Si $H_{f} (a)$ possède au moins une valeur propre strictement positive et une valeur propre strictement négative, $a$ est un point selle / point col (pas d'extremum).

ImportantLe théorème ne vaut que sur un ouvert

L'hypothèse « $U$ ouvert » n'est pas décorative : elle garantit que l'on peut se déplacer dans toutes les directions autour de $a$ , ce qui est exactement ce qui force le gradient à s'annuler. Sur une partie fermée, un extremum peut très bien se produire au bord, en un point où le gradient n'est pas nul — le minimum de $f (x) = x$ sur $[0, 1]$ est atteint en $0$ , où $f^{'} = 1$ .

En conséquence, chercher les extrema de $f$ sur un fermé se fait toujours en deux temps : les points critiques de l'intérieur d'une part, l'étude du bord d'autre part, ce dernier se ramenant à un paramétrage à une variable. Oublier le bord est l'erreur la plus coûteuse du chapitre, parce qu'elle est invisible : le calcul reste juste, seule la conclusion est fausse.

Proposition 10.10Critère de Monge en dimension 2

Pour $p = 2$ , en posant $r = \frac{\partial ^{2} f}{\partial x ^{2}} (a)$ , $s = \frac{\partial ^{2} f}{\partial x \partial y} (a)$ , $t = \frac{\partial ^{2} f}{\partial y ^{2}} (a)$ et $Δ = det H_{f} (a) = r t - s^{2}$ :

Si $r t - s^{2} > 0$ et $r > 0 ⟹$ minimum local strict.
Si $r t - s^{2} > 0$ et $r < 0 ⟹$ maximum local strict.
Si $r t - s^{2} < 0 ⟹$ point col.
Si $r t - s^{2} = 0 ⟹$ cas douteux.

Le nom de « cas douteux » est bien choisi : la hessienne ne tranche pas, et le doute n'est pas levable par un calcul supplémentaire du même ordre. Deux exemples le montrent, qui donnent le même verdict $r t - s^{2} = 0$ à l'origine et des natures opposées :

$f (x, y) = x^{4} + y^{4} et g (x, y) = x^{2} - y^{4} .$

Les deux ont l'origine pour point critique, et les deux y ont une hessienne de déterminant nul ( $H_{f} (0) = 0$ , et $H_{g} (0) = diag (2, 0)$ ). Pourtant $f$ y admet un minimum global strict, tandis que $g$ n'y admet aucun extremum : $g$ croît le long de l'axe des $x$ et décroît le long de l'axe des $y$ . Dans ce cas, on abandonne la hessienne et l'on revient à l'étude directe du signe de $f (a + h) - f (a)$ , en général en se restreignant d'abord à quelques directions bien choisies pour deviner la réponse.

Figure : La nature d'un point critique se lit sur ses lignes de niveau. Autour d'un

minimum, elles forment des courbes fermées emboîtées, et $f$ croît dans toutes les directions ; autour d'un col, elles se scindent en deux familles — ici $f > 0$ en bleu et $f < 0$ en orange pour $f (x, y) = x^{2} - y^{2}$ — séparées par les deux directions où $f$ garde la valeur du point critique. C'est exactement l'opposition entre une hessienne dont les valeurs propres sont de même signe et une hessienne dont elles sont de signes contraires.</div>

Méthode : Rechercher les extrema d'une fonction de deux variables

Domaine : identifier l'ensemble sur lequel on optimise, et dire s'il est ouvert, fermé, borné. S'il est compact et $f$ continue, l'existence des extrema globaux est acquise — et il faudra bien les trouver quelque part.
Points critiques de l'intérieur : résoudre le système $\frac{\partial f}{\partial x} = \frac{\partial f}{\partial y} = 0$ . C'est souvent la partie la plus calculatoire, et un système polynomial se traite par substitution.
Nature de chaque point critique par le critère de Monge, et par l'étude directe dans le cas douteux.
Bord, si le domaine n'est pas ouvert : le paramétrer et se ramener à une fonction d'une variable.
Conclusion globale : comparer les valeurs obtenues aux points critiques et sur le bord. Un extremum local n'est global que si on l'a démontré.

Continuer sur Adloun : animation, QCM, fiches, exercices