Calcul Différentiel et Optimisation

Cours · mathématiques (PSI), chapitre 10 · CPGE PSI (2e année) · le début du chapitre, la suite sur Adloun

La descente de gradient : à chaque pas, on suit la pente vers le minimum, à travers les lignes de niveau.

10.1 Introduction et vue d'ensemble

Passer d'une variable à plusieurs ne complique pas seulement les calculs : cela change ce qu'on peut dire. Une fonction d'une variable dérivable est continue ; une fonction de deux variables peut admettre ses deux dérivées partielles en un point sans même y être continue. Les énoncés de première année ne se transposent pas, ils se refondent.

Le fil du chapitre est de retrouver, une à une, les bonnes hypothèses. La classe $C^{1}$ — dérivées partielles continues — rend la différentiabilité, et avec elle l'approximation par un plan tangent. La classe $C^{2}$ rend la symétrie de la hessienne, et avec elle la classification des points critiques. À chaque étage de régularité correspond un théorème, et l'oubli de l'hypothèse est ici plus qu'une imprécision : c'est un résultat faux.

Le calcul différentiel à plusieurs variables étend la dérivation aux fonctions définies sur des ouverts de $R^{p}$ . Il formalise la linéarisation locale — différentielle, gradient, matrice jacobienne —, la courbure d'ordre $2$ par la matrice hessienne, et la recherche d'extrema libres, au cœur de l'apprentissage automatique, de la thermodynamique et de la mécanique lagrangienne.

Figure : Le gradient est orthogonal aux lignes de niveau, et il pointe vers les

niveaux croissants. Les trois ellipses sont les niveaux $c_{1} < c_{2} < c_{3}$ d'une même fonction ; le point $A$ est pris sur celle du milieu, où la normale fait $63, 3^{\circ}$ avec l'horizontale et la tangente $153, 3^{\circ}$ — l'angle droit de la figure en est

un. Là où les lignes de niveau se resserrent, la pente est forte et le gradient long.

10.2 Différentiabilité, Gradient et Règle de la Chaîne

Toute la difficulté de la définition qui suit est qu'elle ne se réduit pas à l'existence des dérivées partielles. Celles-ci ne regardent que $p$ directions privilégiées, celles des axes ; la différentiabilité, elle, exige une approximation valable dans toutes les directions à la fois, et c'est une exigence strictement plus forte.

10.2.1 Différentielle et Gradient

Définition 10.1Différentiabilité et Gradient

Soit $U$ un ouvert de $R^{p}$ et $f : U \to R$ .

$f$ est dite différentiable en $a \in U$ s'il existe une forme linéaire continue notée $d f_{a} \in (R^{p})^{*}$ telle que :

$f (a + h) = f (a) + d f_{a} (h) + o (∥ h ∥) quand h \to 0.$

Dans la base canonique orthonormée de $R^{p}$ , le gradient de $f$ en $a$ est le vecteur :

$\nabla f (a) = (\frac{\partial f}{\partial x _{1}} (a), \frac{\partial f}{\partial x _{2}} (a), \dots, \frac{\partial f}{\partial x _{p}} (a))^{⊤} \in R^{p} .$

On a alors : $\forall h \in R^{p}, d f_{a} (h) = ⟨ \nabla f (a), h ⟩ = \sum_{i = 1}^{p} \frac{\partial f}{\partial x _{i}} (a) h_{i}$ .

ImportantDérivées partielles, différentiabilité, continuité

Les trois notions ne coïncident pas, et l'ordre dans lequel elles s'impliquent est à retenir tel quel :

$f de classe C^{1} ⟹ f diff e ˊ rentiable ⟹ f continue et admet des d e ˊ riv e ˊ es partielles,$

et aucune de ces implications n'est une équivalence. Le contre-exemple classique — il montre que l'existence des deux dérivées partielles n'entraîne ni la différentiabilité, ni même la continuité — est

$f (x, y) = \frac{x y}{x ^{2} + y ^{2}} si (x, y) \neq = (0, 0), f (0, 0) = 0.$

Cette fonction est identiquement nulle sur chacun des deux axes : ses deux dérivées partielles en l'origine existent donc, et valent $0$ . Et pourtant elle n'y est même pas continue, puisqu'elle vaut $\frac{1}{2}$ en tout point de la diagonale $y = x$ , aussi près de l'origine que l'on veut.

C'est pourquoi la classe $C^{1}$ est l'hypothèse de travail du chapitre : elle se vérifie par un simple calcul de dérivées partielles suivi d'un argument de continuité, et elle donne la différentiabilité sans avoir à revenir au $o (∥ h ∥)$ .

La différentielle admet une lecture géométrique immédiate. Le graphe de $f$ est une surface de $R^{p + 1}$ , et l'égalité $f (a + h) = f (a) + d f_{a} (h) + o (∥ h ∥)$ dit que cette surface est approchée au premier ordre par son hyperplan tangent au point $(a, f (a))$ , d'équation

$z = f (a) + ⟨ \nabla f (a), x - a ⟩ .$

En dimension $2$ , c'est le plan tangent au graphe, et le gradient en donne la pente dans les deux directions des axes.

Proposition 10.2Dérivée directionnelle et Ligne de plus grande pente

Pour tout vecteur unitaire $u \in R^{p}$ ( $∥ u ∥ = 1$ ), la dérivée directionnelle de $f$ en $a$ selon $u$ est :

$D_{u} f (a) = t \to 0 lim \frac{f ( a + t u ) - f ( a )}{t} = ⟨ \nabla f (a), u ⟩ = ∥ \nabla f (a) ∥ cos θ .$

La dérivée directionnelle est maximale lorsque $u$ est colinéaire et de même sens que $\nabla f (a)$ . Le gradient indique donc la direction et le sens de plus grande pente.

La même formule donne la propriété la plus utilisée du gradient, celle que la figure ci-dessus illustre et qu'il faut savoir démontrer.

Exercices du chapitre

Dérivées partielles et jacobienne corrigé
Deux différentielles à connaître corrigé
La plus grande pente corrigé
Coordonnées polaires corrigé
Une EDP du premier ordre corrigé
Dérivées directionnelles sans différentiabilité corrigé

La suite du cours · Tous les exercices du chapitre