Calcul différentiel et optimisation

Cours · mathématiques (MP/MPI), chapitre 11 · MP et MPI (2e année) · le début du chapitre, la suite sur Adloun

La descente de gradient : à chaque pas, on suit la pente vers le minimum, à travers les lignes de niveau.

11.1 Introduction et motivation

En première année, on a rencontré les dérivées partielles d'une fonction numérique sur un ouvert de $R^{2}$ . Ce chapitre :

généralise et approfondit cette étude dans le cadre des espaces vectoriels normés de dimension finie sur $R$ : la bonne notion n'est pas la dérivée partielle mais la différentielle, application linéaire qui approche $f$ au premier ordre ;
donne une introduction à l'optimisation, en lien direct avec le théorème des bornes atteintes du chapitre 4 : conditions du premier ordre (points critiques, multiplicateurs sous contrainte), conditions du second ordre (hessienne, où les matrices symétriques positives du chapitre 3 trouvent leur emploi).

On souligne le caractère géométrique des notions : pour beaucoup de questions, on se ramène à des fonctions d'une variable réelle grâce à la dérivée le long d'un arc, et la notion de vecteur tangent à une partie donne son sens à l'optimisation sous contrainte. Les fonctions sont définies sur un ouvert $Ω$ d'un $R$ -espace vectoriel normé $E$ de dimension finie, à valeurs dans un $R$ -espace normé $F$ de dimension finie ; le choix d'une base de $F$ ramène au cas des fonctions à valeurs réelles, et l'équivalence des normes (chapitre 4) rend toutes les notions indépendantes des normes choisies.

11.2 Dérivée selon un vecteur, dérivées partielles

Définition 11.1Dérivée selon un vecteur

Soient $f : Ω \to F$ , $a \in Ω$ et $v \in E$ . La dérivée de $f$ en $a$ selon $v$ est, si elle existe,

$D_{v} f (a) = t \to 0 lim \frac{f ( a + t v ) - f ( a )}{t} = \frac{d}{d t} [f (a + t v)]_{t = 0}$

(dérivée en $0$ de la fonction d'une variable $t \mapsto f (a + t v)$ , définie au voisinage de $0$ car $Ω$ est ouvert).

Définition 11.2Dérivées partielles

Si $B = (e_{1}, \dots, e_{n})$ est une base de $E$ , les dérivées partielles de $f$ en $a$ sont les dérivées selon les vecteurs de base :

$\frac{\partial f}{\partial x _{i}} (a) = \partial_{i} f (a) = D_{e_{i}} f (a) .$

Une base étant fixée, on identifie $f (x)$ et $f (x_{1}, \dots, x_{n})$ : la dérivée partielle $\partial_{i} f$ se calcule en dérivant par rapport à $x_{i}$ , les autres variables étant gelées — le calcul de première année.

Attention

L'existence de toutes les dérivées directionnelles en $a$ n'implique ni la continuité en $a$ , ni aucune compatibilité entre les directions (exercice 6 : un exemple où toutes les $D_{v} f (0)$ existent mais où $f$ n'est pas continue en $0$ ). La dérivée directionnelle ne voit $f$ que le long des droites — il faut une notion qui voie $f$ dans toutes les directions à la fois : c'est la différentielle.

11.3 Différentielle

Définition 11.3Application différentiable

$f : Ω \to F$ est différentiable en $a$ s'il existe une application linéaire $L : E \to F$ telle que, quand $h \to 0$ :

$f (a + h) = f (a) + L (h) + o (∥ h ∥)$

(développement limité à l'ordre 1). L'application $L$ est alors unique : c'est la différentielle de $f$ en $a$ , ou application linéaire tangente, notée $d f (a)$ . Si $f$ est différentiable en tout point de $Ω$ , on dispose de l'application $d f : Ω \to L (E, F)$ .

◆Théorème 11.4Premières propriétés

Si $f$ est différentiable en $a$ , alors :

$f$ est continue en $a$ ;
$f$ est dérivable en $a$ selon tout vecteur $v$ , avec

$D_{v} f (a) = d f (a) \cdot v$

(ce qui prouve l'unicité de la différentielle) ;

si $f = (f_{1}, \dots, f_{p})$ dans une base de $F$ : $f$ est différentiable en $a$ si et seulement si chaque $f_{i}$ l'est.

Démonstration

$f (a + h) - f (a) = d f (a) \cdot h + o (∥ h ∥) \to 0$ ( $d f (a)$ est continue : linéaire en dimension finie, chapitre 4). 2. Avec $h = t v$ : $\frac{f ( a + t v ) - f ( a )}{t} = d f (a) \cdot v + \frac{o ( t )}{t} \to d f (a) \cdot v$ . L'unicité suit : $L (v) = D_{v} f (a)$ est imposé pour tout $v$ . 3. Coordonnée par coordonnée dans $F$ (chapitres 4 et 7).

Exemple 11.5Les deux cas particuliers fondamentaux

Application constante : $d f (a) = 0$ pour tout $a$ . Application linéaire $u \in L (E, F)$ : $u (a + h) = u (a) + u (h)$ exactement, donc $u$ est différentiable partout et $d u (a) = u$ pour tout $a$ — une application linéaire est sa propre approximation linéaire.

◆Théorème 11.6Différentielle et dérivées partielles

Si $f$ est différentiable en $a$ et $B = (e_{1}, \dots, e_{n})$ est une base de $E$ , alors pour $h = \sum h_{i} e_{i}$ :

$d f (a) \cdot h = i = 1 \sum n h_{i} \frac{\partial f}{\partial x _{i}} (a) .$

Si $Ω \subset R^{n}$ et $F = R^{m}$ (bases canoniques), la matrice de $d f (a)$ est la matrice jacobienne

$J_{f} (a) = (\frac{\partial f _{i}}{\partial x _{j}} (a))_{1 \leq i \leq m, 1 \leq j \leq n} \in M_{m, n} (R) .$

Cas d'une variable ( $Ω$ intervalle ouvert de $R$ ) : différentiabilité en $a$ $⟺$ dérivabilité en $a$ , avec $f^{'} (a) = d f (a) \cdot 1$ .

Démonstration

Linéarité de $d f (a)$ et $d f (a) \cdot e_{i} = D_{e_{i}} f (a) = \partial_{i} f (a)$ . Pour une variable : le DL à l'ordre 1 vectoriel du chapitre 7 est la définition de la différentiabilité, $h \mapsto h f^{'} (a)$ étant la linéaire tangente.

Définition 11.7Gradient

Si $E$ est euclidien et $f : Ω \to R$ est différentiable en $a$ , la forme linéaire $d f (a)$ se représente par un unique vecteur (représentation des formes linéaires, chapitre 3) : le gradient $\nabla f (a)$ , caractérisé par

$\forall v \in E, d f (a) \cdot v = ⟨ \nabla f (a), v ⟩ .$

En base orthonormée : $\nabla f (a) = (\frac{\partial f}{\partial x _{1}} (a), \dots, \frac{\partial f}{\partial x _{n}} (a))$ .

ImportantLe gradient pointe la plus grande pente

Si $\nabla f (a) \neq = 0$ , alors parmi les vecteurs unitaires $u$ , la dérivée directionnelle $D_{u} f (a) = ⟨ \nabla f (a), u ⟩$ est maximale pour $u = \frac{\nabla f ( a )}{∥\nabla f ( a ) ∥}$ , et vaut alors $∥\nabla f (a) ∥$ . En effet, par Cauchy-Schwarz (chapitre 3), $⟨ \nabla f (a), u ⟩ \leq ∥\nabla f (a) ∥$ avec égalité si et seulement si $u$ est positivement colinéaire à $\nabla f (a)$ . Le gradient indique la direction de plus forte croissance, et sa norme est la pente dans cette direction — c'est la boussole de toutes les méthodes de descente de gradient.

Le gradient est orthogonal aux lignes de niveau et pointe vers les valeurs croissantes ( $c_{2} < c_{1}$ )

11.4 Opérations sur les applications différentiables

◆Théorème 11.8Combinaisons linéaires et applications multilinéaires

Si $f, g$ sont différentiables en $a$ : $d (λ f + μg) (a) = λ d f (a) + μ d g (a)$ .
Si $M : F_{1} \times \dots \times F_{p} \to G$ est multilinéaire et $f_{1}, \dots, f_{p}$ différentiables en $a$ , alors $x \mapsto M (f_{1} (x), \dots, f_{p} (x))$ est différentiable en $a$ , de différentielle

$h \mapsto j = 1 \sum p M (f_{1} (a), \dots, d f_{j} (a) \cdot h, \dots, f_{p} (a))$

— une position à la fois, comme au chapitre 7. Cas usuels : produit $f g$ de fonctions numériques ( $d (f g) (a) = f (a) d g (a) + g (a) d f (a)$ ), produit scalaire $⟨ f, g ⟩$ .

Exercices du chapitre

La suite du cours · Tous les exercices du chapitre