Les diagonalisables : ni ouvertes, ni fermées, mais denses sur $\mathbb{C}$

Ce qu'on a le droit d'utiliser. Du chapitre 2 : une matrice complexe est trigonalisable, une matrice à $n$ valeurs propres distinctes est diagonalisable, et la diagonalisabilité est invariante par similitude. Du présent chapitre : ouvert, fermé, dense, caractérisation séquentielle, et une norme sous-multiplicative — toute norme subordonnée en est une (exercice 5).

a) Ni fermé, ni ouvert.

Pas fermé. Pour $\epsilon \ne 0$, $A_{\epsilon }=\left(\begin{array}{cc}\epsilon & 1\\ 0& 0\end{array}\right)$ est triangulaire de diagonale $(\epsilon ,0)$ : deux valeurs propres distinctes, donc $A_{\epsilon }$ est diagonalisable. Or $A_{\epsilon }\to N=\left(\begin{array}{cc}0& 1\\ 0& 0\end{array}\right)$, qui ne l'est pas : $N^2=0$ donc son unique valeur propre est $0$, et si elle était diagonalisable elle serait semblable à la matrice nulle, donc nulle. Une suite de ${\mathcal{D}}_2(\mathbb{R})$ converge hors de ${\mathcal{D}}_2(\mathbb{R})$ : ce n'est pas un fermé.

Pas ouvert. Pour $\epsilon \ne 0$, $B_{\epsilon }=\left(\begin{array}{cc}0& \epsilon \\ 0& 0\end{array}\right)$ vérifie $B_{\epsilon }^2=0$ et $B_{\epsilon }\ne 0$ : par le même argument, elle n'est pas diagonalisable. Or $B_{\epsilon }\to 0$, qui est diagonale. Le point $0$ est dans ${\mathcal{D}}_2(\mathbb{R})$, mais aucune boule $B(0,r)$ n'y est contenue, puisqu'elle contient $B_{\epsilon }$ dès que $\Vert B_{\epsilon }\Vert <r$ : $0$ n'est pas intérieur, ce n'est pas un ouvert.

Les deux exemples disent la même chose de deux côtés : la diagonalisabilité n'est stable par petite perturbation dans aucun sens.

b) La trigonalisation. Sur le corps des complexes, ${\chi }_A$, de degré $n\ge 1$, est scindé (théorème de d'Alembert-Gauss). Or une matrice est trigonalisable si et seulement si son polynôme caractéristique est scindé (chapitre 2) : il existe $P\in {\mathrm{GL}}_n(\mathbb{C})$ et $T$ triangulaire supérieure avec $A=PT{P}^{-1}$, les coefficients diagonaux de $T$ étant les valeurs propres de $A$.

c) Rendre la diagonale injective. Gardons les coefficients de $T$ hors de la diagonale et posons $(T_{\eta }{)}_{i,i}=t_{i,i}+i\eta$ pour $1\le i\le n$. Pour $i<j$, $$(T_{\eta }{)}_{j,j}-(T_{\eta }{)}_{i,i}=\left(t_{j,j}-t_{i,i}\right)+(j-i)\eta ,$$ quantité qui s'annule si et seulement si $\eta =\frac{t_{i,i}-t_{j,j}}{j-i}$ : il y a au plus $\frac{n(n-1)}{2}$ couples, donc au plus autant de valeurs de $\eta$ à éviter, un ensemble fini. Tout intervalle $]0,\alpha [$ étant infini, on y choisit $\eta$ hors de cet ensemble, et les coefficients diagonaux de $T_{\eta }$ sont deux à deux distincts.

$T_{\eta }$ étant triangulaire, son spectre est sa diagonale : $n$ valeurs propres deux à deux distinctes en dimension $n$, donc elle est diagonalisable ; et la diagonalisabilité étant invariante par similitude, $A_{\eta }:=P{T}_{\eta }{P}^{-1}$ l'est aussi. Enfin $T$ et $T_{\eta }$ ne diffèrent que sur la diagonale, d'un écart $i\eta \le n\eta$.

d) La densité. Fixons une norme sous-multiplicative $\Vert \cdot \Vert$, c'est-à-dire vérifiant $\Vert MN\Vert \le \Vert M\Vert \Vert N\Vert$ ; l'exercice 5 en fournit trois, et toutes les normes étant équivalentes en dimension finie, le choix est sans conséquence. Alors $$\Vert A-A_{\eta }\Vert =\Vert P\left(T-T_{\eta }\right)P^{-1}\Vert \le \Vert P\Vert \cdot \Vert T-T_{\eta }\Vert \cdot \Vert P^{-1}\Vert .$$ Les facteurs $\Vert P\Vert$ et $\Vert P^{-1}\Vert$ sont fixés — ils ne dépendent que de $A$, pas de $\eta$ —, et $\Vert T-T_{\eta }\Vert \to 0$ quand $\eta \to 0$. Donc $A_{\eta }\to A$, avec $A_{\eta }$ diagonalisable pour une infinité de valeurs de $\eta$ arbitrairement petites : toute boule centrée en $A$ contient une matrice diagonalisable, et les matrices diagonalisables sont denses dans ${\mathcal{M}}_n(\mathbb{C})$.

e) Sur le corps des réels, c'est faux. Prenons $n=2$ et la rotation d'angle droit $R=\left(\begin{array}{cc}0& -1\\ 1& 0\end{array}\right)$, de polynôme caractéristique $X^2+1$. Pour $B\in {\mathcal{M}}_2(\mathbb{R})$, ${\chi }_B=X^2-\mathrm{tr}(B)X+\det (B)$, de discriminant $\Delta (B)=\mathrm{tr}(B{)}^2-4\det (B)$. Les applications $\mathrm{tr}$ et $\det$ sont polynomiales en les coefficients, donc continues en dimension finie, et $\Delta$ aussi. Or $\Delta (R)=0-4=-4<0$ : par continuité, il existe $r>0$ tel que $\Delta (B)<0$ pour toute $B\in B(R,r)$.

Mais si $\Delta (B)<0$, le polynôme caractéristique n'a aucune racine réelle : $B$ n'a aucune valeur propre réelle, donc n'est pas diagonalisable sur $\mathbb{R}$ — une matrice diagonalisable est semblable à une diagonale, dont les coefficients sont des valeurs propres. La boule $B(R,r)$ ne rencontre pas ${\mathcal{D}}_2(\mathbb{R})$ : les matrices diagonalisables réelles ne sont pas denses.

Le point délicat. La question c) tient dans le fait qu'un ensemble fini ne remplit pas un intervalle. Et la perturbation est faite sur $T$, pas sur $A$ : c'est dans la base de trigonalisation qu'on sait quoi bouger, la conjugaison par $P$ rapatriant l'information au prix du facteur constant $\Vert P\Vert \Vert P^{-1}\Vert$.

Ce que l'exercice installe. Qu'une partie de ${\mathcal{M}}_n$ peut n'être ni ouverte ni fermée, les contre-exemples se cherchant du côté des nilpotentes ; que la densité est une propriété de corps, ce qui est vrai sur $\mathbb{C}$ tombant sur $\mathbb{R}$ ; et la technique elle-même — trigonaliser puis décaler la diagonale —, l'un des deux procédés de perturbation du chapitre, l'autre étant $A\mapsto A-\epsilon I_n$ de l'exercice 8.