Hyperplans stables : les vecteurs propres de la transposée

Ce qu'on a le droit d'utiliser. Le polynôme caractéristique et la caractérisation des valeurs propres comme ses racines, l'égalité $\det ({}^{t}M)=\det M$ et l'égalité des rangs d'une matrice et de sa transposée (première année), et le lemme de l'indication, que l'on redémontre en une ligne : si $\ell$ et ${\ell }^{\prime }$ sont deux formes linéaires, $\ell \ne 0$, et $\ker \ell \subset \ker {\ell }^{\prime }$, alors ${\ell }^{\prime }$ est proportionnelle à $\ell$. En effet, soit $X_0$ tel que $\ell (X_0)=1$ ; pour tout $X$, le vecteur $X-\ell (X)X_0$ est dans $\ker \ell$, donc dans $\ker {\ell }^{\prime }$, d'où ${\ell }^{\prime }(X)={\ell }^{\prime }(X_0)\ell (X)$.

a) Même polynôme caractéristique. Pour tout scalaire $x$, $$\det \left(x{I}_n-{}^{t}A\right)=\det \left({}^t(x{I}_n-A)\right)=\det (x{I}_n-A),$$ car une matrice et sa transposée ont le même déterminant. Les deux polynômes caractéristiques coïncident en une infinité de points : ils sont égaux, et $A$ et ${}^{t}A$ ont le même spectre. Les sous-espaces propres, eux, diffèrent en général : pour $N=\left(\begin{array}{cc}0& 1\\ 0& 0\end{array}\right)$, le spectre commun est $\{0\}$, mais $\ker N=\mathrm{Vect}(e_1)$ tandis que ${}^{t}N=\left(\begin{array}{cc}0& 0\\ 1& 0\end{array}\right)$ a pour noyau $\mathrm{Vect}(e_2)$. Seules les dimensions se correspondent : $\dim \ker ({}^{t}A-\lambda I_n)=n-\mathrm{rg}(A-\lambda I_n)=\dim \ker (A-\lambda I_n)$.

b) Hyperplans stables et vecteurs propres de ${}^{t}A$.

Sens réciproque. Si ${}^{t}AY=\mu Y$, alors pour tout $X\in H_Y$ : $${}^{t}Y(AX)=\left({}^{t}YA\right)X={}^t\left({}^{t}AY\right)X=\mu {}^{t}YX=0,$$ donc $AX\in H_Y$ : l'hyperplan est stable.

Sens direct. Supposons $H_Y$ stable par $A$. Considérons les deux formes linéaires $\ell :X\mapsto {}^{t}YX$ et ${\ell }^{\prime }:X\mapsto {}^{t}YAX={}^t\left({}^{t}AY\right)X$. Si $X\in \ker \ell =H_Y$, alors $AX\in H_Y$ par stabilité, donc ${\ell }^{\prime }(X)=0$ : $\ker \ell \subset \ker {\ell }^{\prime }$. D'après le lemme, il existe $\mu$ tel que ${\ell }^{\prime }=\mu \ell$, c'est-à-dire ${}^t\left({}^{t}AY-\mu Y\right)X=0$ pour toute colonne $X$ ; en prenant pour $X$ les vecteurs de la base canonique, toutes les coordonnées de ${}^{t}AY-\mu Y$ sont nulles. Donc ${}^{t}AY=\mu Y$ avec $Y\ne 0$ : $Y$ est un vecteur propre de ${}^{t}A$.

c) La biorthogonalité. Calculons ${}^{t}YAX$ de deux façons : d'une part ${}^{t}Y(AX)=\lambda {}^{t}YX$ ; d'autre part $\left({}^{t}YA\right)X={}^t\left({}^{t}AY\right)X=\mu {}^{t}YX$. Donc $(\lambda -\mu ){}^{t}YX=0$, et comme $\lambda \ne \mu$, ${}^{t}YX=0$. Un vecteur propre « à droite » et un vecteur propre « à gauche » associés à des valeurs propres distinctes sont orthogonaux au sens de ${}^{t}YX$ : autrement dit, $X\in H_Y$.

d) Droites et hyperplans stables. Une droite $\mathrm{Vect}(X)$ est stable si et seulement si $X$ est un vecteur propre de $A$ : $A$ admet une droite stable si et seulement si son spectre dans $\mathbb{K}$ n'est pas vide. D'après le b), $A$ admet un hyperplan stable si et seulement si le spectre de ${}^{t}A$ dans $\mathbb{K}$ n'est pas vide. Les deux spectres sont égaux d'après le a) : les deux conditions sont équivalentes.

Pour $A\in {\mathcal{M}}_3(\mathbb{R})$, le polynôme ${\chi }_A$ est réel, unitaire, de degré $3$ : il tend vers $-\infty$ en $-\infty$ et vers $+\infty$ en $+\infty$, et le théorème des valeurs intermédiaires lui donne une racine réelle. $A$ a donc une valeur propre réelle, donc une droite stable, et d'après ce qui précède un plan stable. Pour une rotation de l'espace, ce sont l'axe et le plan orthogonal à l'axe.

e) Un exemple complet. $A$ est triangulaire : ${\chi }_A=(X-1{)}^2(X-2)$. Les sous-espaces stables de dimension $0$ et $3$ sont $\{0\}$ et ${\mathbb{R}}^3$.

Les droites stables sont les droites propres. La matrice $A-I_3=\left(\begin{array}{ccc}0& 1& 0\\ 0& 0& 0\\ 0& 0& 1\end{array}\right)$ a pour noyau les vecteurs tels que $y=0$ et $z=0$ : $E_1(A)=\mathrm{Vect}(e_1)$. La matrice $A-2I_3=\left(\begin{array}{ccc}-1& 1& 0\\ 0& -1& 0\\ 0& 0& 0\end{array}\right)$ impose $x=y=0$ : $E_2(A)=\mathrm{Vect}(e_3)$. Il y a donc exactement deux droites stables, $\mathrm{Vect}(e_1)$ et $\mathrm{Vect}(e_3)$.

Les plans stables sont les $H_Y$ où $Y$ est un vecteur propre de ${}^{t}A=\left(\begin{array}{ccc}1& 0& 0\\ 1& 1& 0\\ 0& 0& 2\end{array}\right)$. La matrice ${}^{t}A-I_3$ impose $x=0$ et $z=0$ : $E_1({}^{t}A)=\mathrm{Vect}(e_2)$. La matrice ${}^{t}A-2I_3$ impose $x=0$ puis $y=0$ : $E_2({}^{t}A)=\mathrm{Vect}(e_3)$. Les plans stables sont donc $H_{e_2}=\{y=0\}=\mathrm{Vect}(e_1,e_3)$ et $H_{e_3}=\{z=0\}=\mathrm{Vect}(e_1,e_2)$.

Conclusion. Les sous-espaces stables par $A$ sont exactement les six sous-espaces $\{0\}$, $\mathrm{Vect}(e_1)$, $\mathrm{Vect}(e_3)$, $\mathrm{Vect}(e_1,e_2)$, $\mathrm{Vect}(e_1,e_3)$ et ${\mathbb{R}}^3$. Contrôle par le c). Le vecteur $e_3$, propre pour $A$ avec la valeur $2$, est orthogonal à $e_2$, propre pour ${}^{t}A$ avec la valeur $1$ : $e_3\in H_{e_2}$. Et $e_1$, propre pour $A$ avec la valeur $1$, est orthogonal à $e_3$, propre pour ${}^{t}A$ avec la valeur $2$.

Ce que l'exercice installe. Les droites stables se lisent sur $A$, les hyperplans stables sur ${}^{t}A$ : même spectre, vecteurs propres « à droite » et « à gauche », biorthogonaux. En dimension $3$ réelle, il existe toujours un axe et un plan stables. On l'a déjà rencontré sans le dire avec les matrices stochastiques : pour la valeur propre $1$, le vecteur propre « à droite » est $U={}^t(1,\dots ,1)$, et le vecteur propre « à gauche » est la loi stationnaire.