Stabilité, blocs, et inversibilité

La stratégie, et les outils. Deux outils bien séparés. L'équivalence du c) est calculatoire : c'est le déterminant par blocs. La stabilité de $F$ par $u^{-1}$ est un argument de dimension finie : une restriction injective d'un espace de dimension finie dans lui-même est bijective, donc $u(F)=F$ et pas seulement $u(F)\subset F$ — c'est le point où l'on peut se croire arrivé alors qu'il reste tout à faire.

a) La stabilité se lit comme un bloc nul. Pour $1\le j\le p$, le vecteur $u(e_j)$ appartient à $F$, donc s'écrit uniquement sur $e_1,\dots ,e_p$ : les $n-p$ dernières coordonnées de la $j$-ième colonne sont nulles. C'est exactement la nullité du bloc inférieur gauche, et le bloc supérieur gauche $A\in {\mathcal{M}}_p(\mathbb{K})$ est la matrice de l'endomorphisme induit $u_{|F}$ dans la base $\left(e_1,\dots ,e_p\right)$. Réciproquement, cette forme entraîne la stabilité : « $F$ stable » et « bloc inférieur gauche nul » sont la même information.

b) Le déterminant par blocs. Fixons $B$ et $D$, et considérons $$\phi :{\mathcal{M}}_p(\mathbb{K})\to \mathbb{K},\phi (A)=\det \left(\begin{array}{cc}A& B\\ 0& D\end{array}\right).$$ Les $p$ premières colonnes de $M$ sont les vecteurs $\left(\begin{array}{c}{A}_j\\ 0\end{array}\right)$, où $A_j$ est la $j$-ième colonne de $A$. Le déterminant étant $n$-linéaire alterné en les colonnes, $\phi$ est $p$-linéaire alternée en les colonnes de $A$ : c'est donc un multiple du déterminant sur ${\mathcal{M}}_p(\mathbb{K})$, $$\phi (A)=\phi \left(I_p\right)\det A.$$ Et $\phi \left(I_p\right)=\det \left(\begin{array}{cc}{I}_p& B\\ 0& D\end{array}\right)=\det D$ : en développant successivement selon les $p$ premières colonnes, chacune n'ayant qu'un coefficient non nul, égal à $1$ et en position diagonale, il ne reste que $\det D$. D'où $\det M=\det A\det D$.

c) L'équivalence. Le corps $\mathbb{K}$ étant intègre, $$u\text{ inversible}⟺\det M\ne 0⟺\det A\det D\ne 0⟺\det A\ne 0\text{ et }\det D\ne 0.$$ Il ne suffit donc pas que l'un des deux blocs diagonaux soit inversible : les deux comptent, et le bloc $B$ ne compte pas.

d) $F$ est stable par $u^{-1}$. L'endomorphisme induit $u_{|F}:F\to F$ est bien défini ($F$ est stable) et injectif, comme restriction d'une application injective. Or $F$ est de dimension finie : le théorème du rang donne $\dim u(F)=\dim F$, et comme $u(F)\subset F$, on conclut $$u(F)=F.$$ En appliquant $u^{-1}$ à cette égalité, $F=u^{-1}\left(u(F)\right)=u^{-1}(F)$ : $F$ est stable par $u^{-1}$, et ${\left(u^{-1}\right)}_{|F}={\left(u_{|F}\right)}^{-1}$.

La matrice inverse. Dans la même base adaptée, $\mathrm{Mat}\left(u^{-1}\right)=M^{-1}$ est donc encore triangulaire supérieure par blocs, et l'identification donne $$M^{-1}=\left(\begin{array}{cc}{A}^{-1}& -A^{-1}B{D}^{-1}\\ 0& D^{-1}\end{array}\right),$$ ce qu'un produit vérifie : $$\left(\begin{array}{cc}A& B\\ 0& D\end{array}\right)\left(\begin{array}{cc}{A}^{-1}& -A^{-1}B{D}^{-1}\\ 0& D^{-1}\end{array}\right)=\left(\begin{array}{cc}{I}_p& -B{D}^{-1}+B{D}^{-1}\\ 0& I_{n-p}\end{array}\right)=I_n.$$

Contrôle numérique. Prenons $n=3$, $p=2$, avec $A=\left(\begin{array}{cc}1& 2\\ 0& 1\end{array}\right)$, $B=\left(\begin{array}{c}5\\ 6\end{array}\right)$, $D=(3)$, soit $M=\left(\begin{array}{ccc}1& 2& 5\\ 0& 1& 6\\ 0& 0& 3\end{array}\right)$. On a $\det A=1$, $\det D=3$ et $\det M=3$ (triangulaire) : l'égalité du b) est vérifiée. L'inverse vaut $$M^{-1}=\left(\begin{array}{ccc}1& -2& \frac{7}{3}\\ 0& 1& -2\\ 0& 0& \frac{1}{3}\end{array}\right),$$ dont le bloc inférieur gauche est bien nul — donc $F=\mathrm{Vect}\left(e_1,e_2\right)$ est stable par $u^{-1}$ —, le bloc supérieur gauche vaut $A^{-1}=\left(\begin{array}{cc}1& -2\\ 0& 1\end{array}\right)$, et le bloc supérieur droit $\left(\begin{array}{c}7/3\\ -2\end{array}\right)$ coïncide avec $-A^{-1}B{D}^{-1}=-\frac{1}{3}\left(\begin{array}{c}-7\\ 6\end{array}\right)$ ✓.

e) Le point délicat, et un contre-exemple en dimension infinie. L'inclusion $u(F)\subset F$ ne suffit pas : il faut l'égalité, que seule la dimension finie garantit. Sur $E=\mathbb{K}\left[X,X^{-1}\right]$, l'espace des polynômes de Laurent, l'endomorphisme $u:P\mapsto XP$ est bijectif, et $F=\mathbb{K}[X]$ est stable par $u$ ; pourtant $u^{-1}(1)=X^{-1}\notin F$ : $F$ n'est pas stable par $u^{-1}$. Toute la question d) repose donc sur le théorème du rang, et sur rien d'autre.

Ce que l'exercice installe. Un sous-espace stable par un automorphisme est stable par son inverse — donc par tous les $u^k$, $k\in \mathbb{Z}$, et plus généralement par tout élément de l'algèbre engendrée. C'est ce qui permet, en réduction, de travailler « bloc par bloc » sans jamais quitter les sous-espaces stables déjà construits. Et retenir la traduction : stable, c'est un bloc nul.