Un sous-espace stable l'est aussi par l'inverse

Stratégie. L'équivalence sur l'inversibilité est une lecture du déterminant triangulaire par blocs. Pour la stabilité par $u^{-1}$, on n'inverse rien : on observe que $u$ induit une application de $F$ dans $F$, injective, donc bijective — c'est la dimension finie qui fait tout le travail. La forme du bloc $\left(\begin{array}{cc}A& B\\ 0& D\end{array}\right)$ n'est d'ailleurs qu'une traduction : le zéro en bas à gauche est l'hypothèse de stabilité.

Le cadre. $E$ est de dimension finie $n$, $F$ un sous-espace stable par $u$, de dimension $p$. On complète une base $(e_1,\dots ,e_p)$ de $F$ en une base $\mathcal{B}=(e_1,\dots ,e_n)$ de $E$ (base adaptée). Comme $u(e_k)\in F$ pour $k\le p$, les $p$ premières colonnes de la matrice n'ont de coefficients non nuls que sur les $p$ premières lignes : $$M={\mathrm{Mat}}_{\mathcal{B}}(u)=\left(\begin{array}{cc}A& B\\ 0& D\end{array}\right),A\in {\mathcal{M}}_p(\mathbb{K}),D\in {\mathcal{M}}_{n-p}(\mathbb{K}),$$ où $A$ est exactement la matrice de l'endomorphisme induit $u_{|F}$ dans la base $(e_1,\dots ,e_p)$.

1. $u$ inversible $⟺$ $A$ et $D$ inversibles. Le théorème du déterminant triangulaire par blocs donne $$\det u=\det M=\det A\times \det D.$$ Donc $$u\in \mathrm{GL}(E)⟺\det M\ne 0⟺\det A\ne 0\text{ et }\det D\ne 0⟺A\text{ et }D\text{ inversibles.}$$ (Le sens « $\Rightarrow$ » est celui qui mérite l'attention : un produit non nul force chaque facteur à être non nul. Sans le théorème par blocs, rien ne le garantirait — et l'on rappelle qu'il n'existe aucune formule du type $\det M=\det (AD-0\cdot B)$ pour une matrice par blocs générale.)

2. $F$ est stable par $u^{-1}$. Supposons $u$ inversible et considérons $u_{|F}:F\to F$, bien définie par stabilité.

• $u_{|F}$ est injective : si $x\in F$ vérifie $u_{|F}(x)=u(x)=0$, alors $x=0$ car $u$ est injective sur $E$.
• $u_{|F}$ est donc bijective : $F$ est de dimension finie et $u_{|F}$ est un endomorphisme injectif de $F$ ; le théorème du rang donne $\dim \mathrm{Im}(u_{|F})=\dim F-\dim \ker (u_{|F})=\dim F$, donc $\mathrm{Im}(u_{|F})=F$.

Soit alors $y\in F$. Il existe $x\in F$ avec $u(x)=y$, donc $u^{-1}(y)=x\in F$. Ainsi $u^{-1}(F)\subset F$ : $F$ est stable par $u^{-1}$, et de plus $(u^{-1}{)}_{|F}=(u_{|F}{)}^{-1}$.

3. La même chose, lue matriciellement. L'inverse se calcule explicitement et confirme la stabilité, puisqu'il a la même forme triangulaire par blocs : $$M^{-1}=\left(\begin{array}{cc}{A}^{-1}& -A^{-1}B{D}^{-1}\\ 0& D^{-1}\end{array}\right).$$ Vérification. $$\left(\begin{array}{cc}A& B\\ 0& D\end{array}\right)\left(\begin{array}{cc}{A}^{-1}& -A^{-1}B{D}^{-1}\\ 0& D^{-1}\end{array}\right)=\left(\begin{array}{cc}A{A}^{-1}& -A{A}^{-1}B{D}^{-1}+B{D}^{-1}\\ 0& D{D}^{-1}\end{array}\right)=\left(\begin{array}{cc}{I}_p& -B{D}^{-1}+B{D}^{-1}\\ 0& I_{n-p}\end{array}\right)=I_n.✓$$ Le bloc nul en bas à gauche est conservé : c'est, mot pour mot, la stabilité de $F$ par $u^{-1}$. On lit au passage $(u_{|F}{)}^{-1}$ dans le bloc $A^{-1}$.

Point délicat. L'argument du point 2 utilise deux fois la dimension finie : une fois pour $E$ (pour disposer de $u^{-1}$ dès que $u$ est injective) et une fois pour $F$ (pour passer de « $u_{|F}$ injective » à « $u_{|F}$ surjective »). C'est cette seconde étape qui est le vrai contenu de l'exercice : elle interdit à $u$ de « comprimer » strictement $F$.

Contrôle chiffré. Dans ${\mathbb{R}}^2$, prenons $u$ de matrice $M=\left(\begin{array}{cc}1& 1\\ 0& 2\end{array}\right)$ et $F=\mathrm{Vect}(e_1)$, stable puisque $u(e_1)=e_1$. Ici $A=(1)$ et $D=(2)$ sont inversibles, et $\det M=2\ne 0$ $✓$. La formule donne $$M^{-1}=\left(\begin{array}{cc}1& -\frac{1}{2}\\ 0& \frac{1}{2}\end{array}\right),\text{et l’on veˊrifie }M{M}^{-1}=\left(\begin{array}{cc}1& -\frac{1}{2}+\frac{1}{2}\\ 0& 1\end{array}\right)=I_2.✓$$ Sa première colonne est $(1,0)$ : $u^{-1}(e_1)=e_1\in F$ $✓$. À l'inverse, avec $M^{\prime }=\left(\begin{array}{cc}1& 1\\ 0& 0\end{array}\right)$ le bloc $D=(0)$ n'est pas inversible, et en effet $\det M^{\prime }=0$ : $u$ n'est pas inversible, bien que $A=(1)$ le soit — les deux blocs diagonaux sont nécessaires.