Un endomorphisme de carré nul, lu par blocs

1. Pour $y\in \mathrm{Im}(u)$, écrivons $y=u(x)$ ; alors $u(y)=u^2(x)=0$, donc $y\in \ker (u)$ : $\mathrm{Im}(u)\subset \ker (u)$. Posons $r=\mathrm{rg}(u)$. Le théorème du rang donne $\dim \ker (u)=n-r$, et l'inclusion impose $r\le n-r$, soit $$\mathrm{rg}(u)\le \frac{n}{2}.$$

2. Posons $k=n-r=\dim \ker (u)$ et choisissons une base $\mathcal{B}=(e_1,\dots ,e_k,e_{k+1},\dots ,e_n)$ de $E$ dont les $k$ premiers vecteurs forment une base de $\ker (u)$ (base adaptée). Alors :

• pour $j\le k$, $u(e_j)=0$ : les $k$ premières colonnes sont nulles ;
• pour $j>k$, $u(e_j)\in \mathrm{Im}(u)\subset \ker (u)=\mathrm{Vect}(e_1,\dots ,e_k)$ : seules les $k$ premières lignes de ces colonnes peuvent être non nulles.

Donc $${\mathrm{Mat}}_{\mathcal{B}}(u)=\left(\begin{array}{cc}{0}_k& B\\ 0_{n-k,k}& 0_{n-k}\end{array}\right),B\in {\mathcal{M}}_{k,n-k}(\mathbb{K}).$$ Tous les coefficients diagonaux sont nuls, donc $\mathrm{tr}(u)=0$ — et cette valeur ne dépend pas de la base choisie, par invariance de la trace par similitude. Par ailleurs $${\mathrm{Mat}}_{\mathcal{B}}({\mathrm{id}}_E+u)=\left(\begin{array}{cc}{I}_k& B\\ 0& I_{n-k}\end{array}\right),$$ matrice triangulaire par blocs, donc $\det ({\mathrm{id}}_E+u)=\det (I_k)\det (I_{n-k})=1$.

3. $\ker (u)$ est stable par $u$ (son image par $u$ est $\{0\}$), et l'endomorphisme induit $u_{|\ker u}$ est l'endomorphisme nul : c'est précisément ce que dit le bloc diagonal supérieur gauche $0_k$. Réciproquement, lire un bloc diagonal nul, c'est lire un sous-espace stable sur lequel l'induit s'annule.

Contrôle. Pour $n=2$ et $u$ de matrice $\left(\begin{array}{cc}0& 1\\ 0& 0\end{array}\right)$ : $u^2=0$, $\mathrm{rg}(u)=1=n/2$ (le majorant est atteint), $\mathrm{tr}(u)=0$ ✓ et $\det (I_2+u)=\left|\begin{array}{cc}1& 1\\ 0& 1\end{array}\right|=1$ ✓.