Un endomorphisme de carré nul

L'inclusion. Soit $y\in \mathrm{Im}u$, disons $y=u(x)$. Alors

$$u(y)=u(u(x))=u^2(x)=0,$$

donc $y\in \ker u$. D'où $\mathrm{Im}u\subset \ker u$.

L'inégalité sur le rang. L'inclusion donne $\mathrm{rg}(u)=\dim \mathrm{Im}u\le \dim \ker u$. Or le théorème du rang s'écrit $\dim \ker u=\dim E-\mathrm{rg}(u)$. En combinant :

$$\mathrm{rg}(u)\le \dim E-\mathrm{rg}(u)⟹2\mathrm{rg}(u)\le \dim E⟹\mathrm{rg}(u)\le \frac{\dim E}{2}.$$

Le majorant est atteint. En dimension $2$, l'endomorphisme de matrice $\left(\begin{array}{cc}0& 1\\ 0& 0\end{array}\right)$ vérifie $u^2=0$ et a pour rang $1=\frac{2}{2}$. En dimension impaire, l'inégalité est stricte puisque le rang est entier : en dimension $3$, $\mathrm{rg}(u)\le 1$.

Lecture. Un endomorphisme de carré nul « écrase » au moins la moitié de l'espace. C'est le premier cas de nilpotence, et il montre pourquoi une matrice nilpotente non nulle ne peut jamais être inversible.