Soit u ∈ L(E). Montrer que u² = 0 si et seulement si Im u ⊂ Ker u.

La stratégie : double implication, en traduisant chaque condition en « pour tout vecteur ». $u^2=0$ est une égalité d'applications ; $\mathrm{Im}u\subset \mathrm{Ker}u$ est une inclusion d'ensembles. Le pont entre les deux est la description $\mathrm{Im}u=\{u(x):x\in E\}$.

1) Supposons $u^2=0$, et montrons $\mathrm{Im}u\subset \mathrm{Ker}u$. Soit $y\in \mathrm{Im}u$. Par définition de l'image, il existe $x\in E$ tel que $y=u(x)$. Alors $$u(y)=u(u(x))=u^2(x)=0$$ donc $y\in \mathrm{Ker}u$. L'inclusion est acquise.

2) Réciproquement, supposons $\mathrm{Im}u\subset \mathrm{Ker}u$, et montrons $u^2=0$. Soit $x\in E$ quelconque. Le vecteur $u(x)$ appartient à $\mathrm{Im}u$, donc à $\mathrm{Ker}u$ par hypothèse, c'est-à-dire $u(u(x))=0$. Ainsi $u^2(x)=0$ pour tout $x$ : $u^2=0$.

⚠️ Tout le contenu tient dans le passage « soit $y\in \mathrm{Im}u$, il existe $x$ tel que $y=u(x)$ ». C'est la seule façon d'attraper un élément de l'image, et c'est ce $x$ — dont on ne saura jamais rien d'autre — qui permet d'écrire $u(y)=u^2(x)$. L'équivalence est vraie sans hypothèse de dimension finie.

3) Un exemple non nul dans ${\mathbb{R}}^2$. Posons $u(x,y)=(y,0)$, dont la matrice dans la base canonique a pour colonnes $(0,0)$ et $(1,0)$. Alors $$u^2(x,y)=u(y,0)=(0,0)$$ donc $u^2=0$, et pourtant $u\ne 0$ puisque $u(0,1)=(1,0)$.

Ses éléments : $\mathrm{Ker}u=\{(x,y):y=0\}=\mathrm{Vect}((1,0))$ et $\mathrm{Im}u=\mathrm{Vect}((1,0))$ — ici $\mathrm{Im}u=\mathrm{Ker}u$, cas extrême autorisé par l'inclusion.

4) Ce que l'inclusion coûte en dimension finie. Si $\dim E=n$, l'inclusion $\mathrm{Im}u\subset \mathrm{Ker}u$ donne $\mathrm{rg}u\le \dim \mathrm{Ker}u=n-\mathrm{rg}u$ par le théorème du rang, d'où $$\mathrm{rg}u\le \frac{n}{2}$$ Un endomorphisme de carré nul est donc « au plus à moitié inversible ». Pour $n=2$, cela force $\mathrm{rg}u\le 1$ : notre exemple est de rang maximal.

Contrôle numérique. Avec $N$ la matrice de colonnes $(0,0)$ et $(1,0)$ :

quantité	valeur mesurée
$N^2$	matrice nulle
$\mathrm{rg}N$	$1$
$\dim \mathrm{Ker}N$	$1$
$\mathrm{Im}N$	$\mathrm{Vect}((1,0))$
$\mathrm{Ker}N$	$\mathrm{Vect}((1,0))$

Et le contre-exemple qui valide la mesure : la symétrie $(x,y)\mapsto (y,x)$ vérifie $M^2=I_2\ne 0$ — l'instrument sait distinguer.

Ce que l'exercice installe. Les endomorphismes nilpotents : $u\ne 0$ mais $u^2=0$ montre qu'en algèbre linéaire, un produit nul n'entraîne pas qu'un facteur soit nul — $\mathcal{L}(E)$ n'est pas intègre. La majoration $\mathrm{rg}u\le n/2$ est le premier pas vers la réduction des nilpotents.