Quand le carré d'une application est nul

Première inclusion. Soit $v\in \mathrm{Im}(f)$ : il existe $u\in E$ tel que $v=f(u)$. Alors $$f(v)=f(f(u))=(f\circ f)(u)=0_E.$$ Donc $v\in \ker (f)$. Ceci vaut pour tout $v$ de l'image, d'où $\mathrm{Im}(f)\subset \ker (f)$.

Passage aux dimensions. Un sous-espace inclus dans un autre a une dimension inférieure ou égale. Ici $\mathrm{Im}(f)$ et $\ker (f)$ sont deux sous-espaces de $E$ et le premier est inclus dans le second, donc $$\mathrm{rg}(f)=\dim (\mathrm{Im}(f))⩽\dim (\ker (f)).$$

Conclusion par le théorème du rang. Ce théorème affirme $\dim \ker (f)+\mathrm{rg}(f)=n$, c'est-à-dire $\dim \ker (f)=n-\mathrm{rg}(f)$. En reportant dans l'inégalité : $$\mathrm{rg}(f)⩽n-\mathrm{rg}(f),\text{donc}2\mathrm{rg}(f)⩽n,\text{soit}\mathrm{rg}(f)⩽\frac{n}{2}.$$

Le point délicat est de ne pas confondre les deux sous-espaces : ils vivent tous deux dans $E$ puisque $f$ est un endomorphisme, et c'est cela seul qui autorise à écrire une inclusion entre eux. Si $f$ allait de $E$ dans un autre espace $F$, l'énoncé $f\circ f=0$ n'aurait même pas de sens.

Une conséquence concrète. En dimension $3$, un tel endomorphisme a un rang au plus $1$ : il ne peut pas être de rang $2$. Et en dimension impaire, le rang est toujours strictement inférieur à la moitié de $n$ puisque c'est un entier.