Symétrique et de carré nul

Ce qu'on montre. Que l'image de tout vecteur est nulle, en calculant la norme de cette image.

La démonstration. Soit $x\in E$. La symétrie de $f$ permet de faire passer $f$ de l'autre côté du produit scalaire : $$\Vert f(x){\Vert }^2=⟨f(x),f(x)⟩=⟨x,f(f(x))⟩=⟨x,0⟩=0,$$ puisque $f\circ f=0$. Une norme nulle entraîne le vecteur nul, donc $f(x)=0$. Ceci valant pour tout $x$, on conclut $f=0$.

Sans la symétrie, c'est faux. Prenons dans ${\mathbb{R}}^2$ l'endomorphisme de matrice $$A=\left(\begin{array}{cc}0& 1\\ 0& 0\end{array}\right)\text{dans la base canonique, qui est orthonormeˊe.}$$ On calcule $A^2=0$, et pourtant $A\ne 0$. Cette matrice n'est pas symétrique, et l'argument précédent tombe : $⟨f(x),f(x)⟩$ ne se transforme plus en $⟨x,f^2(x)⟩$.

Ce que l'exercice éclaire. Un endomorphisme symétrique est diagonalisable (théorème spectral) ; si de plus $f\circ f=0$, chaque valeur propre $\lambda$ vérifie ${\lambda }^2=0$, donc $\lambda =0$, et un endomorphisme diagonalisable de spectre $\{0\}$ est l'endomorphisme nul. La démonstration directe ci-dessus est plus courte, mais les deux disent la même chose : c'est la diagonalisabilité, refusée à la matrice $A$, qui fait toute la différence.