Un carré nul interdit la diagonalisation

Le spectre. Le polynôme $Q(x)=x^2$ est annulateur de $A$, et sa seule racine est $0$. Donc $\mathrm{Sp}(A)\subset \{0\}$.

Reste à voir que $0$ est effectivement valeur propre. Si ce n'était pas le cas, $A$ serait inversible (une matrice est inversible si et seulement si $0$ n'est pas valeur propre, puisque $A-0\cdot I_n=A$) ; en multipliant $A^2=0$ par $A^{-1}$ on obtiendrait $A=0$, contraire à l'hypothèse. Donc $$\mathrm{Sp}(A)=\{0\}.$$

$A$ n'est pas diagonalisable. Raisonnons par l'absurde : supposons $A=PD{P}^{-1}$ avec $D$ diagonale et $P$ inversible. Les coefficients diagonaux de $D$ sont les valeurs propres de $A$ — car $D$ est triangulaire, et deux matrices semblables ont les mêmes valeurs propres : si $DX=\lambda X$ avec $X\ne 0$, alors $A(PX)=PD{P}^{-1}PX=P(\lambda X)=\lambda (PX)$, et $PX$ est non nul puisque $P$ est inversible. Tous les coefficients diagonaux de $D$ valent donc $0$, c'est-à-dire $D=0$, d'où $$A=P\cdot 0\cdot P^{-1}=0,$$ ce qui contredit $A\ne 0$. Donc $A$ n'est pas diagonalisable.

Un exemple. $A=\left(\begin{array}{cc}0& 1\\ 0& 0\end{array}\right)$ est non nulle, et $A^2=\left(\begin{array}{cc}0& 1\\ 0& 0\end{array}\right)\left(\begin{array}{cc}0& 1\\ 0& 0\end{array}\right)=\left(\begin{array}{cc}0& 0\\ 0& 0\end{array}\right)$.

Ce que l'exercice met en évidence. Une matrice dont le spectre est réduit à un point n'est diagonalisable que si elle est déjà la matrice scalaire correspondante. C'est le critère le plus économique pour conclure à la non-diagonalisabilité.