Les traces des puissances toutes nulles caractérisent la nilpotence

Stratégie. Les deux sens passent par la trigonalisation dans $\mathbb{C}$, licite puisque toute matrice de ${\mathcal{M}}_n(\mathbb{C})$ est trigonalisable. Le sens direct est alors une lecture de la diagonale. La réciproque est plus fine : les traces des puissances fournissent $n$ équations linéaires en les multiplicités des valeurs propres non nulles, et un déterminant de Vandermonde montre que la seule solution est « aucune valeur propre non nulle ».

Le cadre. $u$ est un endomorphisme d'un espace de dimension $n$ ; on raisonne sur sa matrice $A$, lue dans ${\mathcal{M}}_n(\mathbb{C})$ (le résultat est ensuite vrai sur $\mathbb{R}$, une matrice réelle nulle dans ${\mathcal{M}}_n(\mathbb{C})$ étant nulle).

1. Sens direct. Supposons $u$ nilpotent, disons $u^m=0$. Si $\lambda$ est une valeur propre de $u$ et $x\ne 0$ un vecteur propre, alors $0=u^m(x)={\lambda }^{m}x$, donc $\lambda =0$ : le spectre complexe de $u$ est $\{0\}$. Le polynôme caractéristique vaut donc ${\chi }_u=X^n$, il est scindé, et $u$ est trigonalisable : il existe $P$ inversible telle que $T=P^{-1}AP$ soit triangulaire supérieure à diagonale nulle. Pour tout $k\ge 1$, $T^k$ est encore triangulaire supérieure, de coefficients diagonaux les $0^k=0$, d'où $$\mathrm{tr}(u^k)=\mathrm{tr}(A^k)=\mathrm{tr}\left(P{T}^k{P}^{-1}\right)=\mathrm{tr}(T^k)=0.$$

2. Réciproque. Supposons $\mathrm{tr}(u^k)=0$ pour $k\in [[1,n]]$. Trigonalisons $A$ dans ${\mathcal{M}}_n(\mathbb{C})$ : sa diagonale porte les valeurs propres, chacune répétée avec sa multiplicité. Notons ${\lambda }_1,\dots ,{\lambda }_r$ les valeurs propres non nulles deux à deux distinctes, et $m_1,\dots ,m_r\ge 1$ leurs multiplicités. La même lecture qu'au point 1 donne $$\mathrm{tr}(u^k)=\sum _{i=1}^r{m}_i{\lambda }_i^k=0\text{pour }k=1,\dots ,r$$ (on a $r\le n$, donc ces $r$ égalités sont bien parmi celles qu'on suppose). Vu comme $r$ équations linéaires d'inconnues $m_1,\dots ,m_r$, ce tableau a pour matrice $({\lambda }_i^k{)}_{1\le k,i\le r}$, dont le déterminant vaut $$\det \left({\lambda }_i^k\right)=\left(\prod _{i=1}^r{\lambda }_i\right)\times \prod _{1\le i<j\le r}({\lambda }_j-{\lambda }_i)\ne 0,$$ en factorisant ${\lambda }_i$ dans chaque colonne pour faire apparaître un déterminant de Vandermonde — non nul car les ${\lambda }_i$ sont deux à deux distincts, et le premier facteur non nul car ils sont non nuls. La seule solution est donc $m_1=\cdots =m_r=0$, ce qui contredit $m_i\ge 1$ : il n'y a aucune valeur propre non nulle, autrement dit $r=0$.

3. Conclusion. Le spectre complexe de $u$ est réduit à $\{0\}$, donc ${\chi }_u=X^n$ et $A$ est semblable à une matrice triangulaire supérieure $T$ à diagonale nulle. Une telle matrice envoie $\mathrm{Vect}(e_1,\dots ,e_k)$ dans $\mathrm{Vect}(e_1,\dots ,e_{k-1})$ pour tout $k$ ; en composant $n$ fois, on descend de $\mathrm{Vect}(e_1,\dots ,e_n)$ jusqu'à $\{0\}$, donc $T^n=0$ et $A^n=P{T}^n{P}^{-1}=0$ : $u$ est nilpotent.

Le point délicat. C'est la non-nullité des ${\lambda }_i$ qui fait tout, et elle intervient deux fois : elle permet de factoriser ${\prod }_i{\lambda }_i$ hors du déterminant, et elle garantit que ce facteur ne l'annule pas. Si l'on avait gardé la valeur propre $0$ dans la liste, la première colonne du tableau serait nulle et l'argument tomberait — sans rien prouver de faux, mais sans rien prouver du tout.

Contrôle chiffré. Pour $A=\left(\begin{array}{cc}1& 0\\ 0& -1\end{array}\right)$, on a $\mathrm{tr}(A)=0$ : une seule trace nulle ne suffit pas. Et de fait $\mathrm{tr}(A^2)=2\ne 0$, et $A$ n'est pas nilpotente — elle est même involutive. C'est bien l'ensemble des $n$ traces qu'il faut, pas la première.

Le point à retenir. Les $n$ premières traces des puissances déterminent à elles seules le spectre avec ses multiplicités : le déterminant de Vandermonde, une fois de plus, sert à séparer des valeurs deux à deux distinctes. Sous cette forme, le critère est calculable — $n$ produits matriciels et $n$ additions —, alors que la définition de la nilpotence exige de deviner l'indice.