Un nilpotent d'indice maximal est un bloc de Jordan

La stratégie. Un vecteur $x$ que $A$ met le plus longtemps possible à annuler engendre, avec ses images successives, une famille libre — on le prouve en appliquant les puissances de $A$ dans l'ordre décroissant à une relation de dépendance, ce qui isole les coefficients un par un.

1) La famille cyclique est libre. Soit une relation ${\lambda }_{0}x+{\lambda }_{1}Ax+\cdots +{\lambda }_{p-1}{A}^{p-1}x=0$. Appliquons $A^{p-1}$ : pour $k\ge 1$, $A^{p-1}{A}^{k}x=A^{p-1+k}x=0$ car $p-1+k\ge p$ ; il reste ${\lambda }_0{A}^{p-1}x=0$, et comme $A^{p-1}x\ne 0$, ${\lambda }_0=0$. Appliquons maintenant $A^{p-2}$ à la relation réduite ${\lambda }_{1}Ax+\cdots +{\lambda }_{p-1}{A}^{p-1}x=0$ : seul le terme ${\lambda }_1{A}^{p-1}x$ survit, donc ${\lambda }_1=0$. On continue : par récurrence, si ${\lambda }_0=\cdots ={\lambda }_{j-1}=0$, appliquer $A^{p-1-j}$ à ${\sum }_{k\ge j}{\lambda }_k{A}^{k}x=0$ ne laisse que ${\lambda }_j{A}^{p-1}x=0$, d'où ${\lambda }_j=0$. Tous les coefficients sont nuls : la famille est libre. Elle compte $p$ vecteurs dans un espace de dimension $n$ : $p\le n$. L'indice de nilpotence ne dépasse jamais la dimension — le corollaire de la décomposition de Fitting, retrouvé en trois lignes.

2) Le bloc de Jordan. Si $p=n$, la famille $\mathcal{B}=(x,Ax,\dots ,A^{n-1}x)$ est libre à $n$ vecteurs dans ${\mathbb{K}}^n$ : une base. Notons $b_k=A^{k-1}x$ pour $k=1,\dots ,n$. L'endomorphisme $u:X\mapsto AX$ envoie $b_k$ sur $A{b}_k=A^{k}x=b_{k+1}$ pour $k<n$, et $b_n$ sur $A^{n}x=0$. La colonne $k$ de sa matrice dans $\mathcal{B}$ est donc $e_{k+1}$ pour $k<n$, et $0$ pour $k=n$ : $$J=\left(\begin{array}{ccccc}0& 0& \cdots & 0& 0\\ 1& 0& \cdots & 0& 0\\ 0& 1& \ddots & ⋮& ⋮\\ ⋮& & \ddots & 0& 0\\ 0& \cdots & 0& 1& 0\end{array}\right),$$ des $1$ sur la sous-diagonale, des $0$ partout ailleurs. On dit un bloc de Jordan nilpotent. Donc $P^{-1}AP=J$, avec $P$ la matrice de passage de la base canonique à $\mathcal{B}$.

3) Une seule classe. Toute nilpotente d'indice $n$ est semblable à $J$, donc deux telles matrices sont semblables entre elles (symétrie et transitivité de la similitude). Invariants : $\mathrm{tr}J=0$ (diagonale nulle), donc toute nilpotente d'indice $n$ est de trace nulle ; $\mathrm{rg}J=n-1$ (les colonnes $e_2,\dots ,e_n$ sont libres, la dernière est nulle), donc toute nilpotente d'indice $n$ est de rang $n-1$ — le rang est invariant par similitude.

4) La dérivation. Sur ${\mathbb{R}}_{n-1}[X]$, $D^n=0$ (exercice 1) et $D^{n-1}(X^{n-1})=(n-1)!\ne 0$ : indice exactement $n$. Prenons $x=\frac{X^{n-1}}{(n-1)!}$ ; alors $D^{k}x=\frac{X^{n-1-k}}{(n-1-k)!}$, et la base cyclique est $$\mathcal{B}=\left(\frac{X^{n-1}}{(n-1)!},\frac{X^{n-2}}{(n-2)!},\dots ,\frac{X^2}{2},X,1\right).$$ Chaque vecteur est envoyé par $D$ sur le suivant, le dernier sur $0$ : la matrice de $D$ dans $\mathcal{B}$ est $J$. (Sans la normalisation par les factorielles, la base $(X^{n-1},\dots ,X,1)$ donnerait $n-1,n-2,\dots ,1$ sur la sous-diagonale : les coefficients de l'exercice 1, lus dans l'ordre inverse.)

5) Indices différents. Non. Si $B=P^{-1}AP$, alors $B^k=P^{-1}{A}^{k}P$ pour tout $k$, donc $B^k=0⟺A^k=0$ : deux matrices semblables ont le même indice de nilpotence. Par exemple $E_{1,2}$ (indice $2$) et $0$ (indice $1$) ne sont pas semblables dans ${\mathcal{M}}_2(\mathbb{K})$. Pour un indice $p<n$, il y a plusieurs classes de similitude (par exemple, dans ${\mathcal{M}}_4$, indice $2$ avec rang $1$ ou rang $2$) : la description complète est la forme de Jordan, en seconde année.

Ce que l'exercice installe. La base cyclique $(x,Ax,A^{2}x,\dots )$, construite sur un vecteur que $A$ met longtemps à tuer, est le second grand type de base adaptée, après « image plus noyau ». Elle donne d'un coup la borne $p\le n$ et la forme normale des nilpotents d'indice maximal.