Un nilpotent d'indice $n$ est un bloc de Jordan

La stratégie. Aucune base ne rend diagonale une matrice nilpotente non nulle. On fabrique alors une base à partir d'un seul vecteur et de ses images successives, en choisissant un vecteur que $A$ met le plus longtemps possible à annuler.

1) La famille est libre. Soit ${\lambda }_{0}x+{\lambda }_{1}Ax+\cdots +{\lambda }_{p-1}{A}^{p-1}x=0$. Appliquons $A^{p-1}$ : pour $k\ge 1$, $A^{p-1+k}x=0$ puisque $p-1+k\ge p$ ; il reste ${\lambda }_0{A}^{p-1}x=0$, et $A^{p-1}x\ne 0$ donne ${\lambda }_0=0$. Appliquons ensuite $A^{p-2}$ à la relation restante : seul ${\lambda }_1{A}^{p-1}x$ survit, donc ${\lambda }_1=0$. De proche en proche, si ${\lambda }_0=\cdots ={\lambda }_{j-1}=0$, appliquer $A^{p-1-j}$ ne laisse que ${\lambda }_j{A}^{p-1}x=0$, d'où ${\lambda }_j=0$. La famille est libre ; elle a $p$ vecteurs dans ${\mathbb{K}}^n$, donc $p\le n$, et $A^n=A^p{A}^{n-p}=0$ : l'indice de nilpotence ne dépasse jamais la taille.

2) La base cyclique. Si $p=n$, la famille du 1) est libre à $n$ vecteurs en dimension $n$ : c'est une base, et $\mathcal{B}$ est la même famille dans l'ordre inverse. Notons $b_j=A^{n-j}x$, de sorte que $b_1=A^{n-1}x$ et $b_n=x$. L'endomorphisme $u_A$ envoie $b_1$ sur $A^{n}x=0$, et $b_j$ sur $A^{n-j+1}x=b_{j-1}$ pour $j\ge 2$ : la première colonne de sa matrice est nulle, la $j$-ième porte un $1$ en ligne $j-1$ : $${\mathrm{Mat}}_{\mathcal{B}}(u_A)=\left(\begin{array}{ccccc}0& 1& 0& \cdots & 0\\ 0& 0& 1& \ddots & ⋮\\ ⋮& & \ddots & \ddots & 0\\ 0& & & 0& 1\\ 0& 0& \cdots & 0& 0\end{array}\right)=N_n,$$ une suite de $1$ juste au-dessus de la diagonale : un bloc de Jordan nilpotent.

Le point délicat. L'ordre des vecteurs compte : c'est parce que $A^{n-1}x$ est placé en premier que chaque vecteur est envoyé sur le précédent, et que les $1$ tombent au-dessus de la diagonale. Une base n'est pas un ensemble, c'est une liste.

3) Une seule classe. Si $A=P{N}_n{P}^{-1}$ et $A^{\prime }=Q{N}_n{Q}^{-1}$, alors $A^{\prime }=Q{P}^{-1}AP{Q}^{-1}=(P{Q}^{-1}{)}^{-1}A(P{Q}^{-1})$ : deux nilpotentes d'indice $n$ sont semblables. Pour $n=2$, une matrice $A\ne 0$ de carré nul est nilpotente d'indice exactement $2$, donc semblable à $N_2=\left(\begin{array}{cc}0& 1\\ 0& 0\end{array}\right)$, dans la base $(Ax,x)$ pour n'importe quel $x$ tel que $Ax\ne 0$.

4) La dérivation. Sur ${\mathbb{R}}_{n-1}[X]$, $D^n=0$ et $D^{n-1}(X^{n-1})=(n-1)!\ne 0$ : l'indice est exactement $n$, la dimension. Avec $x=\frac{X^{n-1}}{(n-1)!}$, on a $D^k(x)=\frac{X^{n-1-k}}{(n-1-k)!}$, et la base du 2) est $$\mathcal{B}=\left(1,X,\frac{X^2}{2!},\dots ,\frac{X^{n-1}}{(n-1)!}\right):$$ chaque vecteur a pour dérivée le précédent, le premier a une dérivée nulle, et la matrice de $D$ est $N_n$. Pour $n=4$, sans normalisation, $x=X^3$ donne la base $(6,6X,3X^2,X^3)$ : $D(6X)=6$, $D(3X^2)=6X$, $D(X^3)=3X^2$.

5) Le rang, et l'indice comme invariant. Les colonnes de $N_n$ sont $0,e_1,\dots ,e_{n-1}$ : $\mathrm{rg}{N}_n=n-1$, et deux matrices semblables ayant même rang, toute nilpotente d'indice $n$ est de rang $n-1$. Si $B=P^{-1}AP$, alors $B^k=P^{-1}{A}^{k}P$ pour tout $k$, donc $B^k=0$ si et seulement si $A^k=0$ : deux matrices semblables ont le même indice de nilpotence, et deux nilpotentes d'indices différents ne sont jamais semblables. Ainsi $N_2$ et la matrice nulle ont toutes deux un carré nul, mais ne sont pas semblables.

Ce que l'exercice installe. La base cyclique $(A^{n-1}x,\dots ,Ax,x)$ est le second grand type de base adaptée, après « image et noyau ». L'exercice montre aussi ce que la similitude conserve — le rang, l'indice de nilpotence — et comment s'en servir pour prouver que deux matrices ne sont pas semblables. Le bloc $r{I}_2+N_2$ reviendra en seconde année : il explique le facteur $t$ des solutions $(\alpha +\beta t)e^{rt}$ du régime critique.