Problème : noyaux itérés et décomposition de Fitting

1) Monotonie, et stationnarité. Les noyaux croissent : si $u^k(x)=0$, alors $u^{k+1}(x)=u(u^k(x))=u(0)=0$. Les images décroissent : si $y=u^{k+1}(x)=u^k(u(x))$, alors $y\in I_k$. Les dimensions : le théorème du rang pour $u^k$ donne $\dim N_k+\dim I_k=n$.

La stationnarité. Supposons $N_k=N_{k+1}$, et soit $x\in N_{k+2}$. Alors $u^{k+1}(u(x))=u^{k+2}(x)=0$, donc $u(x)\in N_{k+1}=N_k$, c'est-à-dire $u^k(u(x))=0$, soit $u^{k+1}(x)=0$ : $x\in N_{k+1}$. Ainsi $N_{k+2}\subset N_{k+1}$, et avec la croissance, $N_{k+2}=N_{k+1}$. Par récurrence, $N_j=N_k$ pour tout $j\ge k$ : dès que la suite des noyaux stationne une fois, elle stationne pour toujours.

Le point délicat. L'argument fait passer $u(x)$ d'un noyau au précédent : on décale d'un cran, et l'hypothèse $N_{k+1}=N_k$ ramène d'un cran. C'est une propriété de la suite des puissances, qui n'utilise aucune dimension.

2) Le rang de stationnement. La suite $(\dim N_k)$ est croissante et à valeurs dans $\{0,\dots ,n\}$ : elle ne peut pas croître strictement indéfiniment. Il existe donc $k$ avec $\dim N_k=\dim N_{k+1}$, et alors $N_k=N_{k+1}$ — une inclusion plus une égalité de dimensions font une égalité. Soit $p$ le plus petit de ces entiers. Pour $k<p$, $N_k\ne N_{k+1}$ par minimalité : l'inclusion est stricte, et $\dim N_{k+1}\ge \dim N_k+1$. Comme $N_0=\mathrm{Ker}({\mathrm{id}}_E)=\{0\}$, on obtient $\dim N_p\ge p$, donc $p\le \dim N_p\le n$.

Les images. Comme $I_{k+1}\subset I_k$, on a $I_k=I_{k+1}$ si et seulement si $\dim I_k=\dim I_{k+1}$ ; par le 1), $\dim I_k=n-\dim N_k$, donc cela équivaut à $\dim N_k=\dim N_{k+1}$, c'est-à-dire à $N_k=N_{k+1}$. Les images décroissent strictement jusqu'au rang $p$, puis sont constantes : $I_j=I_p$ pour $j\ge p$.

3) La somme directe. Posons $v=u^p$. Son noyau est $N_p$, et celui de $v^2=u^{2p}$ est $N_{2p}=N_p$, puisque $2p\ge p$ et que les noyaux stationnent à partir de $p$. Ainsi $\mathrm{Ker}{v}^2=\mathrm{Ker}v$ : c'est la condition (ii) de l'exercice 6, question 3, pour $v$, qui équivaut à (i) et (iv) : $\mathrm{Ker}v\cap \mathrm{Im}v=\{0\}$ et $E=\mathrm{Ker}v\oplus \mathrm{Im}v$, c'est-à-dire $$N_p\cap I_p=\{0\},E=N_p\oplus I_p.$$ Redisons pourquoi, en une ligne chacun. L'intersection : si $y=u^p(x)$ et $u^p(y)=0$, alors $u^{2p}(x)=0$, donc $x\in N_{2p}=N_p$, et $y=u^p(x)=0$. La somme : elle est directe, et de dimension $\dim N_p+\dim I_p=n$ par le théorème du rang, donc égale à $E$.

4) Les deux morceaux, et l'automorphisme. $u$ envoie chaque morceau dans lui-même. Si $x\in N_p$, $u^p(u(x))=u(u^p(x))=u(0)=0$ : $u(x)\in N_p$ — $u$ commute avec ses puissances. Si $y=u^p(x)\in I_p$, $u(y)=u^p(u(x))\in I_p$.

L'application $u_I$. Elle est bien définie, puisque $u(I_p)\subset I_p$, et linéaire comme $u$. Son noyau est $\mathrm{Ker}u\cap I_p=N_1\cap I_p$. Or $N_1\subset N_p$ si $p\ge 1$ (croissance des noyaux), et $N_1=N_0=\{0\}$ si $p=0$ ; dans les deux cas $N_1\cap I_p\subset N_p\cap I_p=\{0\}$. Donc $u_I$ est injective ; endomorphisme injectif d'un espace de dimension finie, elle est bijective : $u_I$ est un automorphisme de $I_p$.

5) Le nilpotent. Pour $x\in N_p$, comme $u$ envoie $N_p$ dans lui-même, $u_N^k(x)=u^k(x)$ pour tout $k$ (récurrence immédiate) ; en particulier $u_N^p(x)=u^p(x)=0$ : $u_N^p=0$, et $u_N$ est nilpotent. Si $p\ge 1$, l'inclusion $N_{p-1}\subset N_p$ est stricte : il existe $x\in N_p$ tel que $u^{p-1}(x)\ne 0$, donc $u_N^{p-1}(x)\ne 0$, et $u_N^{p-1}\ne 0$. L'entier $p$ est donc le plus petit exposant qui annule $u_N$.

La décomposition obtenue. $E=\mathrm{Ker}{u}^p\oplus \mathrm{Im}{u}^p$ ; $u$ envoie chacun des deux sous-espaces dans lui-même ; il induit sur $\mathrm{Ker}{u}^p$ un endomorphisme nilpotent, dont la puissance $p$-ième est nulle et pas la précédente, et sur $\mathrm{Im}{u}^p$ un automorphisme.

6) Applications. a) Un nilpotent. Si $u^k=0$ pour un $k\ge 1$, alors $N_k=E$. Si l'on avait $k<p$, on aurait $N_k=N_{k+1}=E$, ce qui contredit la minimalité de $p$ ; donc $k\ge p$, et $N_p=N_k=E$ par stationnarité. Ainsi $u^p=0$ avec $p\le n$, et $u^n=u^{n-p}\circ u^p=0$ : un endomorphisme nilpotent d'un espace de dimension $n$ vérifie $u^n=0$. (Il n'est donc jamais inversible : sinon $u^n$ le serait aussi.) L'exposant $n$ est atteint : sur ${\mathbb{R}}_{n-1}[X]$, de dimension $n$, la dérivation $D$ vérifie $D^n=0$, car $n$ dérivations tuent tout polynôme de degré au plus $n-1$, mais $D^{n-1}(X^{n-1})=(n-1)!\ne 0$. Ici $\mathrm{Ker}{D}^k={\mathbb{R}}_{k-1}[X]$ grandit d'une dimension à chaque pas, et $p=n$ : la dérivation, pour laquelle la décomposition échouait au premier coup (exercice 6), ne se stabilise qu'au $n$-ième.

b) Un exemple mixte. Pour $u(x,y,z)=(y,z,z)$ : $u^2(x,y,z)=u(y,z,z)=(z,z,z)$ et $u^3(x,y,z)=u(z,z,z)=(z,z,z)=u^2(x,y,z)$. Donc $N_1=\{y=z=0\}=\mathrm{Vect}(e_1)$, $N_2=\{z=0\}=\mathrm{Vect}(e_1,e_2)$, et $N_3=N_2$ : $p=2$. L'image $I_2=\mathrm{Im}{u}^2=\mathrm{Vect}((1,1,1))$ est de dimension $1=3-2$, et $(1,1,1)\notin N_2$ : ${\mathbb{R}}^3=N_2\oplus I_2$, avec la décomposition explicite $(x,y,z)=(x-z,y-z,0)+z(1,1,1)$. Sur $I_2$, $u(1,1,1)=(1,1,1)$ : $u_I$ est l'identité, un automorphisme. Sur $N_2$, $u(e_1)=0$ et $u(e_2)=e_1$ : $u_N^2=0$ et $u_N\ne 0$, nilpotent avec $p=2$, comme prévu.

c) Deux cas extrêmes. Un projecteur $q$, différent de l'identité : $q^2=q$ donne $N_2=N_1$, et $N_1=\mathrm{Ker}q\ne \{0\}=N_0$ (sinon $q$, injectif, serait bijectif, et $q^2=q$ donnerait $q=\mathrm{id}$) ; donc $p=1$, et la décomposition est $E=\mathrm{Ker}q\oplus \mathrm{Im}q$, celle du cours, avec $u_N=0$ et $u_I=\mathrm{id}$. Un automorphisme : $N_1=\{0\}=N_0$, donc $p=0$, et la décomposition est triviale, $E=\{0\}\oplus E$ : il n'y a pas de partie nilpotente.

Le théorème obtenu — la décomposition de Fitting. Pour tout endomorphisme $u$ d'un espace vectoriel $E$ de dimension finie $n$, il existe un entier $p\le n$ — le rang à partir duquel la suite des noyaux $\mathrm{Ker}{u}^k$ est constante — tel que $E=\mathrm{Ker}{u}^p\oplus \mathrm{Im}{u}^p$, les deux sous-espaces étant envoyés dans eux-mêmes par $u$, qui induit sur $\mathrm{Ker}{u}^p$ un endomorphisme nilpotent et sur $\mathrm{Im}{u}^p$ un automorphisme. En particulier, un endomorphisme nilpotent de $E$ vérifie $u^n=0$.

Ce que le problème installe. Deux idées qui dépassent ce chapitre. La première : une suite croissante de sous-espaces d'un espace de dimension finie finit par stationner, et pour les noyaux itérés, dès qu'elle stationne une fois elle stationne pour toujours — un argument de dimension pur. La seconde : tout endomorphisme est, à une somme directe près, la juxtaposition d'un nilpotent et d'un automorphisme ; l'exercice 6 en était le cas $p=1$, le problème l'itère. Les nilpotents reviendront au TD 11 sous forme de matrices, et au TD 12 avec leur déterminant nul ; la réduction des endomorphismes, en seconde année, commence par ce genre de découpage.