Problème — Noyaux itérés et décomposition de Fitting

1) Monotonie et stationnarité. Croissance des noyaux. Si $u^k(x)=0$, alors $u^{k+1}(x)=u(u^k(x))=u(0)=0$ : $N_k\subset N_{k+1}$. Décroissance des images. Si $y=u^{k+1}(x)=u^k(u(x))$, alors $y\in I_k$ : $I_{k+1}\subset I_k$.

Stationnarité. Supposons $N_k=N_{k+1}$, et soit $x\in N_{k+2}$ : $u^{k+2}(x)=u^{k+1}(u(x))=0$, donc $u(x)\in N_{k+1}=N_k$, donc $u^k(u(x))=0$, c'est-à-dire $u^{k+1}(x)=0$ : $x\in N_{k+1}$. Ainsi $N_{k+2}\subset N_{k+1}$, et avec la croissance, $N_{k+2}=N_{k+1}$. Par récurrence immédiate, $N_j=N_k$ pour tout $j\ge k$ : dès que la suite des noyaux stationne une fois, elle stationne pour toujours.

Le point délicat. L'argument consiste à faire passer $u(x)$ d'un noyau à l'autre : on « décale » d'un cran, et l'hypothèse $N_{k+1}=N_k$ ramène d'un cran. C'est une propriété de la suite, pas de $u$.

2) Le rang de stationnement. La suite $(\dim N_k)$ est croissante (inclusions) et à valeurs dans $\{0,\dots ,n\}$. Une suite croissante d'entiers bornée par $n$ ne peut pas croître strictement plus de $n$ fois : il existe $k$ avec $\dim N_k=\dim N_{k+1}$, et alors $N_k=N_{k+1}$ (inclusion et même dimension). L'ensemble des tels $k$ est non vide ; soit $p$ son plus petit élément.

Inclusions strictes. Pour $k<p$, on a $N_k\ne N_{k+1}$ par minimalité de $p$, donc $N_k⊊N_{k+1}$ et $\dim N_{k+1}\ge \dim N_k+1$. Comme $N_0=\mathrm{Ker}\mathrm{id}=\{0\}$ est de dimension $0$, on obtient $\dim N_p\ge p$, et donc $p\le \dim N_p\le n$.

Les images. Par le théorème du rang, $\dim I_k=n-\dim N_k$ pour tout $k$. Donc $I_k=I_{k+1}$ (inclusion et même dimension) si et seulement si $\dim N_k=\dim N_{k+1}$, si et seulement si $N_k=N_{k+1}$. Les deux suites stationnent exactement au même rang $p$, et $I_j=I_p$ pour $j\ge p$.

3) La somme directe. Posons $v=u^p$. Alors $\mathrm{Ker}v=N_p$ et $\mathrm{Ker}{v}^2=\mathrm{Ker}{u}^{2p}=N_{2p}=N_p$ car $2p\ge p$. Ainsi $\mathrm{Ker}v=\mathrm{Ker}{v}^2$, et l'exercice 6, question 3, appliqué à $v$, donne $\mathrm{Ker}v\cap \mathrm{Im}v=\{0\}$, c'est-à-dire $N_p\cap I_p=\{0\}$, puis $$E=\mathrm{Ker}v\oplus \mathrm{Im}v=N_p\oplus I_p.$$ Redisons pourquoi : l'intersection est nulle, et $\dim N_p+\dim I_p=n$ par le théorème du rang pour $v$.

4) Stabilité et automorphisme. Stabilité. Si $x\in N_p$ : $u^p(u(x))=u(u^p(x))=u(0)=0$, donc $u(x)\in N_p$ — $u$ commute avec ses puissances. Si $y=u^p(x)\in I_p$ : $u(y)=u^p(u(x))\in I_p$.

Automorphisme sur $I_p$. Notons $u_I:I_p\to I_p$ la restriction, endomorphisme de $I_p$ par stabilité. Son noyau est $\mathrm{Ker}u\cap I_p=N_1\cap I_p\subset N_p\cap I_p=\{0\}$ (car $N_1\subset N_p$). Donc $u_I$ est injective ; endomorphisme injectif d'un espace de dimension finie, elle est bijective : $u$ induit un automorphisme de $I_p$.

5) Nilpotence sur $N_p$. Notons $u_N:N_p\to N_p$ la restriction. Pour $x\in N_p$, $u_N^p(x)=u^p(x)=0$ : $u_N^p=0$, l'endomorphisme induit est nilpotent, d'indice au plus $p$. Si $p\ge 1$, l'indice est exactement $p$ : comme $N_{p-1}⊊N_p$, il existe $x\in N_p$ avec $u^{p-1}(x)\ne 0$, donc $u_N^{p-1}\ne 0$.

La décomposition obtenue. Pour tout endomorphisme $u$ d'un espace $E$ de dimension finie $n$, il existe un entier $p\le n$ tel que $$E=\mathrm{Ker}{u}^p\oplus \mathrm{Im}{u}^p,$$ les deux sous-espaces étant stables par $u$, la restriction de $u$ à $\mathrm{Ker}{u}^p$ étant nilpotente d'indice $p$ et sa restriction à $\mathrm{Im}{u}^p$ un automorphisme.

6) Applications. $u$ nilpotent. Si $u^k=0$, alors $N_k=E$. Comme la suite des noyaux est croissante et stationne à partir de $p$ : si $k\ge p$, $N_p=N_k=E$ ; si $k<p$, $N_k=E$ force $N_k=N_{k+1}=E$, ce qui contredit la minimalité de $p$ — donc $k\ge p$ et dans tous les cas $N_p=E$. Alors $u^p=0$ avec $p\le n$, d'où $u^n=0$ : un endomorphisme nilpotent d'un espace de dimension $n$ a un indice au plus $n$. Et $u$ n'est pas inversible : $I_p=\{0\}$ donne $\mathrm{Im}{u}^p=\{0\}$, donc $u^p=0$ n'est pas inversible, donc $u$ non plus (un produit d'inversibles est inversible) — ou directement, $N_1\ne \{0\}$ puisque $N_0=\{0\}⊊N_1$ dès que $p\ge 1$, et $p\ge 1$ car $N_0=\{0\}\ne E$.

Projecteur. $p^2=p$ donne $\mathrm{Ker}{p}^2=\mathrm{Ker}p$ : le rang de stationnement est $1$ (si $p\ne \mathrm{id}$), et la décomposition est $E=\mathrm{Ker}p\oplus \mathrm{Im}p$, celle du cours ; sur $\mathrm{Ker}p$, l'endomorphisme induit est nul (nilpotent d'indice $1$), sur $\mathrm{Im}p$ c'est l'identité. Pour $p=\mathrm{id}$ : $N_0=N_1=\{0\}$, rang $0$, $E=\{0\}\oplus E$.

Automorphisme. $\mathrm{Ker}u=\{0\}=N_0$ : rang de stationnement $0$, et $E=\{0\}\oplus E$ : la décomposition est triviale, $u$ est partout inversible.

Le théorème obtenu — décomposition de Fitting. Tout endomorphisme $u$ d'un espace de dimension finie $n$ admet un entier $p\le n$ tel que $E=\mathrm{Ker}{u}^p\oplus \mathrm{Im}{u}^p$, avec $u$ nilpotent sur le premier facteur et inversible sur le second ; en particulier, un endomorphisme nilpotent de $E$ vérifie $u^n=0$.

Ce que le problème installe. Deux idées qui dépassent ce chapitre. La première : une suite croissante de sous-espaces d'un espace de dimension finie stationne, et pour les noyaux itérés, dès qu'elle stationne une fois elle stationne pour toujours — un argument de dimension pur. La seconde : tout endomorphisme est, à une somme directe près, la juxtaposition d'un nilpotent et d'un automorphisme. L'exercice 6 était le cas $p=1$ ; le problème l'itère. La réduction des endomorphismes, en seconde année, commencera exactement ici.