Les triangulaires : nilpotence par décalage, $I_n-N$, et le groupe des triangulaires inversibles

Ce qu'on a le droit d'utiliser. La définition du produit, la factorisation $I_n-N^k=(I_n-N)(I_n+N+\cdots +N^{k-1})$ valable car $I_n$ et $N$ commutent (chapitre 8, nilpotents), le produit de deux triangulaires supérieures (triangulaire supérieure, de diagonale le produit des diagonales), la caractérisation des sous-groupes. La stratégie : une triangulaire stricte décale sa bande non nulle d'un cran vers le coin supérieur droit à chaque produit, jusqu'à sortir du tableau.

a) Le décalage. Par récurrence sur $k\ge 1$. Pour $k=1$, c'est l'hypothèse : $n_{i,j}=0$ si $j<i+1$. Supposons $(N^k{)}_{i,l}=0$ dès que $l<i+k$, et regardons $(N^{k+1}{)}_{i,j}={\sum }_{l=1}^n(N^k{)}_{i,l}{n}_{l,j}$. Un terme de cette somme est non nul seulement si $(N^k{)}_{i,l}\ne 0$, ce qui impose $l\ge i+k$, et $n_{l,j}\ne 0$, ce qui impose $j\ge l+1$. Donc $j\ge i+k+1$. Autrement dit, si $j<i+k+1$, tous les termes sont nuls et $(N^{k+1}{)}_{i,j}=0$. La propriété passe au rang $k+1$. Pour $k=n$ : $(N^n{)}_{i,j}=0$ dès que $j<i+n$ ; or $j\le n<i+n$ pour tout $i\ge 1$. Donc tous les coefficients sont nuls : $N^n=0$. Chaque produit pousse la bande non nulle d'un cran vers le coin, et après $n$ produits elle est sortie.

b) L'inverse de $I_n-N$. Comme $I_n$ et $N$ commutent, $(I_n-N)(I_n+N+N^2+\cdots +N^{n-1})=I_n-N^n=I_n$, et de même dans l'autre ordre. Donc $I_n-N$ est inversible, d'inverse $I_n+N+\cdots +N^{n-1}$ — la série géométrique tronquée du chapitre 8. Sur l'exemple : $T=I_3-N$ avec $N=\left(\begin{array}{ccc}0& -2& -3\\ 0& 0& -2\\ 0& 0& 0\end{array}\right)$, et $N^2=\left(\begin{array}{ccc}0& 0& 4\\ 0& 0& 0\\ 0& 0& 0\end{array}\right)$ (le seul coefficient non nul est $(1,3)$ : $(-2)(-2)=4$), $N^3=0$. Donc $$T^{-1}=I_3+N+N^2=\left(\begin{array}{ccc}1& -2& -3+4\\ 0& 1& -2\\ 0& 0& 1\end{array}\right)=\left(\begin{array}{ccc}1& -2& 1\\ 0& 1& -2\\ 0& 0& 1\end{array}\right).$$ Contrôle de la première ligne de $T{T}^{-1}$ : $(1,2,3)$ contre les colonnes de $T^{-1}$ donne $(1,-2+2,1-4+3)=(1,0,0)$.

c) Toute triangulaire à diagonale non nulle. $D=\mathrm{diag}(t_{1,1},\dots ,t_{n,n})$ est inversible, d'inverse $\mathrm{diag}(1/t_{1,1},\dots ,1/t_{n,n})$, et $N=T-D$ est triangulaire supérieure stricte. Alors $T=D+N=D(I_n+D^{-1}N)$. La matrice $D^{-1}N$ est encore triangulaire supérieure stricte : multiplier à gauche par $D^{-1}$ multiplie la ligne $i$ par $1/t_{i,i}$, ce qui ne crée aucun coefficient non nul. Posons $N^{\prime }=-D^{-1}N$, triangulaire stricte, donc nilpotente par le a) : par le b), $I_n-N^{\prime }=I_n+D^{-1}N$ est inversible, d'inverse $I_n+N^{\prime }+\cdots +N^{\prime n-1}$, qui est triangulaire supérieure comme somme de produits de triangulaires supérieures. Donc $T$ est un produit de deux inversibles, $T$ est inversible, et $T^{-1}=(I_n+D^{-1}N{)}^{-1}{D}^{-1}$ est un produit de triangulaires supérieures, donc triangulaire supérieure, de diagonale $(1/t_{1,1},\dots ,1/t_{n,n})$. C'est le théorème du cours, redémontré.

Si un coefficient diagonal est nul. Soit $i$ le plus petit indice tel que $t_{i,i}=0$. Construisons $X\ne 0$ avec $TX=0$ : posons $x_j=0$ pour $j>i$ et $x_i=1$, puis, pour $k=i-1,i-2,\dots ,1$ successivement, choisissons $x_k$ tel que la ligne $k$ soit satisfaite : $t_{k,k}{x}_k=-{\sum }_{j>k}{t}_{k,j}{x}_j$, ce qui est possible car $t_{k,k}\ne 0$ pour $k<i$. Les lignes $k>i$ ne font intervenir que les $x_j$ avec $j\ge k>i$, tous nuls ; la ligne $i$ vaut $t_{i,i}{x}_i+{\sum }_{j>i}{t}_{i,j}{x}_j=0+0$. Donc $TX=0$ avec $X\ne 0$. Si $T$ était inversible, on aurait $X=T^{-1}(TX)=0$. Une triangulaire à coefficient diagonal nul n'est pas inversible.

d) Un sous-groupe de ${\mathrm{GL}}_n(\mathbb{K})$. Notons $\mathcal{T}$ l'ensemble des triangulaires supérieures inversibles. Il contient $I_n$. Soient $A,B\in \mathcal{T}$ : $B^{-1}$ est triangulaire supérieure par le c), et $A{B}^{-1}$ est un produit de triangulaires supérieures, donc triangulaire supérieure, et inversible comme produit d'inversibles. Par la caractérisation des sous-groupes, $\mathcal{T}$ est un sous-groupe de ${\mathrm{GL}}_n(\mathbb{K})$.

Le point délicat. L'inverse d'une triangulaire supérieure est triangulaire supérieure : ce n'est pas évident a priori, et c'est la série géométrique tronquée qui le montre, parce qu'elle n'utilise que des sommes et des produits de triangulaires. Sans le c), le d) resterait bloqué à « $B^{-1}$ existe, mais de quelle forme ? ».

Ce que l'exercice installe. La nilpotence des triangulaires strictes est la source de tous les nilpotents du cours, et « $I_n-N$ s'inverse par la série géométrique » est l'outil qui fait passer d'une diagonale non nulle à l'inversibilité. Cette écriture $T=D(I_n+D^{-1}N)$, « diagonale fois unipotente », reviendra en deuxième année dans la trigonalisation, et le groupe $\mathcal{T}$ est le premier sous-groupe non trivial de ${\mathrm{GL}}_n(\mathbb{K})$ qu'on rencontre.