$AB$ et $BA$

La stratégie. Montrer que deux matrices sont semblables, c'est exhiber la matrice de passage — et ici elle est sous nos yeux, c'est $A$. Montrer qu'elles ne le sont pas, c'est trouver un invariant qui diffère. Et pour $I-AB$, un transport de noyau : un vecteur du noyau de l'un fabrique un vecteur du noyau de l'autre.

1) La trace commute. $\mathrm{tr}(AB)={\sum }_i(AB{)}_{i,i}={\sum }_i{\sum }_k{a}_{i,k}{b}_{k,i}={\sum }_k{\sum }_i{b}_{k,i}{a}_{i,k}={\sum }_k(BA{)}_{k,k}=\mathrm{tr}(BA)$ : un échange de deux sommes finies. Aucune hypothèse.

2) Le cas inversible. Si $A\in {\mathrm{GL}}_n(\mathbb{K})$, prenons $P=A$ : $$P^{-1}(AB)P=A^{-1}(AB)A=(A^{-1}A)(BA)=BA.$$ Donc $AB$ et $BA$ sont semblables. L'hypothèse ne sert qu'à donner un sens à $A^{-1}$ ; le reste est l'associativité. Si $B$ est inversible, prenons $P=B^{-1}$ : $P^{-1}(AB)P=B(AB)B^{-1}=(BA)(B{B}^{-1})=BA$.

3) Le contre-exemple. $A=E_{1,2}$ et $B=E_{2,2}$ dans ${\mathcal{M}}_2(\mathbb{K})$, deux matrices de rang $1$ : $$AB=E_{1,2}{E}_{2,2}=E_{1,2}\ne 0,BA=E_{2,2}{E}_{1,2}=0,$$ d'après la règle $E_{a,b}{E}_{c,d}={\delta }_{b,c}{E}_{a,d}$. Or la seule matrice semblable à $0$ est $0$ : $P^{-1}0P=0$. Donc $AB$ et $BA$ ne sont pas semblables ; le rang le confirme ($1$ contre $0$), alors que la trace, elle, coïncide ($0=0$). La trace ne suffit jamais à prouver une similitude.

4) $I_n-AB$ et $I_n-BA$. Montrons : si $I_n-BA$ n'est pas inversible, alors $I_n-AB$ ne l'est pas. Supposons $I_n-BA$ non inversible : son noyau n'est pas réduit à $0$, il existe $X\ne 0$ avec $BAX=X$. Alors $AX\ne 0$, car $AX=0$ donnerait $X=BAX=B\cdot 0=0$. Et $$(AB)(AX)=A(BAX)=AX,$$ donc $AX$ est un vecteur non nul du noyau de $I_n-AB$ : cette matrice n'est pas inversible. Par contraposée, $I_n-AB$ inversible entraîne $I_n-BA$ inversible ; et la situation est symétrique en $(A,B)$. D'où l'équivalence.

Le point délicat. Le vecteur du noyau se transporte par $A$ : $X\mapsto AX$ envoie $\mathrm{Ker}(I-BA)$ dans $\mathrm{Ker}(I-AB)$, et il est injectif sur ce noyau. C'est un argument de noyau, pas de déterminant — le déterminant n'existe pas encore, et l'argument vaut même pour des matrices rectangulaires ($A\in {\mathcal{M}}_{n,p}$, $B\in {\mathcal{M}}_{p,n}$).

La formule. Notons $C=(I_n-AB{)}^{-1}$, et calculons $$(I_n-BA)(I_n+BCA)=I_n-BA+BCA-BABCA=I_n-BA+B(C-ABC)A=I_n-BA+B((I_n-AB)C)A=I_n-BA+BA=I_n.$$ Une matrice carrée inversible à droite est inversible, d'inverse cette matrice : $(I_n-BA{)}^{-1}=I_n+B(I_n-AB{)}^{-1}A$.

Ce que l'exercice installe. $AB$ et $BA$ ont toujours la même trace, et sont semblables dès qu'un facteur est inversible ; la frontière passe exactement par l'inversibilité. Le transport de noyau $X\mapsto AX$ est un geste à retenir : il relie $I-AB$ à $I-BA$ sans aucune formule, et il annonce que $AB$ et $BA$ ont toujours les mêmes valeurs propres non nulles — en seconde année.