$AB$ et $BA$

La stratégie. Pour montrer que deux matrices sont semblables, on exhibe la matrice de passage — ici, elle est sous nos yeux. Pour montrer qu'elles ne le sont pas, on cherche une propriété conservée par similitude qui les distingue. Pour relier $I_n-AB$ à $I_n-BA$ sans hypothèse, on transporte un vecteur du noyau de l'une vers le noyau de l'autre.

1) Le cas inversible. Si $A$ est inversible, prenons $P=A$ : $P^{-1}(AB)P=A^{-1}ABA=BA$. L'hypothèse ne sert qu'à donner un sens à $A^{-1}$ ; le reste est l'associativité. Si c'est $B$ qui est inversible, $P=B^{-1}$ donne $P^{-1}(AB)P=B(AB)B^{-1}=BA$.

2) Sans inversibilité. Avec la règle $E_{a,b}{E}_{c,d}=E_{a,d}$ si $b=c$, et $0$ sinon : $AB=E_{1,1}{E}_{1,2}=E_{1,2}\ne 0$ et $BA=E_{1,2}{E}_{1,1}=0$. Or la seule matrice semblable à la matrice nulle est la matrice nulle, puisque $P^{-1}0P=0$ : $AB$ et $BA$ ne sont pas semblables. Le rang le confirme — deux matrices semblables représentent le même endomorphisme, donc ont même rang, et ici $1\ne 0$.

3) $I_n-AB$ et $I_n-BA$. Supposons $I_n-BA$ non inversible : il existe $X\ne 0$ tel que $BAX=X$. Alors $AX\ne 0$, car $AX=0$ donnerait $X=B(AX)=0$. Et $(AB)(AX)=A(BAX)=AX$ : $AX$ est un vecteur non nul du noyau de $I_n-AB$, qui n'est donc pas inversible. Par contraposée, $I_n-AB$ inversible entraîne $I_n-BA$ inversible ; les rôles de $A$ et $B$ étant symétriques, on a l'équivalence. La formule. Notons $C=(I_n-AB{)}^{-1}$ : $$(I_n-BA)(I_n+BCA)=I_n-BA+BCA-BABCA=I_n-BA+B((I_n-AB)C)A=I_n-BA+BA=I_n.$$ Une matrice carrée inversible à droite est inversible, d'inverse cette matrice : $(I_n-BA{)}^{-1}=I_n+B(I_n-AB{)}^{-1}A$.

Le point délicat. L'argument n'utilise aucune inversibilité de $A$ ou de $B$ : c'est l'application $X\mapsto AX$ qui envoie $\mathrm{Ker}(I_n-BA)$ dans $\mathrm{Ker}(I_n-AB)$ sans y écraser de vecteur non nul. Il vaut même pour $A\in {\mathcal{M}}_{n,p}(\mathbb{K})$ et $B\in {\mathcal{M}}_{p,n}(\mathbb{K})$, avec $I_n-AB$ d'un côté et $I_p-BA$ de l'autre.

4) Les $\lambda$ interdits. Pour $\lambda \ne 0$, posons $A^{\prime }=\frac{1}{\lambda }A$ : $AB-\lambda I_n=-\lambda (I_n-A^{\prime }B)$ et $BA-\lambda I_n=-\lambda (I_n-B{A}^{\prime })$. Comme $-\lambda \ne 0$, le 3) appliqué à $A^{\prime }$ et $B$ conclut : $AB-\lambda I_n$ est inversible si et seulement si $BA-\lambda I_n$ l'est. Pour $\lambda =0$ et des matrices carrées, c'est encore vrai, mais par un autre argument : si $AB$ est inversible, $A$ a un inverse à droite, $B(AB{)}^{-1}$, et $B$ un inverse à gauche, $(AB{)}^{-1}A$ ; toutes deux sont donc inversibles, et $BA$ aussi. Pour des matrices rectangulaires, c'est faux : avec $A=\left(\begin{array}{c}1\\ 0\end{array}\right)$ et $B=\left(\begin{array}{cc}1& 0\end{array}\right)$, $BA=(1)$ est inversible et $AB=\left(\begin{array}{cc}1& 0\\ 0& 0\end{array}\right)$ ne l'est pas.

Ce que l'exercice installe. $AB$ et $BA$ sont semblables dès qu'un facteur est inversible. Sans inversibilité subsiste un lien plus fin : les scalaires $\lambda$ non nuls qui rendent $AB-\lambda I_n$ non inversible sont les mêmes que pour $BA$. Le geste à retenir est le transport de noyau $X\mapsto AX$.