Même polynôme caractéristique pour $AB$ et $BA$, par densité

La stratégie. Le schéma en trois temps du raisonnement par densité, dont cet exercice est l'exemple canonique : établir l'identité sur une partie dense où un argument algébrique la donne gratuitement ; vérifier que les deux membres sont continus en la variable qu'on fait bouger ; conclure, deux applications continues coïncidant sur une partie dense coïncidant partout. Deux subtilités : on ne fait bouger qu'une des deux matrices, et l'égalité obtenue est d'abord une égalité de valeurs, pas de polynômes.

a) Le cas inversible. Si $A\in {\mathrm{GL}}_n(\mathbb{R})$, alors $A^{-1}(AB)A=BA$ : les matrices $AB$ et $BA$ sont semblables, la matrice de passage étant $A$. Or deux matrices semblables ont même polynôme caractéristique, puisque $$\det \left(XI-P^{-1}MP\right)=\det \left(P^{-1}(XI-M)P\right)=\det (XI-M).$$ Donc ${\chi }_{AB}={\chi }_{BA}$ dès que $A$ est inversible. L'argument tombe complètement sinon : plus de matrice de passage, et aucune raison a priori que l'égalité subsiste.

b) La continuité. Fixons $B$ et un réel $x$, et posons $f(M)=\det (x{I}_n-MB)-\det (x{I}_n-BM)$. Les coefficients de $MB$ sont les ${\sum }_k{m}_{i,k}{b}_{k,j}$, formes linéaires en les coefficients de $M$, et de même pour $BM$ ; le déterminant est un polynôme en les coefficients de sa matrice. Par composition, chacun des deux déterminants est polynomial en les $n^2$ coefficients de $M$ — donc continu, en dimension finie. Donc $f$ est continue.

c) Le passage à la limite. Par le a), $f$ s'annule sur ${\mathrm{GL}}_n(\mathbb{R})$, dense dans ${\mathcal{M}}_n(\mathbb{R})$ (exercice 8). Une application continue nulle sur une partie dense est nulle partout : tout point $A$ est limite d'une suite $(A_k)$ de points où $f$ s'annule, donc $f(A)=\lim f(A_k)=0$ par continuité séquentielle. Concrètement, avec la suite $A_k=A-\frac{1}{k}{I}_n$, $$\det \left(x{I}_n-AB\right)=\underset{k}{\lim }\det \left(x{I}_n-A_{k}B\right)=\underset{k}{\lim }\det \left(x{I}_n-B{A}_k\right)=\det \left(x{I}_n-BA\right).$$

De « pour tout $x$ » à « les polynômes sont égaux ». Le raisonnement a été fait à $x$ fixé, mais il vaut pour chaque $x$ : on a donc ${\chi }_{AB}(x)={\chi }_{BA}(x)$ pour tout réel $x$. Le polynôme ${\chi }_{AB}-{\chi }_{BA}$ admet une infinité de racines : il est nul. D'où, comme égalité de polynômes, ${\chi }_{AB}={\chi }_{BA}$ pour toutes $A,B$.

Les deux points délicats. Il faut faire bouger une seule des deux matrices, $B$ restant figé : c'est ce qui fait de $f$ une fonction d'une variable matricielle et permet d'invoquer la densité. Et l'étape « pour tout $x$, donc égalité de polynômes » n'est pas une formalité : elle utilise qu'un polynôme réel ayant une infinité de racines est nul.

d) Ce qu'on ne peut pas conclure. $AB$ et $BA$ ont même polynôme caractéristique, donc même spectre avec les mêmes multiplicités algébriques, même trace et même déterminant. Elles ne sont pourtant pas semblables en général : $$A=\left(\begin{array}{cc}1& 0\\ 0& 0\end{array}\right),B=\left(\begin{array}{cc}0& 1\\ 0& 0\end{array}\right)\text{donnent}AB=\left(\begin{array}{cc}0& 1\\ 0& 0\end{array}\right),BA=\left(\begin{array}{cc}0& 0\\ 0& 0\end{array}\right).$$ Même polynôme caractéristique $X^2$, conformément au c) ; mais $\mathrm{rg}(AB)=1$ et $\mathrm{rg}(BA)=0$, et le rang est un invariant de similitude. Les multiplicités géométriques diffèrent : $BA$ est diagonalisable, $AB$ ne l'est pas.

Contrôle numérique. Prenons $A=\left(\begin{array}{cc}1& 2\\ 2& 4\end{array}\right)$, non inversible puisque $\det A=0$ — c'est tout l'intérêt de l'exemple —, et $B=\left(\begin{array}{cc}0& 1\\ 1& 1\end{array}\right)$. Alors $AB=\left(\begin{array}{cc}2& 3\\ 4& 6\end{array}\right)$ et $BA=\left(\begin{array}{cc}2& 4\\ 3& 6\end{array}\right)$ : deux matrices différentes, de traces $8$ et de déterminants $12-12=0$ des deux côtés, donc ${\chi }_{AB}=X^2-8X={\chi }_{BA}$. L'approximation fonctionne aussi : le spectre de $A$ étant $\{0,5\}$, la matrice $A-\epsilon I_2$ est inversible pour tout $\epsilon =\frac{1}{k}$ avec $k\ge 1$.

Ce que l'exercice installe. Le raisonnement par densité démontre une identité algébrique en la vérifiant seulement là où elle est facile ; on l'emploie de même pour $\mathrm{com}(AB)=\mathrm{com}(A)\mathrm{com}(B)$ ou pour $\det (\exp A)=e^{\mathrm{tr}A}$. Retenir la forme exacte : une identité, une partie dense où elle est vraie, deux fonctions continues, et l'identité partout.