Densité de $G{L}_n(\mathbb{K})$ et ${\chi }_{AB}={\chi }_{BA}$

La stratégie : deux temps. On démontre l'identité là où elle est facile — sur les matrices inversibles —, puis on la transporte partout : les inversibles sont denses, et les deux membres sont des fonctions continues de $A$. Deux applications continues qui coïncident sur une partie dense sont égales.

a) Les matrices inversibles sont denses. La fonction $t\mapsto \det (A-t{I}_n)=(-1{)}^n{\chi }_A(t)$ est un polynôme de degré exactement $n$, donc non nul : il a au plus $n$ racines. Comme $k\mapsto \frac{1}{k}$ est injective, seul un nombre fini d'entiers $k\ge 1$ font de $\frac{1}{k}$ une racine ; au-delà du plus grand (ou dès $k_0=1$ s'il n'y en a aucun), $A_k=A-\frac{1}{k}{I}_n$ est inversible, et $$\Vert A_k-A\Vert =\frac{1}{k}\Vert I_n\Vert \underset{k\to +\infty }{\to }0.$$ Toute matrice est limite d'une suite de matrices inversibles : par la caractérisation séquentielle de l'adhérence, ${\mathrm{GL}}_n(\mathbb{K})$ est dense dans ${\mathcal{M}}_n(\mathbb{K})$, quelle que soit la norme.

b) L'identité pour $A$ inversible. $BA=A^{-1}(AB)A$ : $AB$ et $BA$ sont semblables, et deux matrices semblables ont le même polynôme caractéristique, par multiplicativité du déterminant : $$\det (X{I}_n-P^{-1}MP)=\det (P^{-1}(X{I}_n-M)P)=\det (X{I}_n-M).$$

c) Le passage à la limite. Posons $f(X)=\det (t{I}_n-XB)$ et $g(X)=\det (t{I}_n-BX)$. Chaque coefficient de $XB$ est une combinaison linéaire des coefficients de $X$, et le déterminant est une fonction polynomiale des coefficients (l'exemple même du cours) : $f$ est polynomiale en les coefficients de $X$, donc continue ; de même $g$.

Soit $A\in {\mathcal{M}}_n(\mathbb{K})$ et $(A_k)$ une suite de matrices inversibles de limite $A$ (a). Par le b), $f(A_k)={\chi }_{A_{k}B}(t)={\chi }_{B{A}_k}(t)=g(A_k)$ ; par continuité, $f(A_k)\to f(A)$ et $g(A_k)\to g(A)$ ; par unicité de la limite, ${\chi }_{AB}(t)={\chi }_{BA}(t)$. Ceci vaut pour tout $t\in \mathbb{K}$ : deux polynômes qui coïncident en une infinité de points sont égaux. $$\boxed{{\chi }_{AB}={\chi }_{BA}\text{pour toutes }A,B\in {\mathcal{M}}_n(\mathbb{K}).}$$ En particulier $AB$ et $BA$ ont même trace, même déterminant, mêmes valeurs propres avec mêmes multiplicités.

Le point délicat. L'argument du b) est faux pour $A$ non inversible. Ce n'est pas la similitude qu'on prolonge, mais l'égalité de deux fonctions continues de $A$ — d'où la nécessité de figer $B$ et $t$ : sans cela, on ne saurait pas de quelles fonctions on parle.

d) Le contre-exemple. $AB=\left(\begin{array}{cc}0& 1\\ 0& 0\end{array}\right)$ et $BA=0$. Les deux ont pour polynôme caractéristique $X^2$, mais la seule matrice semblable à la matrice nulle est la matrice nulle ($P^{-1}0P=0$), et $AB\ne 0$ : $AB$ et $BA$ ne sont pas semblables. L'égalité des polynômes caractéristiques est tout ce que la densité transporte.

Contrôle. Avec $A=\left(\begin{array}{cc}1& 1\\ 1& 1\end{array}\right)$, non inversible, et $B=\left(\begin{array}{cc}0& 1\\ 2& 3\end{array}\right)$ : $$AB=\left(\begin{array}{cc}2& 4\\ 2& 4\end{array}\right),BA=\left(\begin{array}{cc}1& 1\\ 5& 5\end{array}\right),$$ de traces $6$ et de déterminants nuls : les deux polynômes caractéristiques valent $X^2-6X$. Et $\det \left(A-\frac{1}{k}{I}_2\right)=\frac{1-2k}{k^2}$ n'est nul pour aucun entier $k\ge 1$.

Ce que l'exercice installe. Une identité polynomiale entre matrices se démontre sur les inversibles, puis se propage à toutes par densité et continuité — la version matricielle de « une identité entre fonctions continues vraie sur $\mathbb{Q}$ est vraie sur $\mathbb{R}$ ». L'art est de choisir la partie dense là où l'identité est facile ; une démonstration classique du théorème de Cayley–Hamilton procède ainsi, à partir des matrices diagonalisables de ${\mathcal{M}}_n(\mathbb{C})$, dont l'exercice suivant établit la densité en taille $2$.