Densité des matrices inversibles et χ_AB = χ_BA

Stratégie : deux temps bien séparés. On fabrique d'abord, à partir d'une matrice quelconque, des matrices inversibles arbitrairement proches d'elle. On démontre ensuite l'identité voulue là où elle est facile — sur les matrices inversibles — et l'on transporte le résultat partout par continuité. C'est le schéma complet du raisonnement par densité : une identité entre applications continues, vraie sur une partie dense, est vraie partout.

Étape 1 — ${\mathrm{GL}}_n(\mathbb{R})$ est dense dans ${\mathcal{M}}_n(\mathbb{R})$.

Soit $A\in {\mathcal{M}}_n(\mathbb{R})$. Considérons la fonction polynomiale $$t⟼\det (A-t{I}_n)=(-1{)}^n{\chi }_A(t).$$ C'est un polynôme de degré exactement $n$ en $t$ (coefficient dominant $(-1{)}^n\ne 0$) : il n'est pas le polynôme nul, donc il possède au plus $n$ racines réelles.

Il existe donc un entier $k_0$ tel que, pour tout $k\ge k_0$, le réel $\frac{1}{k}$ ne soit pas racine. Posons alors, pour $k\ge k_0$, $$A_k=A-\frac{1}{k}{I}_n.$$ Par construction $\det A_k\ne 0$, donc $A_k\in {\mathrm{GL}}_n(\mathbb{R})$ ; et $$\Vert A_k-A\Vert =\frac{1}{k}\Vert I_n\Vert \underset{k\to +\infty }{\to }0.$$ Tout élément de ${\mathcal{M}}_n(\mathbb{R})$ est ainsi limite d'une suite d'éléments de ${\mathrm{GL}}_n(\mathbb{R})$ : c'est exactement la caractérisation séquentielle de la densité, et ${\mathrm{GL}}_n(\mathbb{R})$ est dense dans ${\mathcal{M}}_n(\mathbb{R})$.

(La norme est indifférente : ${\mathcal{M}}_n(\mathbb{R})$ est de dimension finie $n^2$, toutes ses normes sont équivalentes et les notions topologiques ne dépendent donc pas du choix fait.)

Étape 2 — l'identité pour $A$ inversible.

Si $A\in {\mathrm{GL}}_n(\mathbb{R})$, alors $$BA=A^{-1}(AB)A,$$ donc $AB$ et $BA$ sont semblables. Deux matrices semblables ont même polynôme caractéristique : $${\chi }_{P^{-1}MP}(X)=\det \left(X{I}_n-P^{-1}MP\right)=\det \left(P^{-1}(X{I}_n-M)P\right)=\det (X{I}_n-M)={\chi }_M(X),$$ la multiplicativité du déterminant faisant disparaître $\det (P^{-1})\det (P)=1$. Donc ${\chi }_{AB}={\chi }_{BA}$ dès que $A$ est inversible.

Étape 3 — passage à la limite.

Fixons $B\in {\mathcal{M}}_n(\mathbb{R})$ et considérons les deux applications $$\Phi :X⟼{\chi }_{XB},\Psi :X⟼{\chi }_{BX},$$ à valeurs dans ${\mathbb{R}}_n[X]$, espace de dimension finie $n+1$.

Chaque coefficient de ${\chi }_{XB}$ est un polynôme en les coefficients de $XB$ (développement du déterminant), et chaque coefficient de $XB$ est un polynôme — même linéaire — en les coefficients de $X$. Par composition, chaque coefficient de $\Phi (X)$ est polynomial en les coefficients de $X$ : $\Phi$ est continue (continuité des applications polynomiales en dimension finie). De même pour $\Psi$.

Or $\Phi$ et $\Psi$ coïncident sur ${\mathrm{GL}}_n(\mathbb{R})$ (étape 2), qui est dense dans ${\mathcal{M}}_n(\mathbb{R})$ (étape 1). Deux applications continues qui coïncident sur une partie dense sont égales. Donc $\Phi =\Psi$ sur ${\mathcal{M}}_n(\mathbb{R})$ tout entier : $$\boxed{{\chi }_{AB}={\chi }_{BA}\text{pour toutes }A,B\in {\mathcal{M}}_n(\mathbb{R}).}$$

Le point délicat. L'étape 2 est fausse comme argument pour $A$ non inversible : $AB$ et $BA$ ne sont alors plus semblables en général. Ce n'est donc pas l'égalité des matrices que l'on prolonge, mais l'égalité de deux fonctions continues de $A$. C'est pour cela qu'il faut figer $B$ : à $B$ variable, on ne saurait plus de quelle application on parle.

Contrôle. Prenons $A=\left(\begin{array}{cc}1& 1\\ 1& 1\end{array}\right)$, de déterminant nul (l'étape 2 ne s'y applique pas), et $B=\left(\begin{array}{cc}0& 1\\ 2& 3\end{array}\right)$. Alors $$AB=\left(\begin{array}{cc}2& 4\\ 2& 4\end{array}\right),BA=\left(\begin{array}{cc}1& 1\\ 5& 5\end{array}\right).$$ Ces deux matrices ne sont visiblement pas égales, mais $\mathrm{tr}(AB)=6=\mathrm{tr}(BA)$ et $\det (AB)=8-8=0=25-25=\det (BA)$ : les deux polynômes caractéristiques valent $X^2-6X$. ✓ Et l'on voit la suite approchante à l'œuvre : $A-\frac{1}{k}{I}_2$ a pour déterminant ${\left(1-\frac{1}{k}\right)}^2-1=\frac{1}{k^2}-\frac{2}{k}\ne 0$ pour $k\ge 1$, donc toutes ces matrices sont bien inversibles.

Acquis. Une identité polynomiale entre matrices se démontre sur les inversibles — où l'on dispose de $A^{-1}$ — puis se propage à toutes les matrices. C'est le même mouvement que « une identité vraie sur $\mathbb{Q}$ est vraie sur $\mathbb{R}$ » de l'exercice résolu 5, transposé de $\mathbb{R}$ à ${\mathcal{M}}_n(\mathbb{R})$.