uv et vu ont le même spectre

Stratégie. L'énoncé est symétrique, mais sa démonstration ne l'est pas : elle se scinde en deux cas de nature différente. Pour $\lambda \ne 0$, on transporte un vecteur propre de $uv$ en un vecteur propre de $vu$ par $v$ elle-même — argument valable sans aucune hypothèse de dimension. Pour $\lambda =0$, ce transport échoue et il faut passer par les déterminants, donc par la dimension finie. Cette dissymétrie est le vrai contenu de l'exercice.

Le cadre. $E$ est de dimension finie $n$ et $u,v\in \mathcal{L}(E)$.

Étape 1 — le cas $\lambda \ne 0$. Soit $\lambda \in \mathrm{Sp}(uv)$ avec $\lambda \ne 0$, et $x\ne 0$ tel que $uv(x)=\lambda x$. Posons $y=v(x)$.

• $y\ne 0$. Sinon $v(x)=0$, donc $\lambda x=u\left(v(x)\right)=u(0)=0$, donc $x=0$ puisque $\lambda \ne 0$ : contradiction.
• $y$ est vecteur propre de $vu$ pour $\lambda$ :

$$vu(y)=v\left(u\right(v(x)\left)\right)=v(uv(x))=v(\lambda x)=\lambda v(x)=\lambda y.$$

Donc $\lambda \in \mathrm{Sp}(vu)$. En échangeant les rôles de $u$ et $v$, on obtient l'inclusion inverse, d'où

$$\mathrm{Sp}(uv)\setminus \{0\}=\mathrm{Sp}(vu)\setminus \{0\}.$$

Aucune hypothèse de dimension n'a servi ici.

Étape 2 — le cas $\lambda =0$. En dimension finie, un endomorphisme non injectif est non inversible, et réciproquement :

$$0\in \mathrm{Sp}(uv)⟺uv\text{ non injectif}⟺\det (uv)=0⟺\det (u)\det (v)=0.$$

La condition $\det (u)\det (v)=0$ est symétrique en $u$ et $v$ ; elle équivaut de la même façon à $\det (vu)=0$, c'est-à-dire à $0\in \mathrm{Sp}(vu)$. Les deux cas se recollent :

$$\mathrm{Sp}(uv)=\mathrm{Sp}(vu).$$

La dimension finie est indispensable, et seulement pour $\lambda =0$. Sur $E=\mathbb{K}[X]$, posons

$$u(P)=XP,v(P)=\frac{P-P(0)}{X}.$$

Alors $vu(P)=\frac{XP-0}{X}=P$, donc $vu=\mathrm{id}$ et $\mathrm{Sp}(vu)=\{1\}$ ; tandis que $uv(P)=P-P(0)$ annule les constantes, donc $0\in \mathrm{Sp}(uv)$. Les spectres diffèrent — mais on vérifie que $1\in \mathrm{Sp}(uv)$ également (prendre $P=X$), conformément à l'étape 1, qui reste vraie.

Ce que l'énoncé ne dit pas : $uv$ et $vu$ ne sont pas semblables. Prenons

$$u=\left(\begin{array}{cc}1& 0\\ 0& 0\end{array}\right),v=\left(\begin{array}{cc}0& 1\\ 0& 0\end{array}\right)\text{d’ouˋ}uv=\left(\begin{array}{cc}0& 1\\ 0& 0\end{array}\right),vu=\left(\begin{array}{cc}0& 0\\ 0& 0\end{array}\right).$$

Même spectre $\{0\}$, même polynôme caractéristique $X^2$ — mais $\mathrm{rg}(uv)=1$ et $\mathrm{rg}(vu)=0$, et les polynômes minimaux diffèrent ($X^2$ contre $X$) : $vu$ est diagonalisable (elle est nulle !) alors que $uv$ ne l'est pas. L'égalité des spectres ne dit rien des multiplicités géométriques ni de la réduction.

Complément (chapitre 4). On démontrera par densité de ${\mathrm{GL}}_n$ que ${\chi }_{uv}={\chi }_{vu}$ : les multiplicités algébriques coïncident donc, elles aussi. C'est bien ce que montre l'exemple ci-dessus ($\chi =X^2$ des deux côtés), et c'est exactement ce qui reste vrai — les multiplicités géométriques, elles, tombent.

Contrôle numérique. Prenons

$$A=\left(\begin{array}{cc}1& 2\\ 2& 4\end{array}\right)(\text{non inversible}:\det A=0),B=\left(\begin{array}{cc}0& 1\\ 1& 1\end{array}\right).$$

Alors

$$AB=\left(\begin{array}{cc}2& 3\\ 4& 6\end{array}\right),BA=\left(\begin{array}{cc}2& 4\\ 3& 6\end{array}\right).$$

Les deux matrices sont différentes, mais $\mathrm{tr}=8$ et $\det =12-12=0$ des deux côtés : même polynôme caractéristique $X^2-8X$, donc même spectre $\{0,8\}$. Le cas $\lambda =0$ est ici effectivement réalisé, et l'étape 2 est ce qui le couvre.

Ce qui est acquis. « Même spectre » est une information plus faible qu'il n'y paraît. Deux endomorphismes peuvent partager spectre, trace, déterminant et polynôme caractéristique sans être semblables : ce sont les dimensions des sous-espaces propres — donc le polynôme minimal — qui décident de la réduction.