Spectre réel d'une isométrie et taille de ses coefficients

Stratégie : deux résultats indépendants, chacun à une ligne de la définition. Le premier lit la conservation de la norme sur un vecteur propre ; le second lit le fait que les colonnes d'une matrice orthogonale sont unitaires. Aucun des deux ne demande le polynôme caractéristique.

Partie 1 — les valeurs propres réelles d'une isométrie valent $\pm 1$.

Soit $u\in \mathcal{O}(E)$ et soit $\lambda \in \mathbb{R}$ une valeur propre de $u$ : il existe $x\in E$, $x\ne 0$, tel que $u(x)=\lambda x$. La conservation de la norme donne $$\Vert x\Vert =\Vert u(x)\Vert =\Vert \lambda x\Vert =|\lambda |\Vert x\Vert .$$ Comme $x\ne 0$, on a $\Vert x\Vert >0$ et l'on peut diviser : $$|\lambda |=1,\text{donc}\lambda \in \{-1,+1\}.$$

Le point délicat : il s'agit d'une inclusion, pas d'une égalité. L'énoncé démontré est $${\mathrm{Sp}}_{\mathbb{R}}(u)\subset \{-1,+1\},$$ et rien ne dit que ces deux valeurs sont atteintes — ni même l'une des deux. Le spectre réel peut être vide : la rotation plane $R\left(\frac{\pi }{3}\right)$ n'a aucune valeur propre réelle (voir l'exercice sur les valeurs propres des isométries du plan). Il peut valoir $\{1\}$ ($\mathrm{id}$), $\{-1\}$ ($-\mathrm{id}$), ou $\{1,-1\}$ (une réflexion). Confondre l'inclusion avec une égalité est l'erreur classique de cet exercice.

Complément — les deux sous-espaces propres sont orthogonaux. Si $u(x)=x$ et $u(y)=-y$, la conservation du produit scalaire donne $$⟨x,y⟩=⟨u(x),u(y)⟩=⟨x,-y⟩=-⟨x,y⟩,$$ donc $2⟨x,y⟩=0$, soit $⟨x,y⟩=0$. Ainsi $\ker (u-\mathrm{id})\perp \ker (u+\mathrm{id})$ : les vecteurs fixés et les vecteurs retournés sont automatiquement orthogonaux. C'est ce qui fait qu'une isométrie diagonalisable est toujours une symétrie orthogonale.

Partie 2 — tous les coefficients d'une matrice orthogonale sont dans $[-1,1]$.

Soit $A=(a_{i,j})\in {\mathrm{O}}_n(\mathbb{R})$, de colonnes $C_1,\dots ,C_n$. La relation ${}^{t}AA=I_n$ se lit exactement $⟨C_j,C_k⟩={\delta }_{j,k}$ : les colonnes forment une base orthonormale de ${\mathbb{R}}^n$. En particulier, pour tout indice $j$, la colonne $C_j$ est unitaire : $$\sum _{i=1}^n{a}_{i,j}^2=\Vert C_j{\Vert }^2=1.$$ Tous les termes de cette somme sont positifs ou nuls, donc chacun est majoré par la somme : $$a_{i,j}^2\le \sum _{k=1}^n{a}_{k,j}^2=1,\text{d’ouˋ}|a_{i,j}|\le 1\text{pour tous }i,j.$$

Le cas d'égalité, qui est instructif. Supposons $|a_{i_0,j_0}|=1$. Alors $a_{i_0,j_0}^2=1$ épuise toute la somme, donc $a_{i,j_0}=0$ pour tout $i\ne i_0$ : la colonne $j_0$ vaut $\pm e_{i_0}$. Mais l'étape 0 du groupe orthogonal donne aussi $A{}^{t}A=I_n$, donc les lignes sont pareillement unitaires ; le même raisonnement sur la ligne $i_0$ montre que $a_{i_0,j}=0$ pour tout $j\ne j_0$. Un coefficient de module $1$ isole donc entièrement sa ligne et sa colonne. La matrice $R\left(\frac{\pi }{2}\right)=\left(\begin{array}{cc}0& -1\\ 1& 0\end{array}\right)$ réalise l'égalité en chacun de ses coefficients non nuls.

Conséquence — ${\mathrm{O}}_n(\mathbb{R})$ est borné. Non seulement chaque coefficient est dans $[-1,1]$, mais la somme des carrés de tous les coefficients est fixée : $$\sum _{i,j}{a}_{i,j}^2=\sum _{j=1}^n\Vert C_j{\Vert }^2=\mathrm{tr}\left({}^{t}AA\right)=\mathrm{tr}(I_n)=n.$$ Toutes les matrices orthogonales de taille $n$ vivent donc sur une même « sphère » de ${\mathcal{M}}_n(\mathbb{R})$ : aucune d'elles ne peut avoir de coefficient qui s'emballe, ce qui est cohérent avec le fait qu'une isométrie ne dilate rien.

Contrôle chiffré. Reprenons $A=\frac{1}{3}\left(\begin{array}{ccc}2& -2& 1\\ 1& 2& 2\\ 2& 1& -2\end{array}\right)$, orthogonale : ses colonnes sont unitaires et deux à deux orthogonales.

• Coefficients : le plus grand en module est $\frac{2}{3}\approx 0,667\le 1$ $✓$.
• Somme des carrés : $\frac{1}{9}(4+4+1+1+4+4+4+1+4)=\frac{27}{9}=3=n$ $✓$.
• Spectre réel : $\det A=-1$ et ${\chi }_A$ est de degré $3$, donc de degré impair : il a au moins une racine réelle, nécessairement $-1$ ou $+1$ d'après la partie 1. Rien de plus n'est garanti par cet exercice — la valeur exacte se lit sur $\ker (A\mp I_3)$.
• Contre-exemple utile : $R\left(\frac{\pi }{3}\right)$ a pour polynôme caractéristique $X^2-X+1$, de discriminant $1-4=-3<0$ : spectre réel vide, et l'inclusion $\varnothing \subset \{-1,1\}$ reste vraie.

Ce qui est acquis. Deux réflexes. Le premier : dès qu'une isométrie a un vecteur propre réel, ce vecteur est fixé ou retourné, il n'y a pas de troisième cas — et les deux sous-espaces correspondants sont orthogonaux. Le second : les coefficients d'une matrice orthogonale sont automatiquement encadrés, ce qui permet d'éliminer à vue toute matrice contenant un coefficient de module $>1$ (comme $\left(\begin{array}{cc}1& 5\\ 0& 1\end{array}\right)$, éliminée sans le moindre calcul).