Toute isométrie se réduit

La stratégie, et les outils. Le cours énonce le théorème de réduction sans dérouler sa démonstration ; on la fait ici. Deux ingrédients : l'existence d'un sous-espace stable de dimension $1$ ou $2$, qui vient des irréductibles de $\mathbb{R}[X]$ (chapitre 1) et du polynôme minimal (chapitre 2) ; et la stabilité de l'orthogonal (exercice 2), qui permet de recommencer en dimension plus petite.

a) Une droite ou un plan stable. Comme $E\ne \{0\}$, le polynôme minimal ${\mu }_v$ est de degré $\ge 1$ ; soit $P$ un facteur irréductible unitaire de ${\mu }_v$ dans $\mathbb{R}[X]$, et écrivons ${\mu }_v=PR$ avec $\mathrm{deg}R=\mathrm{deg}{\mu }_v-\mathrm{deg}P<\mathrm{deg}{\mu }_v$.

Par minimalité de ${\mu }_v$, le polynôme $R$, non nul et de degré strictement plus petit, n'annule pas $v$ : il existe $z\in E$ avec $y:=R(v)(z)\ne 0$. Alors $$P(v)(y)=P(v)R(v)(z)={\mu }_v(v)(z)=0.$$ Le vecteur $y$ convient.

Or les irréductibles de $\mathbb{R}[X]$ sont de degré $1$ ou $2$ (chapitre 1). Deux cas :

• $\mathrm{deg}P=1$, soit $P=X-\lambda$. Alors $v(y)=\lambda y$ avec $y\ne 0$ : la droite $\mathbb{R}y$ est stable.
• $\mathrm{deg}P=2$, soit $P=X^2+bX+c$ sans racine réelle. Alors $v^2(y)=-bv(y)-cy$, donc $\Pi =\mathrm{Vect}\left(y,v(y)\right)$ est stable par $v$. Il est de dimension $2$ : si l'on avait $v(y)=\lambda y$, alors $0=P(v)(y)=\left({\lambda }^2+b\lambda +c\right)y$ donnerait ${\lambda }^2+b\lambda +c=0$, impossible puisque $P$ n'a pas de racine réelle.

Tout endomorphisme d'un espace réel admet donc une droite stable ou un plan stable.

b) Une droite stable d'une isométrie. Si $D=\mathbb{R}e$ est stable ($e\ne 0$), alors $u(e)\in D$, donc $u(e)=\lambda e$ pour un réel $\lambda$. Comme $u$ conserve les normes, $$\Vert e\Vert =\Vert u(e)\Vert =|\lambda |\Vert e\Vert ,$$ et $\Vert e\Vert \ne 0$ donne $|\lambda |=1$, c'est-à-dire $\lambda =\pm 1$ : $u(e)=e$ ou $u(e)=-e$.

c) Un plan stable d'une isométrie. Soit $\Pi$ un plan stable. L'induit $u_{|\Pi }$ envoie $\Pi$ dans $\Pi$ et conserve les normes, donc est injectif, donc bijectif de $\Pi$ sur $\Pi$ : c'est une isométrie du plan euclidien $\Pi$ (muni de la restriction du produit scalaire). D'après la classification en dimension $2$, sa matrice dans une base orthonormée de $\Pi$ est $R(\theta )$ ou $S(\theta )$.

Si c'est $S(\theta )$, c'est une réflexion de $\Pi$ (exercice 5 c) : son axe est une droite fixe, et la droite orthogonale dans $\Pi$ est retournée. $\Pi$ contient alors deux droites stables, et l'on se ramène au cas b). De même si $R(\theta )$ avec $\theta \in \pi \mathbb{Z}$, auquel cas $u_{|\Pi }=\pm {\mathrm{id}}_{\Pi }$ et toute droite de $\Pi$ est stable. Le seul cas véritablement « plan » est donc $R(\theta )$ avec $\theta \notin \pi \mathbb{Z}$.

d) La réduction, par récurrence sur $n$. Montrons l'énoncé $\mathcal{P}(n)$ : « toute isométrie d'un espace euclidien de dimension $n$ admet, dans une base orthonormée, une matrice de la forme annoncée ».

Initialisation. En dimension $1$, $u(e)=\pm e$ par le b) : la matrice est $(1)$ ou $(-1)$.

Hérédité. Soit $n\ge 2$, l'énoncé supposé vrai en toute dimension $<n$, et $u\in \mathrm{O}(E)$ avec $\dim E=n$. D'après le a), $u$ admet une droite ou un plan stable ; d'après le c), on est dans l'un des deux cas suivants.

• Une droite stable $D=\mathbb{R}e$, $e$ unitaire. Alors $u(e)=\epsilon e$, $\epsilon =\pm 1$. D'après l'exercice 2 c), $D^{\perp }$ est stable et l'induit y est une isométrie ; $D^{\perp }$ étant de dimension $n-1<n$, l'hypothèse de récurrence y fournit une base orthonormée adaptée, à laquelle on adjoint $e$ : on obtient un bloc $(\epsilon )$ de plus.
• Un plan stable $\Pi$ sans droite stable dans $\Pi$. D'après le c), l'induit y est une rotation $R(\theta )$ avec $\theta \notin \pi \mathbb{Z}$, dans une base orthonormée de $\Pi$. D'après l'exercice 2 c), ${\Pi }^{\perp }$, de dimension $n-2<n$, est stable et l'induit y est une isométrie : l'hypothèse de récurrence s'applique.

Dans les deux cas on obtient une base orthonormée de $E$ où la matrice est diagonale par blocs, les blocs étant des $(\pm 1)$ et des $R\left({\theta }_j\right)$ avec ${\theta }_j\notin \pi \mathbb{Z}$. Il ne reste qu'à réordonner la base — permuter des vecteurs d'une base orthonormée la laisse orthonormée, et permute les blocs diagonaux — pour placer d'abord les $+1$, puis les $-1$, puis les blocs de rotation : $$\mathrm{Mat}(u)=\mathrm{diag}\left(I_p,-I_q,R\left({\theta }_1\right),\dots ,R\left({\theta }_r\right)\right),p+q+2r=n.$$

e) La dimension $3$, et le mot « rotation ». Supposons $n=3$ et $\det u=1$. Le déterminant se lit sur la forme réduite : $$\det u=1^p\times (-1{)}^q\times \prod _{j=1}^r\det R\left({\theta }_j\right)=(-1{)}^q,$$ puisque $\det R(\theta )={\cos }^2\theta +{\sin }^2\theta =1$. Donc $q$ est pair, et $p+q+2r=3$ ne laisse que trois possibilités : $(p,q,r)=(3,0,0)$, soit $u=\mathrm{id}$ ; $(p,q,r)=(1,0,1)$, soit $\mathrm{diag}\left(1,R(\theta )\right)$ ; et $(p,q,r)=(1,2,0)$, soit $\mathrm{diag}(1,-1,-1)=\mathrm{diag}\left(1,R(\pi )\right)$ — c'est le cas $\theta =\pi$ du précédent.

Dans tous les cas, il existe une base orthonormée $\left(e_1,e_2,e_3\right)$ où $$\mathrm{Mat}(u)=\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos \theta & -\sin \theta \\ 0& \sin \theta & \cos \theta \end{array}\right):$$ $u$ est la rotation d'axe $\mathbb{R}{e}_1=\mathrm{Ker}(u-\mathrm{id})$ et d'angle $\theta$ — et c'est cette forme réduite qui justifie le mot « rotation », que rien dans la définition d'une isométrie directe ne laissait prévoir. La trace se lit immédiatement : $$\mathrm{tr}(u)=1+2\cos \theta ,$$ ce qui donne $\theta$ au signe près — le signe dépendant de l'orientation choisie sur l'axe.

⚠️ Ce qu'on ne fait pas. Le programme précise que la pratique du calcul des éléments géométriques d'un élément de ${\mathrm{SO}}_3(\mathbb{R})$ n'est pas un attendu. On établit donc la forme réduite et la formule de la trace, et l'on s'arrête là : aucun axe ni aucun angle n'est à calculer sur une matrice numérique.

Ce que l'exercice installe. Un endomorphisme d'un espace réel admet toujours une droite ou un plan stable — traduction géométrique du fait que les irréductibles de $\mathbb{R}[X]$ sont de degré $1$ ou $2$, et ce qui remplace sur $\mathbb{R}$ la trigonalisabilité automatique de $\mathbb{C}$. Couplé à la stabilité de l'orthogonal, il donne la réduction de toutes les isométries par une récurrence de trois lignes — et le même couple d'arguments, avec « autoadjoint » à la place d'« isométrie », donne le théorème spectral.