Problème : le théorème de rotation d'Euler

Ce qu'on a le droit d'utiliser. La stabilité de l'orthogonal d'un sous-espace stable par une isométrie ; le déterminant d'une matrice orthogonale vaut $\pm 1$ ; toute famille orthonormée se complète en une base orthonormée, que l'on peut choisir directe quitte à changer le dernier vecteur en son opposé ; la matrice de passage entre deux bases orthonormées directes est de déterminant $1$ ; la classification des isométries d'un plan euclidien orienté ; le théorème des valeurs intermédiaires. La stratégie : trouver une droite fixe — un déterminant suffit —, puis descendre en dimension deux dans le plan orthogonal, où tout est connu.

1) Valeurs propres réelles. Si $AX=\lambda X$ avec $X\ne 0$ et $\lambda$ réel, alors, $A$ conservant la norme, $\Vert X\Vert =\Vert AX\Vert =|\lambda |\Vert X\Vert$, donc $|\lambda |=1$ : $\lambda =\pm 1$. Le polynôme caractéristique ${\chi }_A(\lambda )=\det (\lambda I_3-A)$ est unitaire de degré $3$ : il tend vers $-\infty$ en $-\infty$ et vers $+\infty$ en $+\infty$ ; continu, il s'annule par le théorème des valeurs intermédiaires. $A$ a au moins une valeur propre réelle. (C'est le degré impair qui fait tout : en dimension $2$, la rotation d'angle $\frac{\pi }{2}$ n'a aucune valeur propre réelle.)

2) Une direction fixe. Comme $A{}^{t}A=I_3$, on a $A-I_3=A-A{}^{t}A=A(I_3-{}^{t}A)$. Donc, en utilisant $\det A=1$, puis l'invariance du déterminant par transposition, puis sa multilinéarité (on multiplie les trois colonnes par $-1$) : $$\det (A-I_3)=\det A\cdot \det ({}^t(I_3-A))=\det (I_3-A)=(-1{)}^3\det (A-I_3).$$ Donc $\det (A-I_3)=-\det (A-I_3)$, c'est-à-dire $\det (A-I_3)=0$ : $1$ est valeur propre de $A$, et il existe un vecteur unitaire $u$ tel que $Au=u$.

Le point délicat. Les deux ingrédients sont le déterminant égal à $1$ et la dimension impaire, qui fournit le signe $(-1{)}^3=-1$. En dimension $2$, le même calcul donnerait $\det (A-I_2)=\det (A-I_2)$ : aucune information, et de fait une rotation plane non triviale ne fixe aucun vecteur non nul.

3) La descente en dimension deux. Stabilité. La droite $\mathbb{R}u$ est stable par $A$ ; par la stabilité de l'orthogonal, $P=u^{\perp }$ l'est aussi — directement : pour $x\in P$, $⟨Ax,u⟩=⟨Ax,Au⟩=⟨x,u⟩=0$. L'endomorphisme induit $A_P$ conserve la norme : c'est une isométrie de $P$.

Son déterminant. Soit $(u,v,w)$ une base orthonormée directe. La première colonne de la matrice de $A$ dans cette base est $(1,0,0)$, puisque $Au=u$, et les images de $v$ et $w$ sont dans $P=\mathrm{Vect}(v,w)$ : la matrice est diagonale par blocs, formée du bloc $1$ et de la matrice $B$ de $A_P$ dans $(v,w)$. Semblable à $A$, elle a pour déterminant $1$ : $\det B=1$.

La rotation plane. Orientons $P$ par $u$ : une base $(v,w)$ de $P$ est dite directe si $(u,v,w)$ est une base directe de ${\mathbb{R}}^3$. L'isométrie $A_P$ du plan orienté $P$, de déterminant $1$, est une rotation : par la classification des isométries du plan, il existe un réel $\theta$ tel que sa matrice dans toute base orthonormée directe de $P$ soit $R_{\theta }$. Ainsi, dans toute base orthonormée directe $(u,v,w)$ de ${\mathbb{R}}^3$, la matrice de $A$ est celle de l'énoncé.

L'axe. Si $A\ne I_3$, alors $\theta \not\equiv 0(\mathrm{mod}2\pi )$, et $\det (R_{\theta }-I_2)=(\cos \theta -1{)}^2+{\sin }^2\theta =2-2\cos \theta >0$ : $A_P$ ne fixe que $0$. Pour $x=\lambda u+p$ avec $p\in P$, on a $Ax-x=A_P(p)-p$, nul si et seulement si $p=0$ : $\mathrm{Ker}(A-I_3)=\mathbb{R}u$, l'axe de la rotation.

4) La trace et le produit mixte. La trace est invariante par similitude : $\mathrm{tr}A=1+2\cos \theta$, d'où $\cos \theta =\frac{\mathrm{tr}A-1}{2}$.

Le produit mixte. Décomposons $x=⟨x,u⟩u+p$ avec $p\in P$, de sorte que $Ax=⟨x,u⟩u+A_P(p)$. Par multilinéarité et caractère alterné du déterminant, les termes où $u$ apparaît deux fois sont nuls, et $[u,x,Ax]=[u,p,A_P(p)]$. Écrivons $p=\beta v+\gamma w$ dans une base orthonormée directe $(u,v,w)$ ; alors $A_P(p)=(\beta \cos \theta -\gamma \sin \theta )v+(\beta \sin \theta +\gamma \cos \theta )w$, et le produit mixte se calcule dans cette base : $$[u,p,A_P(p)]=\det \left(\begin{array}{ccc}1& 0& 0\\ 0& \beta & \beta \cos \theta -\gamma \sin \theta \\ 0& \gamma & \beta \sin \theta +\gamma \cos \theta \end{array}\right)=({\beta }^2+{\gamma }^2)\sin \theta .$$ Comme ${\beta }^2+{\gamma }^2=\Vert p{\Vert }^2$ et $p=x-⟨x,u⟩u$, $[u,x,Ax]=\sin \theta \Vert x-⟨x,u⟩u{\Vert }^2$ ; en particulier, pour $x$ orthogonal à l'axe, $[u,x,Ax]=\sin \theta \Vert x{\Vert }^2$. Pour tout $x$ hors de l'axe, le signe du produit mixte est celui de $\sin \theta$ : la trace donne l'angle au signe près, le produit mixte donne le signe.

Changer l'orientation de l'axe. Si l'on oriente l'axe par $-u$, la base $(-u,w,v)$ est orthonormée directe — échanger deux vecteurs et en changer un de signe multiplie le déterminant par $(-1{)}^2=1$ —, et $[-u,x,Ax]=-\sin \theta \Vert p{\Vert }^2$ : l'angle devient $-\theta$. Un angle de rotation n'a de sens que pour un axe orienté.

5) Deux quarts de tour ne commutent pas. Les matrices. $a$ fixe $e_1$ et tourne d'un quart de tour direct dans le plan $(e_2,e_3)$ : $a(e_2)=e_3$ et $a(e_3)=-e_2$. $b$ fixe $e_3$ et agit dans le plan orienté par $e_3$, dont $(e_1,e_2)$ est une base directe puisque $(e_3,e_1,e_2)$ l'est : $b(e_1)=e_2$ et $b(e_2)=-e_1$. D'où $$\mathrm{Mat}(a)=\left(\begin{array}{ccc}1& 0& 0\\ 0& 0& -1\\ 0& 1& 0\end{array}\right),$$ $$\mathrm{Mat}(b)=\left(\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right).$$ $b\circ a$. On a $b(a(e_1))=e_2$, $b(a(e_2))=b(e_3)=e_3$ et $b(a(e_3))=b(-e_2)=e_1$ : $$\mathrm{Mat}(b\circ a)=\left(\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right).$$ Elle permute circulairement les vecteurs de base ; son axe est formé des vecteurs dont les trois coordonnées sont égales, $\mathbb{R}(1,1,1)$. Sa trace est nulle : $\cos \theta =-\frac{1}{2}$. Avec $u=\frac{1}{\sqrt{3}}(1,1,1)$ et $x=e_1$, $[u,e_1,e_2]=⟨u,e_3⟩=\frac{1}{\sqrt{3}}>0$ : $b\circ a$ est la rotation d'axe orienté par $(1,1,1)$ et d'angle $+\frac{2\pi }{3}$.

$a\circ b$. On a $a(b(e_1))=a(e_2)=e_3$, $a(b(e_2))=a(-e_1)=-e_1$ et $a(b(e_3))=a(e_3)=-e_2$ : $$\mathrm{Mat}(a\circ b)=\left(\begin{array}{ccc}0& -1& 0\\ 0& 0& -1\\ 1& 0& 0\end{array}\right).$$ Les vecteurs fixes vérifient $-y=x$, $-z=y$ et $x=z$ : l'axe est $\mathbb{R}(1,-1,1)$. La trace est nulle, $\cos \theta =-\frac{1}{2}$, et avec $u=\frac{1}{\sqrt{3}}(1,-1,1)$, $[u,e_1,e_3]=⟨u,-e_2⟩=\frac{1}{\sqrt{3}}>0$ : rotation d'axe orienté par $(1,-1,1)$ et d'angle $+\frac{2\pi }{3}$.

Conclusion. $b\circ a\ne a\circ b$ : ${\mathrm{SO}}_3(\mathbb{R})$ n'est pas commutatif, contrairement à ${\mathrm{SO}}_2(\mathbb{R})$ ; et deux quarts de tour se composent en un tiers de tour : en dimension trois, les angles ne s'ajoutent plus. L'axe $(1,1,1)$ est une grande diagonale du cube, axe de symétrie d'ordre $3$ du cube et du méthane.

6) Les isométries indirectes. $-A$ est orthogonale et $\det (-A)=(-1{)}^3\det A=1$ : $-A\in {\mathrm{SO}}_3(\mathbb{R})$. Par le 3), il existe $u$ unitaire et $\phi$ réel tels que, dans toute base orthonormée directe $(u,v,w)$, $-A$ ait pour matrice la matrice diagonale par blocs formée de $1$ et de $R_{\phi }$. Donc $A$ y a pour matrice celle formée de $-1$ et de $-R_{\phi }=R_{\phi +\pi }$. Posons $\theta =\phi +\pi$ ; cette matrice est le produit, dans un ordre ou dans l'autre, de $\mathrm{diag}(-1,1,1)$ et de la matrice formée de $1$ et de $R_{\theta }$ : les deux blocs agissent sur des sous-espaces différents, la droite $\mathbb{R}u$ et le plan $u^{\perp }$, et commutent. Le premier facteur est la réflexion par rapport au plan $u^{\perp }$, le second la rotation d'axe $\mathbb{R}u$ et d'angle $\theta$ : $A$ est la composée commutative d'une rotation et de la réflexion par rapport au plan orthogonal à son axe. Pour $\theta =0$, c'est la réflexion elle-même ; pour $\theta =\pi$, c'est $-I_3$, la symétrie centrale.

Identification de $S$. Ses colonnes $e_2$, $-e_1$, $-e_3$ sont orthonormées, et en développant selon la troisième ligne, $\det S=-1$. On a $S{e}_3=-e_3$, et sur le plan $(e_1,e_2)$, orienté par $e_3$, $S$ agit par $e_1\mapsto e_2$ et $e_2\mapsto -e_1$, c'est-à-dire par $R_{\pi /2}$ : $S$ est la composée de la rotation d'axe orienté par $e_3$ et d'angle $\frac{\pi }{2}$, et de la réflexion par rapport au plan $(e_1,e_2)$. Alors $$S^2=\left(\begin{array}{ccc}-1& 0& 0\\ 0& -1& 0\\ 0& 0& 1\end{array}\right),$$ le demi-tour d'axe $\mathbb{R}{e}_3$ — les deux réflexions se compensent, les deux quarts de tour s'ajoutent —, et $S^4=(S^2{)}^2=I_3$, alors que $S$, $S^2$ et $S^3$ diffèrent de $I_3$. C'est un axe impropre d'ordre $4$, noté $S_4$ par les chimistes. Le méthane du TD 3 en possède un : $S$ envoie $(x,y,z)$ sur $(-y,x,-z)$, donc $(1,1,1)$ sur $(-1,1,-1)$, $(1,-1,-1)$ sur $(1,1,1)$, $(-1,1,-1)$ sur $(-1,-1,1)$ et $(-1,-1,1)$ sur $(1,-1,-1)$ : les quatre atomes d'hydrogène sont permutés.

Le théorème obtenu — théorème de rotation d'Euler (1775). Toute matrice $A\in {\mathrm{SO}}_3(\mathbb{R})$ est la matrice d'une rotation autour d'un axe : il existe un vecteur unitaire $u$ et un réel $\theta$ tels que, dans toute base orthonormée directe $(u,v,w)$, la matrice de $A$ soit formée du bloc $1$ et du bloc $R_{\theta }$ ; si $A\ne I_3$, l'axe est $\mathrm{Ker}(A-I_3)$, $\cos \theta =\frac{\mathrm{tr}A-1}{2}$, et $\sin \theta$ a le signe de $[u,x,Ax]$ pour tout $x$ hors de l'axe. Toute matrice de ${\mathrm{O}}_3(\mathbb{R})$ de déterminant $-1$ est la composée commutative d'une telle rotation et de la réflexion par rapport au plan orthogonal à son axe.

Ce que le problème installe. Réduire la dimension : une isométrie directe de l'espace fixe une droite — un déterminant et la parité de la dimension suffisent —, et la stabilité de l'orthogonal ramène tout au plan, où la classification est connue. C'est le schéma de la démonstration du théorème spectral : isoler un sous-espace stable, descendre dans son orthogonal. Le théorème d'Euler est celui de la mécanique du solide : tout déplacement d'un solide qui garde un point fixe est une rotation autour d'un axe, ce qui donne un sens au vecteur rotation. Et la non-commutativité de ${\mathrm{SO}}_3(\mathbb{R})$ se constate avec un livre : deux quarts de tour, dans un ordre puis dans l'autre, ne donnent pas la même position.