Les rotations de l'espace ne commutent pas : deux quarts pour un tiers

Stratégie. On écrit les deux matrices en lisant l'action sur la base canonique, puis on applique trois fois la méthode de réduction d'une isométrie directe de l'espace : vérifier $\det =1$, chercher l'axe comme ensemble des vecteurs invariants, lire $\cos \theta$ sur la trace par $\mathrm{tr}=1+2\cos \theta$, et fixer le signe de l'angle par un produit mixte.

1. Les deux matrices. $a$ fixe $e_1$ et fait tourner le plan $(e_2,e_3)$ de $+\frac{\pi }{2}$, donc $a(e_2)=e_3$ et $a(e_3)=-e_2$. De même $b$ fixe $e_3$ et envoie $e_1$ sur $e_2$, $e_2$ sur $-e_1$. En rangeant les images en colonnes : $$A=\left(\begin{array}{ccc}1& 0& 0\\ 0& 0& -1\\ 0& 1& 0\end{array}\right),B=\left(\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right).$$ Leurs colonnes sont orthonormales et $\det A=\det B=1$ : ce sont bien des rotations.

2. $b\circ a$. Le produit vaut $$BA=\left(\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right):e_1\mapsto e_2\mapsto e_3\mapsto e_1.$$ C'est une matrice orthogonale de déterminant $\det B\det A=1$ : une rotation. Son axe est l'ensemble des $X$ tels que $BAX=X$, c'est-à-dire $x_3=x_1$, $x_1=x_2$, $x_2=x_3$ : l'axe est $\mathrm{Vect}(1,1,1)$. Sa trace est nulle, d'où $$1+2\cos \theta =0,\cos \theta =-\frac{1}{2},\theta =\pm \frac{2\pi }{3}.$$ Pour le signe, orientons l'axe par $u=\frac{1}{\sqrt{3}}(1,1,1)$ et prenons $v=(1,-1,0)$, orthogonal à $u$. Alors $BAv=(0,1,-1)$, et $$v\wedge (BAv)=(1,-1,0)\wedge (0,1,-1)=(1,1,1),⟨u,v\wedge (BAv)⟩=\sqrt{3}>0.$$ Ce produit mixte vaut $\Vert v{\Vert }^2\sin \theta =2\sin \theta$ : en effet, dans la base orthonormale directe $(\frac{v}{\Vert v\Vert },\frac{u\wedge v}{\Vert v\Vert },u)$, une rotation d'axe orienté $u$ et d'angle $\theta$ envoie $v$ sur $\cos \theta v+\sin \theta (u\wedge v)$, d'où $v\wedge (BAv)=\sin \theta \Vert v{\Vert }^{2}u$. Donc $\sin \theta =\frac{\sqrt{3}}{2}>0$ : l'angle est $+\frac{2\pi }{3}$.

3. $a\circ b$. Cette fois $$AB=\left(\begin{array}{ccc}0& -1& 0\\ 0& 0& -1\\ 1& 0& 0\end{array}\right),$$ de trace nulle également, donc de même angle en valeur absolue. L'axe est donné par $-x_2=x_1$, $-x_3=x_2$, $x_1=x_3$, soit $\mathrm{Vect}(1,-1,1)$ — un autre axe. Avec $w=\frac{1}{\sqrt{3}}(1,-1,1)$ et $v^{\prime }=(1,1,0)$, orthogonal à $w$, on trouve $AB{v}^{\prime }=(-1,0,1)$ et $$v^{\prime }\wedge (AB{v}^{\prime })=(1,1,0)\wedge (-1,0,1)=(1,-1,1),⟨w,v^{\prime }\wedge (AB{v}^{\prime })⟩=\sqrt{3}=2\sin \theta >0,$$ donc là encore $\theta =+\frac{2\pi }{3}$, mais autour de $(1,-1,1)$.

4. Conclusion. $BA\ne AB$ — leurs axes diffèrent —, donc $b\circ a\ne a\circ b$ : ${\mathrm{SO}}_3(\mathbb{R})$ n'est pas commutatif, contrairement à ${\mathrm{SO}}_2(\mathbb{R})$ où composer deux rotations revient à ajouter leurs angles.

Le point délicat. L'angle ne s'ajoute pas : deux quarts de tour donnent ici un tiers de tour, $\frac{\pi }{2}+\frac{\pi }{2}=\pi \ne \frac{2\pi }{3}$. Il n'y a là aucune contradiction : l'addition des angles n'a de sens que pour des rotations de même axe, seul cas où l'on reste dans un plan fixe. Dès que les axes diffèrent, l'axe du composé est un troisième axe, et son angle se lit sur la trace, jamais sur une somme.

Contrôle. $BA$ est la matrice de la permutation circulaire des coordonnées, donc $(BA{)}^3=I_3$ : la rotation est d'ordre $3$, ce qui confirme l'angle $\frac{2\pi }{3}$. Et l'axe $\mathrm{Vect}(1,1,1)$ est bien la grande diagonale du cube, laissée fixe par la permutation circulaire des trois axes de coordonnées.

Le point à retenir. En dimension $3$, la donnée d'une rotation, c'est un axe orienté et un angle, et la composition ne se lit sur aucun de ces deux ingrédients séparément. La seule méthode fiable reste le calcul matriciel suivi de la réduction : déterminant, vecteurs invariants, trace, produit mixte — dans cet ordre.