Le groupe orthogonal et son sous-groupe des rotations

Stratégie : deux règles de calcul et rien d'autre. Tout découle de la définition ${}^{t}AA=I_n$, de la formule ${}^t(AB)={}^{t}B{}^{t}A$ et de la multiplicativité du déterminant. On vérifie les propriétés qui confèrent à ${\mathrm{O}}_n(\mathbb{R})$ sa structure de groupe : il contient $I_n$, il est stable par produit, il est stable par passage à l'inverse — l'associativité étant héritée du produit matriciel dans ${\mathcal{M}}_n(\mathbb{R})$.

Étape 0 — le point préliminaire à ne pas escamoter : ${}^{t}AA=I_n$ entraîne $A{}^{t}A=I_n$. Ce n'est pas une évidence, c'est la finitude de la dimension qui la donne. Si ${}^{t}AA=I_n$ et si $AX=0$, alors $X=I_{n}X={}^{t}AAX={}^{t}A0=0$ : l'endomorphisme canoniquement associé à $A$ est injectif, donc bijectif car $A$ est carrée (théorème du rang, première année). $A$ est donc inversible, et en multipliant ${}^{t}AA=I_n$ à droite par $A^{-1}$ : $${}^{t}A=A^{-1},\text{d’ouˋ}A{}^{t}A=A{A}^{-1}=I_n.$$ Retenons la conséquence, qui servira partout : pour une matrice orthogonale, l'inverse est la transposée.

Étape 1 — ${\mathrm{O}}_n(\mathbb{R})$ contient l'identité et est contenu dans ${\mathrm{GL}}_n(\mathbb{R})$. On a ${}^t{I}_n{I}_n=I_n$, donc $I_n\in {\mathrm{O}}_n(\mathbb{R})$ ; l'ensemble est non vide. Et l'étape 0 montre que toute matrice orthogonale est inversible : ${\mathrm{O}}_n(\mathbb{R})\subset {\mathrm{GL}}_n(\mathbb{R})$.

Étape 2 — stabilité par produit. Soient $A,B\in {\mathrm{O}}_n(\mathbb{R})$. Alors $${}^t(AB)(AB)=\left({}^{t}B{}^{t}A\right)(AB)={}^{t}B\underset{=I_n}{\underbrace{\left({}^{t}AA\right)}}B={}^{t}BB=I_n,$$ en utilisant l'associativité du produit matriciel pour regrouper ${}^{t}AA$. Donc $AB\in {\mathrm{O}}_n(\mathbb{R})$.

Étape 3 — stabilité par inverse. Soit $A\in {\mathrm{O}}_n(\mathbb{R})$. Par l'étape 0, $A^{-1}={}^{t}A$, et $${}^t\left(A^{-1}\right)A^{-1}={}^t\left({}^{t}A\right){}^{t}A=A{}^{t}A=I_n,$$ la dernière égalité étant précisément le second membre de l'étape 0. Donc $A^{-1}\in {\mathrm{O}}_n(\mathbb{R})$.

Les trois propriétés sont établies : ${\mathrm{O}}_n(\mathbb{R})$ est un groupe pour le produit matriciel, sous-groupe de ${\mathrm{GL}}_n(\mathbb{R})$.

Étape 4 — lecture sans coordonnées, sur les isométries. Le même énoncé se lit directement sur $\mathcal{O}(E)$, et c'est instructif :

• ${\mathrm{id}}_E$ conserve la norme ;
• si $u,v\in \mathcal{O}(E)$, alors $\Vert (u\circ v)(x)\Vert =\Vert u(v(x))\Vert =\Vert v(x)\Vert =\Vert x\Vert$ : le composé conserve la norme ;
• une isométrie est injective ($u(x)=0\Rightarrow \Vert x\Vert =\Vert u(x)\Vert =0\Rightarrow x=0$), donc bijective en dimension finie ; et pour tout $y\in E$, $\Vert u^{-1}(y)\Vert =\Vert u(u^{-1}(y))\Vert =\Vert y\Vert$, donc $u^{-1}$ conserve aussi la norme.

Les deux démonstrations disent la même chose ; la seconde explique pourquoi c'est vrai — conserver une longueur est une propriété qui se transmet par composition et se renverse.

Étape 5 — ${\mathrm{SO}}_n(\mathbb{R})$ est un sous-groupe. D'abord, le déterminant d'une matrice orthogonale vaut $\pm 1$ : $$1=\det (I_n)=\det \left({}^{t}AA\right)=\det ({}^{t}A)\det (A)=\det (A{)}^2,$$ puisque $\det ({}^{t}A)=\det (A)$ (première année). Donc $\det (A)\in \{-1,+1\}$, et ${\mathrm{SO}}_n(\mathbb{R})=\{A\in {\mathrm{O}}_n(\mathbb{R})\mid \det A=+1\}$ a bien un sens. Il est alors immédiat que :

• $I_n\in {\mathrm{SO}}_n(\mathbb{R})$ car $\det I_n=1$ ;
• si $\det A=\det B=1$, alors $\det (AB)=\det (A)\det (B)=1$ : stabilité par produit ;
• si $\det A=1$, alors $\det (A^{-1})=\frac{1}{\det A}=1$ : stabilité par inverse.

Comme ${\mathrm{SO}}_n(\mathbb{R})\subset {\mathrm{O}}_n(\mathbb{R})$, c'en est un sous-groupe.

Deux mises en garde.

• L'implication ne se renverse pas : $\det A=\pm 1$ ne caractérise pas l'orthogonalité. La matrice $\left(\begin{array}{cc}1& 5\\ 0& 1\end{array}\right)$ a pour déterminant $1$ sans conserver aucune longueur. Le déterminant trie les isométries ; il ne les reconnaît pas.
• ${\mathrm{O}}_n(\mathbb{R})$ n'est pas un sous-espace vectoriel de ${\mathcal{M}}_n(\mathbb{R})$ : il n'est pas stable par somme, puisque $I_n+I_n=2I_n$ vérifie ${}^t(2I_n)(2I_n)=4I_n\ne I_n$ (pour $n\ge 1$). Il ne contient d'ailleurs pas la matrice nulle. La structure en jeu est multiplicative, pas additive.
• Enfin, l'ensemble des isométries indirectes ($\det =-1$) n'est pas un groupe : il ne contient pas $I_n$, et le produit de deux d'entre elles est directe — c'est exactement ce que dit l'exercice sur la composée de deux réflexions.

Contrôle chiffré. Prenons $A=R\left(\frac{\pi }{4}\right)=\frac{1}{\sqrt{2}}\left(\begin{array}{cc}1& -1\\ 1& 1\end{array}\right)$ (directe, $\det =1$) et $B=\left(\begin{array}{cc}1& 0\\ 0& -1\end{array}\right)=S(0)$ (indirecte, $\det =-1$). Le produit vaut $$AB=\frac{1}{\sqrt{2}}\left(\begin{array}{cc}1& 1\\ 1& -1\end{array}\right),{}^t(AB)(AB)=\frac{1}{2}\left(\begin{array}{cc}2& 0\\ 0& 2\end{array}\right)=I_2✓,$$ et $\det (AB)=\frac{1}{2}(-1-1)=-1=1\times (-1)=\det A\cdot \det B✓$. Le produit est bien orthogonal, et son déterminant suit la règle des signes : $AB=S\left(\frac{\pi }{4}\right)$, la réflexion d'axe la droite d'angle polaire $\frac{\pi }{8}$.

Ce qui est acquis. Le calcul « ${}^t$ renverse l'ordre, $\det$ est multiplicatif » suffit à établir toute la structure. On dispose désormais du réflexe qui sert dans tous les exercices : dès qu'on tient des matrices orthogonales, on peut multiplier, inverser et transposer sans quitter ${\mathrm{O}}_n(\mathbb{R})$, et le signe du déterminant se propage comme un produit de signes.