Orthogonale et symétrique : les symétries orthogonales

Stratégie. Les deux hypothèses se combinent en une ligne : $A^2=AA={}^{t}AA=I$. Toute la richesse de l'exercice est dans la lecture géométrique et dans la réciproque, où il faut voir que la symétrie de $A$ n'apporte pas seulement l'involutivité, mais l'orthogonalité de la décomposition qu'elle définit.

Toutes les matrices sont réelles de taille $n$, et l'on travaille dans ${\mathbb{R}}^n$ muni du produit scalaire canonique $⟨X,Y⟩={}^{t}XY$, pour lequel la base canonique est orthonormée.

1. $A^2=I$. $A$ orthogonale signifie ${}^{t}AA=I_n$ ; $A$ symétrique signifie ${}^{t}A=A$. En substituant la seconde dans la première : $$A^2=AA={}^{t}AA=I_n.$$

2. Lecture géométrique : $A$ est une symétrie. Notons $s:X\mapsto AX$. De $s^2=\mathrm{id}$ on tire que $X^2-1=(X-1)(X+1)$ annule $s$ : ce polynôme est scindé à racines simples, donc $s$ est diagonalisable et $\mathrm{Sp}(s)\subset \{-1,1\}$. Posons $$F=\ker (A-I_n),G=\ker (A+I_n),\text{de sorte que}{\mathbb{R}}^n=F\oplus G$$ (l'identité $X=\frac{1}{2}(X+AX)+\frac{1}{2}(X-AX)$ le montre directement : le premier terme est fixé par $A$, le second changé en son opposé, grâce à $A^2=I$). L'endomorphisme $s$ est donc la symétrie par rapport à $F$ parallèlement à $G$.

3. La décomposition est orthogonale. C'est ici que la symétrie de $A$ intervient une seconde fois. Pour $X\in F$ et $Y\in G$ : $$⟨X,Y⟩=⟨AX,Y⟩={}^t(AX)Y={}^{t}X{}^{t}AY={}^{t}XAY=⟨X,AY⟩=⟨X,-Y⟩=-⟨X,Y⟩,$$ où l'on a utilisé successivement $AX=X$, puis ${}^{t}A=A$, puis $AY=-Y$. Donc $2⟨X,Y⟩=0$, c'est-à-dire $⟨X,Y⟩=0$ : $G\subset F^{\perp }$, et comme $\dim F+\dim G=n=\dim F+\dim F^{\perp }$, on a $$G=F^{\perp },{\mathbb{R}}^n=F\stackrel{\perp }{\oplus }{F}^{\perp }.$$ Ainsi $s$ est la symétrie orthogonale par rapport à $F=\ker (A-I_n)$. (Remarquons que ce calcul n'utilise que la transposée dans une base orthonormée : aucune notion supplémentaire n'est requise.)

4. Réciproque : oui, et c'est une caractérisation. Soit $s$ une symétrie orthogonale par rapport à un sous-espace $F$ de dimension $p$, et soit $A$ sa matrice dans une base orthonormée. Concaténons une base orthonormée de $F$ et une base orthonormée de $F^{\perp }$ : les deux sous-espaces étant orthogonaux, on obtient une base orthonormée ${\mathcal{B}}_0$ de ${\mathbb{R}}^n$, dans laquelle $$D={\mathrm{Mat}}_{{\mathcal{B}}_0}(s)=\left(\begin{array}{cc}{I}_p& 0\\ 0& -I_{n-p}\end{array}\right),$$ qui est manifestement symétrique, et orthogonale puisque ${}^{t}DD=D^2=I_n$. Le passage de ${\mathcal{B}}_0$ à une autre base orthonormée se fait par une matrice de passage $P$ orthogonale, donc $A=PD{}^{t}P$, et alors $${}^{t}A=P{}^{t}D{}^{t}P=PD{}^{t}P=A(\text{symeˊtrique}),{}^{t}AA=A^2=P{D}^2{}^{t}P=I_n(\text{orthogonale}).$$ On a donc l'équivalence exacte : $$A\text{ orthogonale et symeˊtrique}⟺A\text{ est la matrice, en base orthonormeˊe, d’une symeˊtrie orthogonale.}$$

Point délicat : les deux hypothèses sont indispensables. La seule relation $A^2=I$ ne suffit pas — elle ne donne qu'une symétrie, éventuellement oblique. Ainsi $$A=\left(\begin{array}{cc}1& 1\\ 0& -1\end{array}\right)\text{veˊrifie}{A}^2=\left(\begin{array}{cc}1& 1-1\\ 0& 1\end{array}\right)=I_2,$$ mais sa deuxième colonne $(1,-1)$ est de norme $\sqrt{2}\ne 1$ : $A$ n'est pas orthogonale (ni symétrique). Sa direction de projection n'est pas perpendiculaire à son axe.

Contrôle chiffré. Prenons le vecteur unitaire $u=\frac{1}{\sqrt{3}}(1,1,1)$ et $A=I_3-2u{}^{t}u$, c'est-à-dire $$A=\frac{1}{3}\left(\begin{array}{ccc}1& -2& -2\\ -2& 1& -2\\ -2& -2& 1\end{array}\right).$$

• Symétrique : visiblement $✓$.
• Orthogonale : chaque colonne est de norme $\frac{\sqrt{1+4+4}}{3}=1$, et deux colonnes distinctes ont pour produit scalaire $\frac{-2-2+4}{9}=0$ $✓$.
• Involutive : $A^2=I_3-4u{}^{t}u+4u({}^{t}uu){}^{t}u=I_3-4u{}^{t}u+4u{}^{t}u=I_3$, puisque ${}^{t}uu=\Vert u{\Vert }^2=1$ $✓$.
• Identification : $\mathrm{tr}A=1$, et $\mathrm{tr}A=p-(n-p)=2p-3$ donne $p=2$ : $F$ est un plan, à savoir $u^{\perp }$, d'équation $x+y+z=0$. On a affaire à la réflexion par rapport à ce plan, et $\det A=-1$ le confirme.

Ce qui est acquis. « Orthogonale » contrôle les longueurs, « symétrique » contrôle les angles entre espaces propres : ensemble, elles ne laissent subsister que les symétries orthogonales. C'est le cas d'égalité entre les deux grandes familles d'opérateurs du chapitre.