Le groupe orthogonal est fermé et borné

1. Fermeture. L'application $\Phi :{\mathcal{M}}_n(\mathbb{R})\to {\mathcal{M}}_n(\mathbb{R})$, $M\mapsto {}^{t}MM$, est polynomiale en les coefficients de $M$, donc continue — c'est l'un des exemples cités par le programme. Le singleton $\{I_n\}$ est un fermé, donc son image réciproque $${\mathcal{O}}_n(\mathbb{R})={\Phi }^{-1}(\{I_n\})$$ est un fermé de ${\mathcal{M}}_n(\mathbb{R})$.

2. Bornitude. Pour $M\in {\mathcal{O}}_n(\mathbb{R})$, on a ${}^{t}MM=I_n$, donc $$\Vert M{\Vert }_F^2=\mathrm{tr}({}^{t}MM)=\mathrm{tr}(I_n)=n,\text{soit}\Vert M{\Vert }_F=\sqrt{n}.$$ Toutes les matrices orthogonales ont donc la même norme $\sqrt{n}$ : ${\mathcal{O}}_n(\mathbb{R})$ est contenu dans la sphère de rayon $\sqrt{n}$, il est borné.

3. Bornes atteintes. ${\mathcal{M}}_n(\mathbb{R})$ est de dimension finie $n^2$, ${\mathcal{O}}_n(\mathbb{R})$ y est non vide ($I_n$ en fait partie), fermé et borné, et la trace est une forme linéaire donc continue. Le théorème des bornes atteintes s'applique : la trace atteint ses bornes sur ${\mathcal{O}}_n(\mathbb{R})$.

Pour le maximum, notons que pour $M\in {\mathcal{O}}_n(\mathbb{R})$, l'inégalité de Cauchy-Schwarz appliquée au produit scalaire $⟨A,B⟩=\mathrm{tr}({}^{t}AB)$ donne $$\mathrm{tr}(M)=⟨I_n,M⟩\le \Vert I_n{\Vert }_F\Vert M{\Vert }_F=\sqrt{n}\times \sqrt{n}=n,$$ avec égalité si et seulement si $M$ est positivement colinéaire à $I_n$, c'est-à-dire $M=I_n$ puisque $\Vert M{\Vert }_F=\Vert I_n{\Vert }_F$. Le maximum vaut donc $n$, atteint en $I_n$ uniquement.