$O_n(\mathbb{R})$ est compact, $S{L}_n(\mathbb{R})$ ne l'est pas

Ce qu'on a le droit d'utiliser. La compacité est définie par Bolzano-Weierstrass. Le théorème du cours invoqué ici est la caractérisation en dimension finie : une partie d'un espace normé de dimension finie est compacte si et seulement si elle est fermée et bornée — sa démonstration repose sur l'équivalence des normes, que le programme autorise à admettre. Borel-Lebesgue est hors programme et n'est utilisé nulle part.

a) Le groupe orthogonal est compact.

Fermé. L'application $\Phi (A)=A^{\top }A$ a pour coefficients les ${\sum }_k{a}_{k,i}{a}_{k,j}$, polynômes en les coefficients de $A$ ; en dimension finie, une application dont chaque coordonnée est polynomiale est continue. Donc ${\mathrm{O}}_n(\mathbb{R})={\Phi }^{-1}\left(\{I_n\}\right)$ est l'image réciproque d'un fermé — un singleton — par une application continue : c'est un fermé.

Borné. Si $A^{\top }A=I_n$, l'égalité lue coefficient par coefficient dit que les colonnes $C_1,\dots ,C_n$ forment une famille orthonormée : $\Vert C_j{\Vert }_2^2={\sum }_i{a}_{i,j}^2=1$, donc $|a_{i,j}|\le 1$ et $$\Vert A{\Vert }_F:=\sqrt{\sum _{i,j}{a}_{i,j}^2}=\sqrt{\sum _j\Vert C_j{\Vert }_2^2}=\sqrt{n}.$$ Toutes les matrices orthogonales sont sur la sphère de rayon $\sqrt{n}$ : la partie est bornée, et la bornitude ne dépend pas de la norme choisie, toutes étant équivalentes. Fermée et bornée dans ${\mathcal{M}}_n(\mathbb{R})$, de dimension finie $n^2$ : ${\mathrm{O}}_n(\mathbb{R})$ est compact.

b) Le groupe spécial linéaire n'est pas compact. L'application $\det$ est polynomiale donc continue, et ${\mathrm{SL}}_n(\mathbb{R})={\det }^{-1}(\{1\})$ est fermé. Mais pour $t>0$ et $n\ge 2$, la matrice $A_t=\mathrm{diag}\left(t,\frac{1}{t},1,\dots ,1\right)$ a pour déterminant $t\cdot \frac{1}{t}=1$, donc appartient à ${\mathrm{SL}}_n(\mathbb{R})$, et $\Vert A_t{\Vert }_F\ge t\to +\infty$ : la partie n'est pas bornée, donc pas compacte.

c) Un supremum atteint, un qui ne l'est pas. L'application $A\mapsto \mathrm{tr}(AM)$ est linéaire, donc continue en dimension finie ; une application continue à valeurs réelles sur un compact non vide atteint ses bornes. Comme ${\mathrm{O}}_n(\mathbb{R})$ contient $I_n$, il existe donc $A_0$ orthogonale telle que $\mathrm{tr}(A_{0}M)={\sup }_{A\in {\mathrm{O}}_n(\mathbb{R})}\mathrm{tr}(AM)$, et ce supremum est un maximum. Sur ${\mathrm{SL}}_n(\mathbb{R})$ au contraire, avec $n=2$, $M=I_2$ et $A_t=\mathrm{diag}(t,1/t)$, on a $\mathrm{tr}(A_{t}M)=t+\frac{1}{t}\to +\infty$ : le supremum vaut $+\infty$ et n'est pas atteint. Le défaut de compacité se paie exactement là.

d) Où sert la dimension finie. À trois endroits qu'il faut savoir nommer : pour affirmer que les applications polynomiales en les coefficients sont continues ; pour affirmer que la forme linéaire $A\mapsto \mathrm{tr}(AM)$ est continue — en dimension infinie, une forme linéaire peut ne pas l'être ; et surtout pour passer de « fermé et borné » à « compact ». Cette implication est fausse en dimension infinie, et c'est précisément ce que le problème final démontre.

Ce que l'exercice installe. En dimension finie, une question de compacité se règle en lisant les équations qui définissent la partie : « $\Phi (A)=c$ » avec $\Phi$ continue donne la fermeture, et c'est la géométrie de l'équation qui décide de la bornitude. L'équation $A^{\top }A=I_n$ borne, car elle contraint chaque colonne à être unitaire ; l'équation $\det A=1$ ne borne rien, un produit pouvant rester égal à $1$ avec des facteurs arbitrairement grands.