L'orthogonal de l'orthogonal, et un hyperplan dont l'orthogonal est nul

Ce qu'on a le droit d'utiliser. La définition : $X^{\perp }=\{y\in E\mid \forall x\in X,⟨x,y⟩=0\}$, qui est un sous-espace. Le théorème du supplémentaire orthogonal : si $F$ est de dimension finie, $E=F\oplus F^{\perp }$, et en dimension finie $n$, $\dim F^{\perp }=n-\dim F$. Le théorème « continue, positive, d'intégrale nulle, donc nulle » du chapitre sur l'intégration.

a) Les propriétés formelles.

Renversement. Soit $z\in Y^{\perp }$ : $⟨y,z⟩=0$ pour tout $y\in Y$, donc en particulier pour tout $y\in X\subset Y$ : $z\in X^{\perp }$. Plus la partie est grosse, plus son orthogonal est petit.

Double orthogonal. Soit $x\in X$. Pour tout $y\in X^{\perp }$, on a $⟨x,y⟩=0$ par définition même de $X^{\perp }$. Donc $x$ est orthogonal à tout élément de $X^{\perp }$ : $x\in (X^{\perp }{)}^{\perp }$. Aucune hypothèse n'a servi.

Passage au sous-espace engendré. Comme $X\subset \mathrm{Vect}(X)$, le renversement donne $\mathrm{Vect}(X{)}^{\perp }\subset X^{\perp }$. Réciproquement, soit $y\in X^{\perp }$ et $v={\sum }_i{\lambda }_i{x}_i$ une combinaison linéaire d'éléments de $X$ : par linéarité, $⟨v,y⟩={\sum }_i{\lambda }_i⟨x_i,y⟩=0$. Donc $y\perp \mathrm{Vect}(X)$. Égalité.

b) L'involution en dimension finie. Notons $n=\dim E$. Par le a), $F\subset (F^{\perp }{)}^{\perp }$. Pour l'inclusion inverse, on compare les dimensions : $\dim F^{\perp }=n-\dim F$, puis, $F^{\perp }$ étant lui-même un sous-espace, $\dim (F^{\perp }{)}^{\perp }=n-\dim F^{\perp }=n-(n-\dim F)=\dim F$. Un sous-espace contenu dans un autre et de même dimension finie lui est égal : $$(F^{\perp }{)}^{\perp }=F.$$ En dimension finie, $F\mapsto F^{\perp }$ est une involution des sous-espaces, qui renverse les inclusions.

c) Le contre-exemple en dimension infinie.

$H$ est un hyperplan. L'application $\phi :P\mapsto P(0)$ est une forme linéaire sur $E$, non nulle car $\phi (1)=1$. Son noyau $H$ est donc un hyperplan (chapitre sur les espaces vectoriels : le noyau d'une forme linéaire non nulle est un hyperplan). Concrètement, $H=\mathrm{Vect}(X,X^2,X^3,\dots )$ : les polynômes sans terme constant.

$H^{\perp }=\{0\}$. Soit $Q\in H^{\perp }$. Le polynôme $XQ$ s'annule en $0$, donc $XQ\in H$, donc $⟨Q,XQ⟩=0$ : $$0=⟨Q,XQ⟩={\int }_0^{1}tQ(t{)}^2\mathrm{d}t.$$ La fonction $t\mapsto tQ(t{)}^2$ est continue, positive sur $[0,1]$, d'intégrale nulle : elle est identiquement nulle sur $[0,1]$. Donc $Q(t)=0$ pour tout $t\in ]0,1]$ : le polynôme $Q$ a une infinité de racines, donc $Q=0$. Ainsi $H^{\perp }=\{0\}$.

Les conséquences. $(H^{\perp }{)}^{\perp }=\{0{\}}^{\perp }=E$, alors que $H\ne E$ (le polynôme constant $1$ n'est pas dans $H$). L'égalité du b) est fausse ici. Et $H\oplus H^{\perp }=H\oplus \{0\}=H\ne E$ : l'hyperplan $H$ n'a pas de supplémentaire orthogonal.

L'hypothèse en défaut. Le théorème du supplémentaire orthogonal exige que $F$ soit de dimension finie — pour disposer d'une base orthonormée de $F$, avec laquelle on construit le projeté. Or $H$ contient la famille libre infinie $(X,X^2,X^3,\dots )$ : il est de dimension infinie. Ce n'est pas l'espace $E$ qui est en cause (le théorème vaut dans tout espace préhilbertien), c'est le sous-espace.

Le point délicat. Il ne faut pas confondre « $H$ est un hyperplan, donc a un supplémentaire de dimension $1$ » — vrai, $\mathrm{Vect}(1)$ convient — et « $H$ a un supplémentaire orthogonal » — faux. Le supplémentaire $\mathrm{Vect}(1)$ n'est pas orthogonal à $H$ : $⟨1,X⟩=\frac{1}{2}\ne 0$. Et aucun autre ne l'est, puisque $H^{\perp }$ est nul.

Ce que l'exercice installe. En dimension finie, l'orthogonal est un dictionnaire parfait : il fait passer de la description paramétrique d'un sous-espace (engendré par des vecteurs) à sa description cartésienne (équations $⟨x,y_j⟩=0$) et retour, en appliquant $\perp$ deux fois. En dimension infinie, ce dictionnaire peut se déchirer, et la dimension finie de $F$ dans le théorème du supplémentaire orthogonal est une vraie hypothèse, pas une précaution de rédaction.