Séparer deux fermés par une fonction continue

La stratégie. Tout repose sur la fonction $x\mapsto d(x,A)$ : on établit ses deux propriétés fondamentales — $1$-lipschitzienne, nulle exactement sur l'adhérence — puis on s'en sert comme d'une brique de construction.

a) Le caractère $1$-lipschitzien. Soient $x,y\in E$ et $a\in A$. L'inégalité triangulaire donne $$d(x,A)\le \Vert x-a\Vert \le \Vert x-y\Vert +\Vert y-a\Vert .$$ Ceci vaut pour tout $a\in A$, et le membre de gauche ne dépend pas de $a$ : on passe donc à la borne inférieure sur $a$ dans le membre de droite, $$d(x,A)\le \Vert x-y\Vert +d(y,A),\text{soit}d(x,A)-d(y,A)\le \Vert x-y\Vert .$$ En échangeant $x$ et $y$, on obtient $\left|d(x,A)-d(y,A)\right|\le \Vert x-y\Vert$ : la fonction est $1$-lipschitzienne, donc continue sur $E$ tout entier.

b) Les zéros de la distance. Si $d(x,A)=0$, la caractérisation de la borne inférieure fournit, pour chaque $k\ge 1$, un $a_k\in A$ avec $\Vert x-a_k\Vert <\frac{1}{k}$ : la suite $(a_k)$ converge vers $x$, donc $x\in \overline{A}$. Réciproquement, si $x\in \overline{A}$, une suite $(a_k)$ de $A$ tend vers $x$ et $0\le d(x,A)\le \Vert x-a_k\Vert \to 0$. Ainsi $d(x,A)=0⟺x\in \overline{A}$, et pour $A$ fermé $d(x,A)=0⟺x\in A$ : c'est ce qui fait de la fonction distance un détecteur d'appartenance.

c) La fonction séparatrice.

Le dénominateur ne s'annule pas. Si $d(x,F_1)+d(x,F_2)=0$, les deux termes positifs sont nuls, donc par le b) $x\in F_1$ et $x\in F_2$ : impossible, les deux fermés étant disjoints. Donc la somme est strictement positive en tout point, et $g$ est définie sur $E$.

Continuité. Numérateur et dénominateur sont continus par le a), et le dénominateur ne s'annule pas : le quotient est continu.

Valeurs. $0\le d(x,F_1)\le d(x,F_1)+d(x,F_2)$ donne $0\le g\le 1$. Si $x\in F_1$, alors $d(x,F_1)=0$ donc $g(x)=0$. Si $x\in F_2$, alors $d(x,F_2)=0$, le dénominateur vaut $d(x,F_1)$, non nul sinon $x\in F_1\cap F_2$, et $g(x)=1$. Deux fermés disjoints se séparent donc par une fonction continue.

d) Deux ouverts disjoints. Posons $U_1=\{x:g(x)<\frac{1}{2}\}$ et $U_2=\{x:g(x)>\frac{1}{2}\}$ : images réciproques des ouverts $]-\infty ,\frac{1}{2}[$ et $]\frac{1}{2},+\infty [$ par l'application continue $g$, ce sont des ouverts de $E$, disjoints, avec $F_1\subset U_1$ et $F_2\subset U_2$.

e) Deux fermés disjoints peuvent être « à distance nulle ». Dans $E={\mathbb{R}}^2$, prenons $F_1=\{(t,0):t\in \mathbb{R}\}$ et $F_2=\left\{\left(t,\frac{1}{t}\right):t>0\right\}$.

$F_1$ est fermé : image réciproque de $\{0\}$ par la seconde projection, continue. $F_2$ est fermé : si $(t_k,1/t_k)\to (a,b)$ avec $t_k>0$, alors $t_k\to a$ et $1/t_k\to b$ ; comme $1/t_k$ converge, $t_k$ ne tend ni vers $0$ ni vers $+\infty$, donc $a>0$ et $b=1/a$, et la limite est dans $F_2$. Ils sont disjoints puisque $\frac{1}{t}\ne 0$. Pourtant $(t,0)$ et $(t,1/t)$ sont à distance $\frac{1}{t}\to 0$ : l'infimum des distances entre les deux fermés vaut $0$.

Cela ne contredit rien. Le c) affirme que pour chaque point $x$ la somme $d(x,F_1)+d(x,F_2)$ est strictement positive, ce qui est bien le cas. Ce que l'exemple interdit, c'est la construction naïve : « soit $\delta$ la distance entre les deux fermés, prenons les $\delta /3$-voisinages » — ici $\delta =0$ et elle s'effondre, alors que $g$ fonctionne toujours.

Ce que l'exercice installe. La fonction $x\mapsto d(x,A)$ n'est pas une notation : c'est l'outil qui transforme une propriété ensembliste en une propriété numérique continue, et c'est le mouvement qu'on refera au problème final pour fabriquer un vecteur unitaire à distance $1$ d'un sous-espace. Retenir la mise en garde du e) : un raisonnement qui suppose entre deux fermés disjoints une distance strictement positive est faux.