Séparer deux fermés disjoints par une fonction continue

Stratégie. Tout l'exercice tient dans une seule vérification : le dénominateur ne s'annule jamais. Et c'est très exactement l'endroit où les deux hypothèses — « fermés » et « disjoints » — sont consommées. Le reste (continuité, valeurs aux bornes) suit sans effort.

On note $d(x,F)={\inf }_{y\in F}\Vert x-y\Vert$ pour $F$ non vide.

Lemme 1 — la distance à une partie est $1$-lipschitzienne. Pour $x,x^{\prime }\in E$ et $y\in F$ : $$d(x,F)\le \Vert x-y\Vert \le \Vert x-x^{\prime }\Vert +\Vert x^{\prime }-y\Vert .$$ En prenant la borne inférieure sur $y\in F$ dans le membre de droite : $d(x,F)\le \Vert x-x^{\prime }\Vert +d(x^{\prime },F)$. Par symétrie des rôles de $x$ et $x^{\prime }$ : $$|d(x,F)-d(x^{\prime },F)|\le \Vert x-x^{\prime }\Vert .$$ Donc $x\mapsto d(x,F)$ est $1$-lipschitzienne, donc continue (cours).

Lemme 2 — pour $F$ fermé non vide : $d(x,F)=0⟺x\in F$. C'est ici que l'hypothèse de fermeture agit.

• Si $x\in F$, alors $d(x,F)\le \Vert x-x\Vert =0$, et $d\ge 0$ : $d(x,F)=0$.
• Réciproquement, supposons $d(x,F)=0$. Par caractérisation de la borne inférieure, pour chaque entier $k\ge 1$ il existe $y_k\in F$ tel que $\Vert x-y_k\Vert \le \frac{1}{k}$. La suite $(y_k)$ est une suite d'éléments de $F$ qui converge vers $x$. Comme $F$ est fermé, la caractérisation séquentielle des fermés donne $x\in F$.

Le dénominateur ne s'annule pas. Soit $x\in E$ et supposons $d(x,F_1)+d(x,F_2)=0$. Les deux termes étant positifs, ils sont nuls tous les deux ; le lemme 2 donne alors $x\in F_1$ et $x\in F_2$, ce qui contredit $F_1\cap F_2=\varnothing$. Donc $$d(x,F_1)+d(x,F_2)>0\text{pour tout }x\in E,$$ et $g$ est bien définie sur $E$ tout entier.

Continuité de $g$. Le numérateur $x\mapsto d(x,F_1)$ et le dénominateur $x\mapsto d(x,F_1)+d(x,F_2)$ sont continus (lemme 1 et somme de fonctions continues), et le dénominateur ne s'annule pas : le quotient $g$ est continu sur $E$.

Valeurs prises.

• Si $x\in F_1$ : $d(x,F_1)=0$ (lemme 2), donc le numérateur est nul et $g(x)=0$.
• Si $x\in F_2$ : $d(x,F_2)=0$, et $d(x,F_1)\ne 0$ (sinon $x\in F_1\cap F_2=\varnothing$), donc $$g(x)=\frac{d(x,F_1)}{d(x,F_1)+0}=1.$$
• Pour tout $x$ : $0\le d(x,F_1)\le d(x,F_1)+d(x,F_2)$, donc $0\le g(x)\le 1$.

$$\boxed{g\text{ est continue sur }E,\text{aˋ valeurs dans }[0,1],\text{nulle sur }{F}_1,\text{eˊgale aˋ }1\text{ sur }{F}_2.}$$

Le point délicat. Les deux hypothèses servent chacune une fois, et une seule. Si l'un des $F_i$ n'était pas fermé, $d(x,F_i)$ pourrait s'annuler hors de $F_i$ : par exemple dans $\mathbb{R}$ avec $F_1=]0,1[$ et $F_2=\{0\}$, disjoints mais $F_1$ non fermé, on a $d(0,F_1)=0=d(0,F_2)$ et le dénominateur s'annule en $0$. Si les fermés n'étaient pas disjoints, le dénominateur s'annulerait en tout point commun.

Un corollaire immédiat. Les ensembles $U_1=g^{-1}\left(\left]-\infty ,\frac{1}{2}\right[\right)$ et $U_2=g^{-1}\left(\left]\frac{1}{2},+\infty \right[\right)$ sont des ouverts disjoints (images réciproques d'ouverts disjoints par une application continue) contenant respectivement $F_1$ et $F_2$ : deux fermés disjoints se séparent aussi par des ouverts.

Contrôle. Dans $E=\mathbb{R}$, prenons $F_1=]-\infty ,0]$ et $F_2=[1,+\infty [$ : deux fermés disjoints non vides. Alors $d(x,F_1)=\max (x,0)$ et $d(x,F_2)=\max (1-x,0)$, d'où

$x$	$d(x,F_1)$	$d(x,F_2)$	$g(x)$
$-3$	$0$	$4$	$0$
$0$	$0$	$1$	$0$
$\frac{1}{2}$	$\frac{1}{2}$	$\frac{1}{2}$	$\frac{1}{2}$
$1$	$1$	$0$	$1$
$5$	$5$	$0$	$1$

Sur $[0,1]$, $g(x)=\frac{x}{x+(1-x)}=x$ : on retrouve la rampe affine, qui est bien la séparation la plus simple qu'on puisse écrire entre ces deux fermés. Le dénominateur vaut $\max (x,0)+\max (1-x,0)\ge 1>0$ partout, comme annoncé.