Corrigé ESSEC 2026 Maths 2 appliquées ECG — Stratégie UCB (Q17 à Q19) : Borne supérieure de confiance, simulation de Bernoulli et de l'algorithme UCB en Python

Q17. Comme $\theta \in ]0,1[$, $-\ln \theta >0$ et $\gamma >0$ est bien défini, avec $2j{\gamma }^2=-\ln \theta$. Les variables $X_{i,1},\dots ,X_{i,j}$ sont mutuellement indépendantes, à valeurs dans $[0,1]$, d'espérance $p_i$, et leur moyenne est ${\overline{X}}_{i,j}$. L'inégalité Q6, appliquée à ces $j$ variables avec $\epsilon =\gamma ⩾0$, donne

$$\mathbb{P}({\overline{X}}_{i,j}+\gamma ⩽p_i)=\mathbb{P}({\overline{X}}_{i,j}-p_i⩽-\gamma )⩽\exp (-2j{\gamma }^2)=\exp (\ln \theta )=\boxed{\theta .}$$

Autrement dit, ${\overline{X}}_{i,j}+\gamma$ est une « borne supérieure de confiance » de $p_i$ : elle ne passe sous $p_i$ qu'avec une probabilité au plus $\theta$.

Q18.a Pour $j\in [[1,r]]$, $I_j=j$ : parmi $I_1,\dots ,I_r$, chaque action $i\in [[1,r]]$ apparaît exactement une fois (à l'instant $i$). Donc $\boxed{N_{i,r}=1}$, et comme $N_{i,r}\ne 0$,

$${\hat{X}}_{i,r}=\frac{1}{1}\sum _{k=1}^1{X}_{i,k}=\boxed{X_{i,1}.}$$

En particulier $N_{i,j}⩾N_{i,r}=1$ pour $j⩾r$ : les $U_{i,j}$ sont bien définis.

Q18.b rd.random() simule une variable de loi uniforme sur $[0,1[$ ; l'événement « valeur $<p$ » a donc la probabilité $p$.

def Bernoulli(p):
    if rd.random() < p:      # rd.random() suit la loi uniforme sur [0,1[
        return 1
    return 0