Corrigé ESSEC 2026 Maths 2 appliquées ECG — Stratégie ETC (Q9.a à Q11) : Espérance de la récompense par les probabilités totales, regret moyen comme somme des δi E(Ni,n), stratégie au hasard

Q9.a Par définition $Y_j=X_{I_j,N_{I_j,j}}$ : si la $j$-ème action est $i$ et que c'est sa $k$-ème exécution, la récompense est $X_{i,k}$. Toutes les récompenses valant $0$ ou $1$, $Y_j$ suit une loi de Bernoulli et $E(Y_j)=\mathbb{P}(Y_j=1)$. La famille $([I_j=i]{)}_{1⩽i⩽r}$ est un système complet d'événements ($I_j$ prend ses valeurs dans $[[1,r]]$) ; la formule des probabilités totales (sous la forme $\mathbb{P}(B)={\sum }_i\mathbb{P}(B\cap A_i)$, qui ne demande pas $\mathbb{P}(A_i)\ne 0$) donne

$$\boxed{E(Y_j)=\mathbb{P}(Y_j=1)=\sum _{i=1}^r\mathbb{P}([Y_j=1]\cap [I_j=i]).}$$

Q9.b Soit $i\in [[1,r]]$. $N_{i,j}$ prend ses valeurs dans $[[0,j]]$, donc $([N_{i,j}=k]{)}_{0⩽k⩽j}$ est un système complet d'événements, et

$$\mathbb{P}([Y_j=1]\cap [I_j=i])=\sum _{k=0}^j\mathbb{P}([Y_j=1]\cap [I_j=i]\cap [N_{i,j}=k]).$$

• Le terme $k=0$ est nul : si $I_j=i$, l'indice $j$ lui-même vérifie $I_j=i$, donc $N_{i,j}⩾1$ et $[I_j=i]\cap [N_{i,j}=0]=\varnothing$.
• Pour $k\in [[1,j]]$, sur $[I_j=i]\cap [N_{i,j}=k]$, la $j$-ème action est l'action $i$ effectuée pour la $k$-ème fois, donc $Y_j=X_{i,k}$, et $[Y_j=1]\cap [I_j=i]\cap [N_{i,j}=k]=[X_{i,k}=1]\cap [I_j=i]\cap [N_{i,j}=k]$.

D'où

$$\boxed{\mathbb{P}([Y_j=1]\cap [I_j=i])=\sum _{k=1}^j\mathbb{P}([X_{i,k}=1]\cap [I_j=i]\cap [N_{i,j}=k]).}$$