Espaces Probabilisés et Variables Aléatoires Discrètes

11.2 Ensembles Dénombrables et Familles Sommables

Cette section est un préalable technique, mais elle n'est pas un détour. Dès que l'univers cesse d'être fini — et il le cesse dès qu'on attend le premier succès d'une série d'épreuves —, additionner des probabilités devient additionner une infinité de termes, et il faut savoir dans quel ordre. La réponse du programme est qu'il n'y a pas d'ordre : une famille indexée par un ensemble dénombrable quelconque n'en possède pas naturellement, et c'est la notion de famille sommable qui permet de s'en passer.

Le prix à payer est une exigence d'absolue convergence, et le bénéfice est double : la somme ne dépend pas de l'ordre choisi, et l'on peut regrouper les termes en paquets comme on veut. Ces deux libertés sont utilisées à chaque page de la suite du chapitre, souvent sans être nommées.

11.2.1 Dénombrabilité

Ces propriétés servent à une seule chose, mais elle est constante : établir qu'un ensemble d'indices est au plus dénombrable, condition sans laquelle rien de ce qui suit ne s'applique. Le point 4 est le plus utile — une réunion dénombrable de dénombrables reste dénombrable —, et le point 5 marque la limite du cadre : une variable aléatoire à valeurs réelles quelconques sort du chapitre, qui ne traite que le cas discret, c'est-à-dire à valeurs dans un ensemble au plus dénombrable.

11.2.2 Familles sommables de réels positifs

La définition par borne supérieure mérite d'être comprise plutôt que retenue : elle ne choisit aucun ordre d'énumération, elle regarde toutes les sommes finies à la fois. Pour une famille positive, ces sommes finies croissent avec le paquet d'indices considéré, et leur borne supérieure existe toujours dans $[0,+\infty ]$ — c'est pourquoi une famille positive a toujours une somme, éventuellement infinie, et pourquoi seul le caractère fini de cette somme reste à discuter.

Ce théorème est l'outil de calcul le plus employé du chapitre. Le premier point autorise à découper un ensemble d'indices en paquets et à sommer paquet par paquet — c'est ce que fait la formule des probabilités totales, où les paquets sont les événements d'un système complet. Le second permet d'intervertir deux sommations, ce dont on se sert pour établir la formule sommatoire $E(X)={\sum }_{n\ge 1}P(X\ge n)$, ou la multiplicativité de l'espérance.

L'hypothèse de positivité est ce qui rend ces échanges gratuits : aucune convergence n'est à vérifier au préalable, puisque les deux membres sont définis dans $[0,+\infty ]$ et qu'on démontre leur égalité, finie ou non. C'est la raison pour laquelle on commence toujours par appliquer Fubini positif aux modules, quitte à revenir ensuite aux quantités signées.

11.2.3 Familles sommables de nombres complexes

11.3 Espaces Probabilisés et Probabilités Conditionnelles

En probabilités finies, on affectait une probabilité à toutes les parties de $\Omega$ et la question ne se posait pas. Sur un univers infini, elle se pose : il n'est pas toujours possible de mesurer toutes les parties de manière cohérente. La solution de Kolmogorov est de choisir d'avance la famille des parties que l'on accepte de mesurer — la tribu —, et d'exiger qu'elle soit stable par les opérations logiques qu'on voudra faire, y compris en nombre dénombrable.

Le second changement est le passage de l'additivité finie à la $\sigma$-additivité. Il paraît anodin et ne l'est pas : c'est lui, et lui seul, qui donne les théorèmes de continuité, donc le droit de passer à la limite sur une suite d'événements. Sans lui, la probabilité d'un temps d'attente ne pourrait même pas être définie.

11.3.1 Espaces probabilisables, Tribus et Événements

Les trois axiomes se lisent en langage courant. Le premier dit que « quelque chose se produit » est un événement ; le deuxième que la négation d'un événement en est un ; le troisième que « l'un au moins des $A_n$ se produit » en est un, même pour une infinité dénombrable de $A_n$. C'est ce troisième point qui distingue une tribu d'une algèbre, et c'est lui qui permettra d'écrire des événements comme « le succès finit par arriver », réunion infinie des « le succès arrive au rang $n$ ».

11.3.2 Mesure de Probabilité et Continuité de la Mesure

Aucune de ces propriétés n'est propre au cas infini : elles se démontrent exactement comme en première année, à partir de l'additivité finie, qui est le cas particulier de la $\sigma$-additivité où tous les $A_n$ sont vides à partir d'un certain rang.

Ces deux énoncés se résument en une phrase : la probabilité commute avec les limites monotones d'événements. C'est le pendant probabiliste du théorème de la limite monotone, et il est constamment utilisé dans l'autre sens que celui où on l'énonce : pour calculer la probabilité d'un événement défini par une réunion ou une intersection infinie, on l'approche par ses tronquées finies, que l'on sait calculer.

Un exemple type : l'événement « le succès finit par arriver » est la réunion croissante des « le succès est arrivé avant le rang $n$ », dont la probabilité vaut $1-q^n$ ; la continuité croissante donne aussitôt que le succès est presque sûr dès que $q<1$.

11.3.3 Événements presque sûrs, négligeables et Systèmes quasi-complets

11.3.4 Probabilités Conditionnelles et Formules Fondamentales

Le dernier point de la définition est celui qu'on oublie et qui fait gagner le plus de temps : conditionner, c'est changer d'univers, et $P_B$ est une probabilité à part entière. Tous les résultats du chapitre lui sont donc applicables tels quels — probabilités totales, Bayes, espérance —, à condition de conditionner partout par le même événement.

Les trois formules se distinguent par le sens dans lequel elles font circuler l'information. Les probabilités composées descendent l'arbre, en multipliant les probabilités rencontrées le long d'une branche. Les probabilités totales le remontent, en sommant les branches qui aboutissent au même événement. Bayes, enfin, inverse le conditionnement : on connaît la probabilité de l'effet sachant la cause, on veut celle de la cause sachant l'effet.

Figure : L'arbre des probabilités conditionnelles. Descendre une branche et multiplier

les probabilités rencontrées donne la formule des probabilités composées ; sommer les feuilles qui portent le même événement $B$ donne la formule des probabilités totales ; et rapporter une feuille à cette somme donne la formule de Bayes. Les trois énoncés sont trois lectures du même arbre.</div>

11.4 Variables Aléatoires Discrètes et Lois Usuelles

11.4.1 Définition et Loi de Probabilité

Définition 11.19Variable aléatoire discrète

Une variable aléatoire discrète $X$ sur un espace probabilisé $(\Omega ,\mathcal{A},P)$ est une application $X:\Omega \to E$ (où $E\subset \mathbb{R}$ ou $\mathbb{C}$) telle que :

• L'image $X(\Omega )$ est un ensemble au plus dénombrable.
• Pour tout $x\in X(\Omega )$, l'image réciproque $X^{-1}(\{x\})=\{\omega \in \Omega \mid X(\omega )=x\}$ appartient à la tribu $\mathcal{A}$.

On note $(X=x)$ ou $\{X=x\}$ cet événement. Pour tout $A\subset X(\Omega )$, $(X\in A)={\bigcup }_{x\in A}(X=x)\in \mathcal{A}$. Lorsque $X$ est réelle, on note $(X\le x)=\{\omega \in \Omega \mid X(\omega )\le x\}$.

Définition 11.20Loi de probabilité

La loi de probabilité de la variable aléatoire discrète $X$, notée $P_X$, est l'application définie sur l'ensemble des parties de $X(\Omega )$ par :

$$\forall A\subset X(\Omega ),P_X(A)=P(X\in A)=\sum _{x\in A}P(X=x).$$

Elle est entièrement caractérisée par la distribution discrète $(P(X=x){)}_{x\in X(\Omega )}$, qui vérifie :

$$\forall x\in X(\Omega ),P(X=x)\ge 0\text{et}\sum _{x\in X(\Omega )}P(X=x)=1.$$

Si deux variables $X$ et $Y$ ont la même loi, on note $X\sim Y$. Si $X\sim Y$, alors pour toute fonction $f$, $f(X)\sim f(Y)$.

11.4.2 Lois Discrètes Usuelles

1. Loi de Bernoulli $\mathcal{B}(p)$

Modélise une expérience n'ayant que deux issues possibles (succès = 1 avec probabilité $p$, échec = 0 avec probabilité $q=1-p$).

$$X(\Omega )=\{0,1\},P(X=1)=p,P(X=0)=1-p.$$

2. Loi Binomiale $\mathcal{B}(n,p)$

Modélise le nombre de succès obtenus au cours de $n$ épreuves de Bernoulli indépendantes et de même paramètre $p\in ]0,1[$.

$$X(\Omega )=[[0,n]],P(X=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}.$$

3. Loi Géométrique $\mathcal{G}(p)$ (Temps de premier succès)

Modélise le rang du premier succès dans une suite infinie d'épreuves de Bernoulli indépendantes et de même paramètre $p\in ]0,1[$ ($q=1-p$).

$$X(\Omega )={\mathbb{N}}^{\ast }=\{1,2,3,\dots \},P(X=k)=p(1-p{)}^{k-1}=p{q}^{k-1}.$$

Proposition 11.21Propriétés de la loi géométrique

• Queue de distribution : Pour tout entier $k\in \mathbb{N}$ :

$$P(X>k)=\sum _{j=k+1}^{+\infty }p{q}^{j-1}=p\frac{q^k}{1-q}=q^k=(1-p{)}^k.$$

• Absence de mémoire : Pour tous entiers $n,k\in \mathbb{N}$ :

$$P(X>n+k\mid X>n)=\frac{P(X>n+k)}{P(X>n)}=\frac{q^{n+k}}{q^n}=q^k=P(X>k).$$

4. Loi de Poisson $\mathcal{P}(\lambda )$ (Loi des événements rares)

Modélise le nombre d'occurrences d'un événement rare dans un intervalle de temps ou d'espace continu (désintégrations radioactives, appels entrants, mutations génétiques), de paramètre d'intensité $\lambda >0$.

$$X(\Omega )=\mathbb{N}=\{0,1,2,\dots \},P(X=k)={\mathrm{e}}^{-\lambda }\frac{{\lambda }^k}{k!}.$$

Figure : La loi de Poisson $\mathcal{P}(3)$, dont les probabilités valent

$P(X=k)={\mathrm{e}}^{-3}{3}^k/k!$. Le maximum est atteint deux fois, en $k=2$ et $k=3$, où la probabilité vaut $0,2240$ : c'est une particularité des paramètres entiers, pour lesquels $P(X=\lambda )=P(X=\lambda -1)$. La décroissance en $3^k/k!$ est ensuite très rapide — $P(X\ge 8)$ ne pèse déjà plus que $1,2\%$.</div>

◆Théorème 11.22Théorème de la limite rare de Poisson

Soit $(X_n{)}_{n\ge 1}$ une suite de variables aléatoires telles que $X_n\sim \mathcal{B}(n,p_n)$. Si $n{p}_n\underset{n\to +\infty }{\to }\lambda >0$, alors pour tout entier fixé $k\in \mathbb{N}$ :

$$\underset{n\to +\infty }{\lim }P(X_n=k)={\mathrm{e}}^{-\lambda }\frac{{\lambda }^k}{k!}.$$

Démonstration

Pour $n\ge k$ :

$$P(X_n=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p_n^k(1-p_n{)}^{n-k}=\frac{n(n-1)\dots (n-k+1)}{k!}{\left(\frac{n{p}_n}{n}\right)}^k(1-p_n{)}^n(1-p_n{)}^{-k}.$$

Or $n(n-1)\dots (n-k+1)\sim n^k$, donc $\frac{n(n-1)\dots (n-k+1)}{n^k}\to 1$.
De plus, $(n{p}_n{)}^k\to {\lambda }^k$, $(1-p_n{)}^{-k}\to 1$ car $p_n\to 0$, et :

$$(1-p_n{)}^n=\exp (n\ln (1-p_n))=\exp (-n{p}_n+o(n{p}_n))\underset{n\to +\infty }{\to }{\mathrm{e}}^{-\lambda }.$$

Par produit des limites, $P(X_n=k)\underset{n\to +\infty }{\to }\frac{{\lambda }^k}{k!}{\mathrm{e}}^{-\lambda }$.

11.4.3 Couples et Vecteurs de Variables Aléatoires Discrètes

Définition 11.23Loi conjointe et Lois marginales

Soit $(X,Y)$ un couple de variables aléatoires discrètes définies sur $\Omega$, à valeurs dans $X(\Omega )\times Y(\Omega )$.

• La loi conjointe est donnée par la famille $(P(X=x,Y=y){)}_{(x,y)\in X(\Omega )\times Y(\Omega )}$.
• Les lois marginales de $X$ et $Y$ sont obtenues par sommation (formule des probabilités totales) :

$$P(X=x)=\sum _{y\in Y(\Omega )}P(X=x,Y=y)\text{et}P(Y=y)=\sum _{x\in X(\Omega )}P(X=x,Y=y).$$

Définition 11.24Loi conditionnelle

Pour tout événement $A$ tel que $P(A)>0$ (par exemple $A=(X=x)$ avec $P(X=x)>0$), la loi conditionnelle de $Y$ sachant $A$ est donnée par :

$$P(Y=y\mid X=x)=\frac{P(X=x,Y=y)}{P(X=x)}.$$

11.5 Indépendance des Événements et des Variables Aléatoires

L'indépendance est la seule notion du chapitre qui ne se lise pas sur les ensembles : elle est une propriété de la probabilité, pas des événements. Deux mêmes parties de $\Omega$ peuvent être indépendantes pour une probabilité et liées pour une autre. C'est pourquoi elle se démontre par un calcul, et ne se devine pas sur un dessin.

Elle ne doit surtout pas être confondue avec l'incompatibilité. Deux événements incompatibles de probabilité non nulle sont au contraire fortement dépendants : si $A\cap B=\varnothing$, alors $P(A\mid B)=0$, alors que l'indépendance exigerait $P(A\mid B)=P(A)>0$. Savoir que $B$ s'est produit est l'information la plus forte possible sur $A$ — elle l'exclut.

11.5.1 Indépendance d'Événements

Définition 11.25Indépendance de deux événements

Deux événements $A$ et $B$ sont dits indépendants si :

$$P(A\cap B)=P(A)P(B).$$

Si $P(B)>0$, cela équivaut à $P(A\mid B)=P(A)$.

Proposition 11.26Propriétés de l'indépendance de deux événements

Si $A$ et $B$ sont indépendants, alors les paires $(A,\bar{B})$, $(\bar{A},B)$ et $(\bar{A},\bar{B})$ sont également formées d'événements indépendants.

Définition 11.27Indépendance d'une famille finie d'événements

Une famille finie d'événements $(A_1,A_2,\dots ,A_n)$ est dite mutuellement indépendante si pour toute sous-famille d'indices $J\subset [[1,n]]$ :

$$P\left(\bigcap _{j\in J}{A}_j\right)=\prod _{j\in J}P(A_j).$$

ImportantPiège classique : Deux à deux indépendants $\ne$ Mutuellement indépendants

L'indépendance deux à deux ($P(A_i\cap A_j)=P(A_i)P(A_j)$ pour tout $i\ne j$) n'entraîne pas l'indépendance mutuelle. Exemple classique : On lance deux pièces équilibrées indépendantes. $A=({\text{P}}_1)$, $B=({\text{P}}_2)$, $C=({\text{P}}_1={\text{P}}_2)$. Les événements $A,B,C$ sont 2 à 2 indépendants mais $P(A\cap B\cap C)=1/4\ne P(A)P(B)P(C)=1/8$.

La définition de l'indépendance mutuelle porte sur toutes les sous-familles, et c'est bien nécessaire : dans l'exemple ci-dessus, les trois égalités deux à deux sont vérifiées et la quatrième, celle qui porte sur les trois événements ensemble, ne l'est pas. Il faut donc, en toute rigueur, $2^n-n-1$ vérifications pour une famille de taille $n$ — raison pour laquelle l'indépendance mutuelle est en pratique toujours postulée par l'énoncé (des lancers indépendants, des tirages avec remise) plutôt que démontrée.

11.5.2 Indépendance de Variables Aléatoires Discrètes

Définition 11.28Variables aléatoires indépendantes

Deux variables aléatoires discrètes $X$ et $Y$ définies sur $\Omega$ sont dites indépendantes, noté $X\perp \perp Y$, si :

$$\forall A\subset X(\Omega ),\forall B\subset Y(\Omega ),P(X\in A,Y\in B)=P(X\in A)P(Y\in B).$$

De façon équivalente :

$$\forall x\in X(\Omega ),\forall y\in Y(\Omega ),P(X=x,Y=y)=P(X=x)P(Y=y).$$

Une famille finie $(X_1,\dots ,X_n)$ est indépendante si :

$$\forall (x_1,\dots ,x_n)\in \prod X_i(\Omega ),P(X_1=x_1,\dots ,X_n=x_n)=\prod _{i=1}^{n}P(X_i=x_i).$$

◆Théorème 11.29Fonctions de variables indépendantes et Lemme des coalitions

Soient $X_1,X_2,\dots ,X_n$ des variables aléatoires discrètes mutuellement indépendantes.

• Stabilité par transformation : Pour toutes fonctions $f$ et $g$, si $X\perp \perp Y$, alors :

$$f(X)\perp \perp g(Y).$$

• Lemme des coalitions : Pour tout entier $1\le m<n$, et toutes fonctions $f$ et $g$ :

$$f(X_1,\dots ,X_m)\perp \perp g(X_{m+1},\dots ,X_n).$$

Le résultat s'étend à un nombre quelconque de coalitions disjointes de variables.

Le lemme des coalitions est l'outil qui rend l'indépendance exploitable. Sans lui, on ne pourrait rien dire de $X_1+X_2$ et de $X_3{X}_4$, alors que l'énoncé garantit seulement l'indépendance des $X_i$ pris un à un. Avec lui, toute quantité construite à partir d'un premier groupe de variables est indépendante de toute quantité construite à partir d'un groupe disjoint — la seule condition étant que les groupes ne partagent aucune variable. C'est ce qui autorise, dans les sommes de variables indépendantes, à traiter séparément les termes déjà additionnés et ceux qui restent.

11.6 Espérance Mathématique

L'espérance est la moyenne des valeurs prises par $X$, pondérées par leurs probabilités. Sur un univers fini, la somme est finie et il n'y a rien à discuter ; sur un univers infini, elle peut ne pas exister, et la définition se fait en deux temps — d'abord les variables positives, pour lesquelles la somme est toujours définie dans $[0,+\infty ]$, puis le cas général, par sommabilité.

11.6.1 Définition générale et Espérance finie

Définition 11.30Espérance d'une variable aléatoire positive

Soit $X$ une variable aléatoire discrète à valeurs dans $[0,+\infty ]$. L'espérance de $X$, notée $E(X)\in [0,+\infty ]$, est la somme de la famille positive $(xP(X=x){)}_{x\in X(\Omega )}$ :

$$E(X)=\sum _{x\in X(\Omega )}xP(X=x),$$

avec la convention $xP(X=x)=0$ lorsque $x=+\infty$ et $P(X=+\infty )=0$.

Définition 11.31Variable d'espérance finie

Une variable aléatoire $X$ à valeurs réelles ou complexes est dite d'espérance finie (ou intégrable) si la famille $(xP(X=x){)}_{x\in X(\Omega )}$ est sommable, c'est-à-dire si :

$$E(|X|)=\sum _{x\in X(\Omega )}|x|P(X=x)<+\infty .$$

Dans ce cas, l'espérance de $X$ est le nombre $E(X)={\sum }_{x\in X(\Omega )}xP(X=x)\in \mathbb{K}$. Une variable $X$ d'espérance finie telle que $E(X)=0$ est dite centrée.

L'ordre de ces deux définitions n'est pas un caprice de rédaction : c'est le seul moyen de définir $E(X)$ sans avoir à choisir un ordre d'énumération des valeurs. On teste la sommabilité sur $|X|$, où tout est positif et où la somme existe toujours ; puis, une fois la sommabilité acquise, la somme de la famille signée est bien définie et ne dépend d'aucun ordre.

◆Théorème 11.32Formule sommatoire pour les variables à valeurs entières

Soit $X$ une variable aléatoire à valeurs dans $\mathbb{N}\cup \{+\infty \}$. Alors :

$$E(X)=\sum _{n=1}^{+\infty }P(X\ge n).$$

$X$ est d'espérance finie si et seulement si la série $\sum P(X\ge n)$ converge.

Cette formule est un raccourci précieux : elle calcule l'espérance sans jamais faire apparaître les $P(X=k)$, et beaucoup de variables entières se décrivent bien plus facilement par leurs queues $P(X\ge n)$ que par leur loi ponctuelle — le maximum de plusieurs variables, ou un temps d'attente, en sont les exemples habituels.

Démonstration

Par Fubini positif sur la famille positive $a_{k,n}=P(X=k)1_{1\le n\le k}$ :

$$\sum _{n=1}^{+\infty }P(X\ge n)=\sum _{n=1}^{+\infty }\left(\sum _{k=n}^{+\infty }P(X=k)\right)=\sum _{k=1}^{+\infty }P(X=k)\left(\sum _{n=1}^{k}1\right)=\sum _{k=1}^{+\infty }kP(X=k)=E(X).$$

11.6.2 Formule de Transfert et Propriétés de l'Espérance

◆Théorème 11.33Formule de transfert

Soit $X$ une variable aléatoire discrète et $f:X(\Omega )\to \mathbb{K}$. La variable $f(X)$ est d'espérance finie si et seulement si la famille $(f(x)P(X=x){)}_{x\in X(\Omega )}$ est sommable. Dans ce cas :

$$E(f(X))=\sum _{x\in X(\Omega )}f(x)P(X=x).$$

Pour un couple $(X,Y)$ : $E(g(X,Y))={\sum }_{(x,y)}g(x,y)P(X=x,Y=y)$.

◆Théorème 11.34Propriétés algébriques de l'espérance

Soient $X$ et $Y$ deux variables aléatoires d'espérance finie.

• Linéarité : Pour tous $\lambda ,\mu \in \mathbb{K}$, $E(\lambda X+\mu Y)=\lambda E(X)+\mu E(Y)$.
• Positivité : Si $X\ge 0$ p.s., alors $E(X)\ge 0$.
• Croissance : Si $X\le Y$ p.s., alors $E(X)\le E(Y)$.
• Stricte positivité : Si $X\ge 0$ et $E(X)=0$, alors $X=0$ presque sûrement ($P(X=0)=1$).
• Multiplicativité pour des variables indépendantes : Si $X$ et $Y$ sont indépendantes et d'espérance finie, alors $XY$ est d'espérance finie et :

$$E(XY)=E(X)E(Y).$$

ImportantLa linéarité ne demande rien, la multiplicativité demande tout

$E(X+Y)=E(X)+E(Y)$ est vraie sans aucune hypothèse d'indépendance, pourvu que $X$ et $Y$ soient d'espérance finie. C'est la propriété la plus rentable du chapitre : elle permet de décomposer une variable compliquée en une somme d'indicatrices dont chacune a une espérance évidente, sans jamais avoir à connaître la loi de la somme ni les dépendances entre les termes.

En revanche $E(XY)=E(X)E(Y)$ exige l'indépendance, et la réciproque est fausse : deux variables peuvent vérifier cette égalité sans être indépendantes. On dit alors qu'elles sont non corrélées, ce qui est strictement plus faible — la covariance de la section suivante mesure précisément cet écart, et ne le mesure que partiellement.

Démonstration (Démonstration de la multiplicativité)

Sous l'hypothèse $X\perp \perp Y$, $P(X=x,Y=y)=P(X=x)P(Y=y)$. Par Fubini :

$$\sum _{(x,y)}|xy|P(X=x,Y=y)=\left(\sum _x|x|P(X=x)\right)\left(\sum _y|y|P(Y=y)\right)=E(|X|)E(|Y|)<+\infty .$$

Donc $XY$ est d'espérance finie, et $E(XY)={\sum }_{x,y}xyP(X=x)P(Y=y)=\left(\sum xP(X=x)\right)\left(\sum yP(Y=y)\right)=E(X)E(Y)$.

11.6.3 Espérances des Lois Usuelles

• Bernoulli $\mathcal{B}(p)$ : $E(X)=0\times (1-p)+1\times p=p$.
• Binomiale $\mathcal{B}(n,p)$ : $X={\sum }_{i=1}^n{Y}_i$ avec $Y_i\sim \mathcal{B}(p)$ i.i.d., donc $E(X)={\sum }_{i=1}^{n}E(Y_i)=np$.
• Géométrique $\mathcal{G}(p)$ : Par la formule sommatoire des queues de distribution :

$$E(X)=\sum _{n=1}^{+\infty }P(X\ge n)=\sum _{n=1}^{+\infty }{q}^{n-1}=\frac{1}{1-q}=\frac{1}{p}.$$

• Poisson $\mathcal{P}(\lambda )$ :

$$E(X)=\sum _{k=0}^{+\infty }k{\mathrm{e}}^{-\lambda }\frac{{\lambda }^k}{k!}=\lambda {\mathrm{e}}^{-\lambda }\sum _{k=1}^{+\infty }\frac{{\lambda }^{k-1}}{(k-1)!}=\lambda {\mathrm{e}}^{-\lambda }{\mathrm{e}}^{\lambda }=\lambda .$$

11.7 Variance, Covariance et Moments d'Ordre 2

L'espérance situe une variable aléatoire, la variance dit de combien elle s'en écarte. Le passage au couple de variables introduit la covariance, et avec elle une distinction qui coûte cher quand on l'oublie.

Important

L'indépendance entraîne une covariance nulle ; la réciproque est fausse. Si $X$ suit une loi symétrique et $Y=X^2$, la covariance est nulle alors que $Y$ est entièrement déterminée par $X$. Une covariance nulle ne dit rien de plus que l'absence de liaison linéaire.

La conséquence pratique est que $V(X+Y)=V(X)+V(Y)$ vaut dès que la covariance est nulle — donc sous une hypothèse plus faible que l'indépendance. C'est ce qui rend le calcul de variance d'une somme praticable dans les modèles où l'indépendance n'est pas acquise.

11.7.1 Variance et Écart-Type

Définition 11.35Variables de carré intégrable et Variance

Une variable aléatoire réelle $X$ est dite de carré intégrable (ou de moment d'ordre 2 fini) si $X^2$ est d'espérance finie : $E(X^2)<+\infty$. Dans ce cas, $X$ est automatiquement d'espérance finie ($|X|\le 1+X^2$).

• La variance de $X$ est définie par :

$$V(X)=E\left((X-E(X){)}^2\right)\ge 0.$$

• L'écart-type de $X$ est $\sigma (X)=\sqrt{V(X)}$.
• Si $\sigma (X)>0$, la variable $X^{\ast }=\frac{X-E(X)}{\sigma (X)}$ est dite centrée et réduite ($E(X^{\ast })=0$ et $V(X^{\ast })=1$).

◆Théorème 11.36Formule de Koenig-Huygens et Propriétés de la Variance

• Koenig-Huygens : $V(X)=E(X^2)-(E(X){)}^2$.
• Affinité : Pour tous $a,b\in \mathbb{R}$, $V(aX+b)=a^{2}V(X)$ et $\sigma (aX+b)=|a|\sigma (X)$.
• Nullité de la variance : $V(X)=0⟺X=E(X)$ presque sûrement ($X$ est constante p.s.).

◆Théorème 11.37Inégalité de Cauchy-Schwarz pour les variables aléatoires

Si $X$ et $Y$ sont deux variables aléatoires réelles de carré intégrable, alors $XY$ est d'espérance finie et :

$$(E(XY){)}^2\le E(X^2)E(Y^2).$$

Avec égalité si et seulement si il existe $(\alpha ,\beta )\ne (0,0)$ tel que $\alpha X+\beta Y=0$ presque sûrement.

Démonstration

Pour tout $t\in \mathbb{R}$, la variable $(tX+Y{)}^2\ge 0$ est d'espérance finie. Par positivité et linéarité :

$$P(t)=E\left((tX+Y{)}^2\right)=t^{2}E(X^2)+2tE(XY)+E(Y^2)\ge 0.$$

Ce trinôme du second degré en $t$ restant de signe constant positif ou nul sur $\mathbb{R}$, son discriminant réduit est nécessairement négatif ou nul :

$${\Delta }^{\prime }=(E(XY){)}^2-E(X^2)E(Y^2)\le 0⟹(E(XY){)}^2\le E(X^2)E(Y^2).$$

11.7.2 Covariance et Variance d'une Somme

Définition 11.38Covariance

Soient $X$ et $Y$ deux variables aléatoires de carré intégrable. La covariance de $X$ et $Y$ est :

$$\mathrm{Cov}(X,Y)=E((X-E(X))(Y-E(Y)))=E(XY)-E(X)E(Y).$$

Si $\mathrm{Cov}(X,Y)=0$, les variables $X$ et $Y$ sont dites décorrélées.

Proposition 11.39Propriétés de la covariance

• $\mathrm{Cov}(X,X)=V(X)$.
• La covariance est une forme bilinéaire symétrique positive sur l'espace des variables de carré intégrable.
• Si $X$ et $Y$ sont indépendantes, alors $\mathrm{Cov}(X,Y)=0$ (la réciproque est fausse en général).

◆Théorème 11.40Variance d'une somme finie de variables

Soient $X_1,\dots ,X_n$ des variables aléatoires de carré intégrable.

$$V\left(\sum _{i=1}^n{X}_i\right)=\sum _{i=1}^{n}V(X_i)+2\sum _{1\le i<j\le n}\mathrm{Cov}(X_i,X_j).$$

En particulier, si les variables $X_1,\dots ,X_n$ sont deux à deux indépendantes (ou simplement décorrélées) :

$$V\left(\sum _{i=1}^n{X}_i\right)=\sum _{i=1}^{n}V(X_i).$$

11.7.3 Variances des Lois Usuelles

• Bernoulli $\mathcal{B}(p)$ : $E(X^2)=p⟹V(X)=p-p^2=p(1-p)=pq$.
• Binomiale $\mathcal{B}(n,p)$ : Somme de $n$ Bernoulli indépendantes $⟹V(X)=np(1-p)=npq$.
• Géométrique $\mathcal{G}(p)$ : $E(X(X-1))={\sum }_{k=2}^{+\infty }k(k-1)p{q}^{k-1}=pq{\sum }_{j=0}^{+\infty }(j+2)(j+1)q^j=\frac{2pq}{(1-q{)}^3}=\frac{2q}{p^2}$.
  $E(X^2)=E(X(X-1))+E(X)=\frac{2q}{p^2}+\frac{1}{p}=\frac{2-p}{p^2}⟹V(X)=\frac{2-p}{p^2}-\frac{1}{p^2}=\frac{1-p}{p^2}=\frac{q}{p^2}$.
• Poisson $\mathcal{P}(\lambda )$ : $E(X(X-1))={\sum }_{k=2}^{+\infty }k(k-1){\mathrm{e}}^{-\lambda }\frac{{\lambda }^k}{k!}={\lambda }^2{\mathrm{e}}^{-\lambda }{\sum }_{k=2}^{+\infty }\frac{{\lambda }^{k-2}}{(k-2)!}={\lambda }^2$.
  $E(X^2)={\lambda }^2+\lambda ⟹V(X)=({\lambda }^2+\lambda )-{\lambda }^2=\lambda$.

11.8 Fonctions Génératrices

La fonction génératrice $G_X(t)=E(t^X)$ range toute la loi d'une variable à valeurs entières dans une seule série entière : la probabilité $P(X=n)$ y est le coefficient de $t^n$. Elle transforme des questions de probabilités en questions d'analyse, et c'est tout son intérêt.

Trois usages en découlent. Elle caractérise la loi : deux variables de même fonction génératrice ont la même loi. Elle donne les moments par dérivation en $1$ — $E(X)=G_X^{\prime }(1)$ et $V(X)=G_X^{\prime \prime }(1)+G_X^{\prime }(1)-G_X^{\prime }(1{)}^2$. Et surtout, la fonction génératrice d'une somme de variables indépendantes est le produit des fonctions génératrices : c'est ainsi qu'on retrouve en trois lignes que la somme de deux lois de Poisson est de Poisson.

11.8.1 Définition, Rayon et Caractérisation de la Loi

Définition 11.41Fonction génératrice

Soit $X$ une variable aléatoire à valeurs dans $\mathbb{N}$. La fonction génératrice de $X$, notée $G_X$, est la fonction définie par la somme de la série entière :

$$G_X(t)=E(t^X)=\sum _{n=0}^{+\infty }P(X=n)t^n.$$

◆Théorème 11.42Propriétés fondamentales de la fonction génératrice

• Rayon de convergence : Comme ${\sum }_{n=0}^{+\infty }P(X=n)=1$, le rayon de convergence $R$ de la série entière vérifie $R\ge 1$.
• Domaine de définition et continuité : La série converge normalement sur $[-1,1]$. La fonction $G_X$ est donc continue sur $[-1,1]$ et de classe ${\mathcal{C}}^{\infty }$ sur $]-1,1[$, avec $G_X(1)=1$ et $|G_X(t)|\le 1$ pour tout $t\in [-1,1]$.
• Caractérisation de la loi : La loi de $X$ est entièrement caractérisée par $G_X$ :

$$\forall n\in \mathbb{N},P(X=n)=\frac{G_X^{(n)}(0)}{n!}.$$

Figure : La fonction génératrice de la variable qui vaut $0$, $1$ ou $2$ avec les

probabilités $0,2$, $0,3$ et $0,5$, soit $G_X(t)=0,2+0,3t+0,5t^2$. Trois traits se lisent sur le dessin et valent pour toute fonction génératrice : elle passe par le point $(1,1)$, puisque la somme des probabilités vaut $1$ ; elle est croissante et convexe sur $[0,1]$, ses coefficients étant positifs ; et la pente de sa tangente en $1$ est l'espérance — ici $0,3+2\times 0,5=1,3$.</div>

11.8.2 Calcul des Moments par Dérivation en 1

◆Théorème 11.43Calcul de l'espérance et de la variance par $G_X$

Soit $X$ une variable aléatoire à valeurs dans $\mathbb{N}$.

• $X$ est d'espérance finie si et seulement si $G_X$ est dérivable à gauche en 1. Dans ce cas :

$$E(X)=G_X^{\prime }(1)=\underset{t\to 1^{-}}{\lim }{G}_X^{\prime }(t)=\sum _{n=1}^{+\infty }nP(X=n).$$

• $X$ est de carré intégrable si et seulement si $G_X$ est deux fois dérivable à gauche en 1. Dans ce cas, $E(X(X-1))=G_X^{\prime \prime }(1)$ et :

$$V(X)=G_X^{\prime \prime }(1)+G_X^{\prime }(1)-(G_X^{\prime }(1){)}^2.$$

11.8.3 Fonction Génératrice d'une Somme Indépendante

◆Théorème 11.44Produit des fonctions génératrices

Soient $X$ et $Y$ deux variables aléatoires indépendantes à valeurs dans $\mathbb{N}$. La fonction génératrice de leur somme $S=X+Y$ est donnée par :

$$\forall t\in [-1,1],G_{X+Y}(t)=G_X(t)G_Y(t).$$

Pour $n$ variables indépendantes : $G_{X_1+\dots +X_n}(t)={\prod }_{i=1}^n{G}_{X_i}(t)$.

Démonstration

Comme $X\perp \perp Y$, les variables $t^X$ et $t^Y$ sont indépendantes pour tout $t\in [-1,1]$. Par multiplicativité de l'espérance pour des variables indépendantes :

$$G_{X+Y}(t)=E\left(t^{X+Y}\right)=E\left(t^X\cdot t^Y\right)=E\left(t^X\right)E\left(t^Y\right)=G_X(t)G_Y(t).$$

11.8.4 Tableau Récapitulatif des Fonctions Génératrices Usuelles

Loi	Distribution $P(X=k)$	$G_X(t)$	$E(X)=G_X^{\prime }(1)$	$V(X)$
Bernoulli $\mathcal{B}(p)$	$P(0)=q,P(1)=p$	$q+pt=1-p+pt$	$p$	$pq$
Binomiale $\mathcal{B}(n,p)$	$\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k{q}^{n-k}$	$(q+pt{)}^n$	$np$	$npq$
Géométrique $\mathcal{G}(p)$	$p{q}^{k-1}$ ($k\ge 1$)	$\frac{pt}{1-qt}$	$\frac{1}{p}$	$\frac{q}{p^2}$
Poisson $\mathcal{P}(\lambda )$	${\mathrm{e}}^{-\lambda }\frac{{\lambda }^k}{k!}$	${\mathrm{e}}^{\lambda (t-1)}$	$\lambda$	$\lambda$

11.9 Inégalités Probabilistes et Loi Faible des Grands Nombres

Ces inégalités répondent à une question que la loi exacte ne pose pas : que peut-on affirmer quand on ne connaît que l'espérance, ou que l'espérance et la variance ? Elles sont volontairement grossières, et c'est leur force — elles ne supposent presque rien.

Markov ne demande qu'une variable positive et son espérance. Bienaymé-Tchebychev y ajoute la variance et borne l'écart à la moyenne. Ces bornes sont très larges : sur une loi normale, Tchebychev annonce au plus $25\%$ de chances de s'écarter de deux écarts-types quand la vraie valeur est proche de $5\%$. On ne les emploie donc jamais pour estimer, mais pour démontrer — et la loi faible des grands nombres en est la récompense : trois lignes à partir de Tchebychev.

11.9.1 Inégalités de Markov et de Bienaymé-Tchebychev

◆Théorème 11.45Inégalité de Markov

Soit $X$ une variable aléatoire discrète positive ($X\ge 0$) d'espérance finie. Pour tout réel $a>0$ :

$$P(X\ge a)\le \frac{E(X)}{a}.$$

Démonstration

Considérons la variable indicatrice $1_{X\ge a}$. Comme $X\ge 0$, on a l'inégalité ponctuelle :

$$a{1}_{X\ge a}\le X.$$

En effet, si $X(\omega )<a$, le membre de gauche vaut 0 et $0\le X(\omega )$. Si $X(\omega )\ge a$, le membre de gauche vaut $a\le X(\omega )$. Par croissance et linéarité de l'espérance :

$$E(a{1}_{X\ge a})\le E(X)⟹aP(X\ge a)\le E(X)⟹P(X\ge a)\le \frac{E(X)}{a}.$$

◆Théorème 11.46Inégalité de Bienaymé-Tchebychev

Soit $X$ une variable aléatoire réelle de carré intégrable, d'espérance $m=E(X)$ et de variance $V(X)$. Pour tout réel $\epsilon >0$ :

$$P(|X-m|\ge \epsilon )\le \frac{V(X)}{{\epsilon }^2}.$$

Démonstration

La variable $Y=(X-m{)}^2$ est positive et d'espérance $E(Y)=V(X)$. Remarquons que l'événement $(|X-m|\ge \epsilon )$ coïncide avec $(Y\ge {\epsilon }^2)$. En appliquant l'inégalité de Markov à la variable positive $Y$ avec le seuil $a={\epsilon }^2>0$ :

$$P(|X-m|\ge \epsilon )=P(Y\ge {\epsilon }^2)\le \frac{E(Y)}{{\epsilon }^2}=\frac{V(X)}{{\epsilon }^2}.$$

Figure : L'inégalité de Bienaymé-Tchebychev sur la loi binomiale

$\mathcal{B}(10;\frac{1}{2})$, d'espérance $m=5$ et de variance $V=2,5$, avec $\epsilon =2$. Les deux queues, en rouge, pèsent exactement $352/1024=0,344$, tandis que l'inégalité annonce $V/{\epsilon }^2=2,5/4=0,625$. La majoration est donc correcte — et presque deux fois trop grande. C'est le prix de sa généralité : elle ne suppose rien de la loi, et ne peut donc pas être fine pour une loi particulière.</div>

11.9.2 Loi Faible des Grands Nombres

◆Théorème 11.47Loi Faible des Grands Nombres

Soit $(X_n{)}_{n\ge 1}$ une suite de variables aléatoires indépendantes et identiquement distribuées (i.i.d.), de carré intégrable, d'espérance commune $m=E(X_1)$ et de variance commune ${\sigma }^2=V(X_1)$. On pose $S_n={\sum }_{k=1}^n{X}_k$ et $M_n=\frac{S_n}{n}$ la moyenne empirique. Alors, pour tout $\epsilon >0$ :

$$P\left(\left|\frac{S_n}{n}-m\right|\ge \epsilon \right)\le \frac{{\sigma }^2}{n{\epsilon }^2}\underset{n\to +\infty }{\to }0.$$

En d'autres termes, la moyenne empirique $M_n$ converge en probabilité vers l'espérance théorique $m$.

Démonstration

Par linéarité de l'espérance :

$$E\left(\frac{S_n}{n}\right)=\frac{1}{n}\sum _{k=1}^{n}E(X_k)=\frac{nm}{n}=m.$$

Comme les variables $X_k$ sont mutuellement indépendantes :

$$V\left(\frac{S_n}{n}\right)=\frac{1}{n^2}V(S_n)=\frac{1}{n^2}\sum _{k=1}^{n}V(X_k)=\frac{n{\sigma }^2}{n^2}=\frac{{\sigma }^2}{n}.$$

En appliquant directement l'inégalité de Bienaymé-Tchebychev à la variable $M_n=\frac{S_n}{n}$ :

$$P\left(\left|M_n-E(M_n)\right|\ge \epsilon \right)\le \frac{V(M_n)}{{\epsilon }^2}=\frac{{\sigma }^2}{n{\epsilon }^2}.$$

Puisque $\frac{{\sigma }^2}{n{\epsilon }^2}\to 0$ lorsque $n\to +\infty$, le résultat est démontré.

Continuer sur Adloun : animation, QCM, fiches, exercices