Variables aléatoires discrètes

Cours complet · mathématiques (MP/MPI), chapitre 9 · MP et MPI (2e année)

Travailler ce chapitre sur Adloun Exercices corrigés de ce chapitre

<i class="fa-solid fa-compass mr-2" style="color:#9A563B"></i>9.1 Introduction et motivation

Ce chapitre généralise aux variables aléatoires discrètes l'étude menée en première année des variables aléatoires à valeurs dans un ensemble fini. Cette généralisation nécessite quelques notions générales de théorie des probabilités, exposées a minima :

la notion de tribu est introduite pour donner un cadre rigoureux, mais n'appelle aucun développement théorique (la manipulation de tribus n'est pas un objectif) ;
la construction d'espaces probabilisés n'est pas un objectif du programme ;
les notions de convergence (presque sûre, en probabilité, en loi), les variables à densité et l'espérance conditionnelle sont hors programme.

La théorie des familles sommables permet une extension très naturelle des notions de première année : les sommes finies deviennent des sommes de familles indexées par un ensemble au plus dénombrable. L'objectif est de renforcer la compréhension de l'aléatoire : l'essentiel du chapitre vit dans les exemples — lois géométrique et de Poisson, pile ou face infini, permutations aléatoires, marches aléatoires, inégalités de concentration, fonctions génératrices (où les séries entières du chapitre 6 deviennent un outil probabiliste).

9.2 Ensembles dénombrables

Définition 9.1Dénombrable, au plus dénombrable

Un ensemble est dénombrable s'il est en bijection avec $N$ — ses éléments peuvent être énumérés en une suite $(x_{0}, x_{1}, x_{2}, \dots)$ sans répétition. Un ensemble est au plus dénombrable s'il est fini ou dénombrable, ce qui équivaut à être en bijection avec une partie de $N$ .

◆Théorème 9.2Propriétés fondamentales

Toute partie infinie de $N$ est dénombrable.
Un produit cartésien fini d'ensembles dénombrables est dénombrable.
Une réunion finie ou dénombrable d'ensembles finis ou dénombrables est finie ou dénombrable.

Les démonstrations ne sont pas exigibles. (Idées : pour 1, énumérer la partie par ordre croissant ; pour 2, il suffit de traiter $N^{2}$ , énuméré par diagonales successives — voir la figure ; pour 3, fusionner les énumérations en gérant les répétitions.)

Exemple 9.3Le bestiaire

$N^{p}$ ( $p \in N^{*}$ ), $Z$ et $Q$ sont dénombrables ( $Z$ : énumérer $0, 1, - 1, 2, - 2, \dots$ ; $Q$ : injecter dans $Z \times N^{*}$ par $\frac{p}{q}$ irréductible). Le support d'une famille sommable de nombres complexes est au plus dénombrable (pour chaque $n$ , les indices avec $∣ a_{i} ∣ \geq \frac{1}{n}$ sont en nombre fini, et on prend la réunion dénombrable). En revanche, $R$ n'est pas dénombrable (démonstration non exigible — l'argument diagonal de Cantor : si l'on énumère des réels de $] 0, 1 [$ par leurs développements décimaux, le réel dont la $n$ -ième décimale diffère de la $n$ -ième décimale du $n$ -ième réel échappe à l'énumération).

ImportantFamilles sommables : le minimum vital

On utilisera librement les faits suivants sur les sommes indexées par un ensemble $J$ au plus dénombrable.

Cas positif : pour $(a_{j})_{j \in J}$ à valeurs dans $[0, + \infty]$ , la somme $\sum_{j \in J} a_{j} = sup {\sum_{j \in F} a_{j} : F \subset J fini}$ a toujours un sens dans $[0, + \infty]$ , ne dépend d'aucun ordre d'énumération, et la sommation par paquets est toujours licite : si $J = ⨆_{k} J_{k}$ (partition au plus dénombrable), alors $\sum_{J} a_{j} = \sum_{k} (\sum_{J_{k}} a_{j})$ .
Cas sommable : $(a_{j})$ complexe est sommable si $\sum_{J} ∣ a_{j} ∣ < + \infty$ ; sa somme est alors bien définie (indépendante de l'ordre), et paquets et Fubini discret ( $\sum_{(i, j)} b_{i} c_{j} = (\sum b_{i}) (\sum c_{j})$ , et plus généralement l'échange des deux indices d'une famille double sommable) sont licites.

Pour une famille indexée par $N$ : $(u_{n})_{n \in N}$ est sommable si et seulement si la série $\sum u_{n}$ converge absolument, et la somme de la famille est alors la somme de la série.

Le parallèle avec le chapitre 8 est exact : « positif : tout est permis dans $[0, + \infty]$ ; sommable : tout est permis ; sinon : prudence ». Toutes les sommes de ce chapitre relèvent de l'un de ces deux cas.

9.3 Espaces probabilisés

Définition 9.4Tribu, espace probabilisable

Une tribu sur un ensemble $Ω$ est un ensemble $A$ de parties de $Ω$ contenant $Ω$ , stable par passage au complémentaire et par réunion dénombrable. Le couple $(Ω, A)$ est un espace probabilisable ; les éléments de $A$ sont les événements. Tout le vocabulaire de première année se généralise : événement contraire $A$ , « $A$ et $B$ » ( $A \cap B$ ), « $A$ ou $B$ » ( $A \cup B$ ), incompatibles ( $A \cap B = \emptyset$ ), événement élémentaire, système complet.

Définition 9.5Probabilité

Une probabilité sur $(Ω, A)$ est une application $P : A \to [0, 1]$ telle que $P (Ω) = 1$ et, pour toute suite $(A_{n})_{n \in N}$ d'événements deux à deux incompatibles ( $σ$ -additivité) :

$P (n = 0 ⋃ + \infty A_{n}) = n = 0 \sum + \infty P (A_{n}) .$

Le triplet $(Ω, A, P)$ est un espace probabilisé. On retrouve les propriétés de première année : $P (\emptyset) = 0$ , additivité finie, $P (A) = 1 - P (A)$ , croissance, $P (A \cup B) = P (A) + P (B) - P (A \cap B)$ .

◆Théorème 9.6Continuité monotone

Soit $(A_{n})$ une suite d'événements.

Continuité croissante : si $A_{n} \subset A_{n + 1}$ pour tout $n$ , alors $P (⋃_{n} A_{n}) = n \to \infty lim P (A_{n})$ .
Continuité décroissante : si $A_{n + 1} \subset A_{n}$ pour tout $n$ , alors $P (⋂_{n} A_{n}) = n \to \infty lim P (A_{n})$ .

Application : pour une suite $(A_{n})$ quelconque, $P (⋃_{k = 0}^{n} A_{k}) \to P (⋃_{k = 0}^{+ \infty} A_{k})$ et $P (⋂_{k = 0}^{n} A_{k}) \to P (⋂_{k = 0}^{+ \infty} A_{k})$ (les suites $⋃_{k \leq n} A_{k}$ et $⋂_{k \leq n} A_{k}$ sont monotones).

Démonstration

Cas croissant : posons $B_{0} = A_{0}$ et $B_{n} = A_{n} ∖ A_{n - 1}$ ( $n \geq 1$ ) : les $B_{n}$ sont deux à deux incompatibles, de réunion $⋃_{n} A_{n}$ , et $⋃_{k \leq n} B_{k} = A_{n}$ . La $σ$ -additivité donne

$P (n ⋃ A_{n}) = k = 0 \sum + \infty P (B_{k}) = n \to \infty lim k = 0 \sum n P (B_{k}) = n \to \infty lim P (A_{n}) .$

Cas décroissant : passer aux complémentaires ( $A_{n}$ est croissante) et utiliser $P (\cdot) = 1 - P (\cdot)$ .

◆Théorème 9.7Sous-additivité dénombrable

Pour toute suite $(A_{n})$ d'événements : $P (n = 0 ⋃ + \infty A_{n}) \leq n = 0 \sum + \infty P (A_{n})$ .

Démonstration

$C_{n} = A_{n} ∖ (A_{0} \cup \dots \cup A_{n - 1})$ : les $C_{n}$ sont incompatibles, de même réunion, et $C_{n} \subset A_{n}$ donne $P (C_{n}) \leq P (A_{n})$ ; on conclut par $σ$ -additivité.

Définition 9.8Négligeables, presque sûrs, systèmes quasi-complets

Un événement $A$ est négligeable si $P (A) = 0$ , presque sûr si $P (A) = 1$ . Par sous-additivité, une réunion finie ou dénombrable de négligeables est négligeable (et par complémentaire, une intersection au plus dénombrable de presque sûrs est presque sûre). Un système quasi-complet est une famille au plus dénombrable d'événements deux à deux incompatibles dont la réunion est presque sûre. Tout développement supplémentaire sur ces notions est hors programme.

9.4 Probabilités conditionnelles et indépendance

◆Théorème 9.9Conditionnement : extension de la première année

Si $P (B) > 0$ , la probabilité conditionnelle $P_{B} (A) = P (A ∣ B) = \frac{P ( A \cap B )}{P ( B )}$ définit une probabilité sur $(Ω, A)$ , et l'on dispose, comme en première année :

de la formule des probabilités composées : $P (A_{1} \cap \dots \cap A_{n}) = P (A_{1}) P (A_{2} ∣ A_{1}) \dots P (A_{n} ∣ A_{1} \cap \dots \cap A_{n - 1})$ ;
de la formule des probabilités totales, désormais avec un système quasi-complet au plus dénombrable $(B_{n})$ : $P (A) = \sum_{n} P (A \cap B_{n}) = \sum_{n} P (A ∣ B_{n}) P (B_{n})$ (somme d'une famille positive, avec la convention $P (A ∣ B_{n}) P (B_{n}) = 0$ si $P (B_{n}) = 0$ ) ;
de la formule de Bayes : $P (B_{k} ∣ A) = \frac{P ( A ∣ B _{k} ) P ( B _{k} )}{\sum _{n} P ( A ∣ B _{n} ) P ( B _{n} )}$ si $P (A) > 0$ .

Définition 9.10Indépendance

$A$ et $B$ sont indépendants si $P (A \cap B) = P (A) P (B)$ — lorsque $P (B) > 0$ , cela s'écrit $P (A ∣ B) = P (A)$ : savoir que $B$ est réalisé ne change rien à la probabilité de $A$ . Une famille $(A_{i})_{i \in I}$ est indépendante (on dit aussi mutuellement indépendante) si pour toute partie finie $F \subset I$ : $P (⋂_{i \in F} A_{i}) = \prod_{i \in F} P (A_{i})$ .

Attention

L'indépendance deux à deux n'implique pas l'indépendance de la famille : avec deux dés équilibrés, $A$ = « le premier dé est pair », $B$ = « le second est pair », $C$ = « la somme est paire » sont deux à deux indépendants ( $P = \frac{1}{2}$ , intersections deux à deux $= \frac{1}{4}$ ), mais $P (A \cap B \cap C) = \frac{1}{4} \neq = \frac{1}{8}$ (exercice 14 de la banque). L'indépendance mutuelle exige toutes les intersections finies.

Proposition 9.11Stabilité par complémentaire

Si $A$ et $B$ sont indépendants, alors $A$ et $B$ le sont aussi (puis $A$ et $B$ ).

Démonstration

$P (A \cap B) = P (A) - P (A \cap B) = P (A) - P (A) P (B) = P (A) (1 - P (B)) = P (A) P (B)$ .

9.5 Espaces probabilisés discrets

Définition 9.12Distribution de probabilités discrète

Une distribution de probabilités discrète sur un ensemble $Ω$ est une famille $(p_{ω})_{ω \in Ω}$ de réels positifs de somme $1$ . Son support ${ω : p_{ω} > 0}$ est au plus dénombrable (support d'une famille sommable).

◆Théorème 9.13Probabilité associée

Si $(p_{ω})_{ω \in Ω}$ est une distribution de probabilités discrète, la formule

$P (A) = ω \in A \sum p_{ω} (A \subset Ω)$

définit une probabilité sur $(Ω, P (Ω))$ — la $σ$ -additivité est exactement la sommation par paquets des familles positives. Réciproquement, si $Ω$ est au plus dénombrable, toute probabilité sur $P (Ω)$ est de cette forme, avec $p_{ω} = P ({ω})$ : sur un univers au plus dénombrable, donner une probabilité, c'est donner la famille des probabilités élémentaires.

Exemple 9.14

Sur $Ω = N$ , la famille $p_{k} = \frac{1}{2 ^{k + 1}}$ est une distribution ( $\sum_{k} 2^{- k - 1} = 1$ , géométrique). En revanche, il n'existe aucune probabilité uniforme sur $N$ : si tous les $p_{k}$ étaient égaux, leur somme vaudrait $0$ ou $+ \infty$ (exercice 16 de la banque).

9.6 Variables aléatoires discrètes

Définition 9.15Variable aléatoire discrète

Une variable aléatoire discrète sur $(Ω, A, P)$ , à valeurs dans un ensemble $E$ , est une application $X : Ω \to E$ telle que $X (Ω)$ soit au plus dénombrable et que, pour tout $x \in X (Ω)$ , $X^{- 1} ({x}) \in A$ . Notations : $(X = x)$ ou ${X = x}$ pour $X^{- 1} ({x})$ , $(X \in A)$ pour $X^{- 1} (A)$ . Si $E = R$ , la variable est dite réelle, et l'on note $(X \leq x)$ , $(X \geq x)$ , $(X < x)$ , $(X > x)$ . Dans toute la suite, les variables aléatoires sont supposées discrètes.

Définition 9.16Loi d'une variable aléatoire

La loi de $X$ est la probabilité $P_{X} : A \mapsto P (X \in A)$ (définie au besoin sur un ensemble contenant $X (Ω)$ ). Elle est entièrement déterminée par la distribution de probabilités discrète $(P (X = x))_{x \in X (Ω)}$ — connaître une loi discrète, c'est connaître les $P (X = x)$ . On note $X \sim Y$ lorsque $X$ et $Y$ ont la même loi (elles peuvent vivre sur des espaces probabilisés différents).

Proposition 9.17Image d'une variable aléatoire

Si $X$ est une variable aléatoire discrète à valeurs dans $E$ et $f : X (Ω) \to F$ , alors $f (X) = f \circ X$ est une variable aléatoire discrète, de loi $P (f (X) = y) = \sum_{x : f (x) = y} P (X = x)$ . Si $X \sim Y$ , alors $f (X) \sim f (Y)$ — la loi de l'image ne dépend que de la loi.

Définition 9.18Loi conditionnelle, couples, marginales

La loi conditionnelle de $X$ sachant $A$ ( $P (A) > 0$ ) est la distribution $(P (X = x ∣ A))_{x \in X (Ω)}$ . Un couple $(X, Y)$ est une variable aléatoire à valeurs dans un produit ; sa loi est la loi conjointe, donnée par les $P (X = x, Y = y) = P ((X = x) \cap (Y = y))$ . Les lois marginales s'en déduisent par sommation (probabilités totales sur le système quasi-complet $(Y = y)_{y}$ ) :

$P (X = x) = y \sum P (X = x, Y = y), P (Y = y) = x \sum P (X = x, Y = y) .$

Extension immédiate aux $n$ -uplets. Attention : la conjointe détermine les marginales, mais les marginales ne déterminent pas la conjointe (exercice 24 de la banque).

9.7 Variables aléatoires indépendantes

Définition 9.19Indépendance de variables aléatoires

$X$ et $Y$ sont indépendantes, noté $X ⊥ ⊥ Y$ , si pour tous $x \in X (Ω)$ , $y \in Y (Ω)$ :

$P (X = x, Y = y) = P (X = x) P (Y = y),$

autrement dit si la distribution conjointe est le produit des distributions marginales — ce qui équivaut à $P (X \in A, Y \in B) = P (X \in A) P (Y \in B)$ pour tous $A, B$ (sommation par paquets). Une famille finie $(X_{1}, \dots, X_{n})$ est indépendante si $P (X_{1} = x_{1}, \dots, X_{n} = x_{n}) = \prod_{i} P (X_{i} = x_{i})$ pour tous $x_{i}$ ; une famille quelconque est indépendante si toutes ses sous-familles finies le sont. Suite i.i.d. : indépendante et identiquement distribuée.

◆Théorème 9.20Fonctions de variables indépendantes et coalitions

Si $X ⊥ ⊥ Y$ , alors $f (X) ⊥ ⊥ g (Y)$ pour toutes fonctions $f, g$ (extension à plus de deux variables).
Lemme des coalitions : si $X_{1}, \dots, X_{n}$ sont indépendantes, alors $f (X_{1}, \dots, X_{m})$ et $g (X_{m + 1}, \dots, X_{n})$ sont indépendantes (extension à plus de deux coalitions). Des blocs disjoints de variables indépendantes restent indépendants, quoi qu'on en fasse.

Démonstration

Pour le premier point : $P (f (X) = u, g (Y) = v) = \sum P (X = x, Y = y)$ (somme sur les $x, y$ des fibres), qui se factorise par indépendance et Fubini positif en $(\sum_{x} P (X = x)) (\sum_{y} P (Y = y)) = P (f (X) = u) P (g (Y) = v)$ . Le lemme des coalitions s'obtient par le même calcul de sommation par paquets sur les fibres de $f$ et $g$ .

◆Théorème 9.21Existence de suites indépendantes

Pour toute suite de lois discrètes données, il existe un espace probabilisé portant une suite $(X_{n})_{n \geq 1}$ de variables aléatoires indépendantes ayant ces lois. (Démonstration hors programme.) Modélisation du pile ou face infini : une suite i.i.d. $(X_{n})$ de variables de Bernoulli de paramètre $p$ modélise une infinité de lancers indépendants d'une pièce — le cadre de tout le chapitre.

9.8 Lois usuelles

iRemarqueAcquis de première année

Sur un univers fini : loi uniforme, loi de Bernoulli $B (p)$ ( $P (X = 1) = p$ , $P (X = 0) = 1 - p$ , $E (X) = p$ , $V (X) = p (1 - p)$ ), loi binomiale $B (n, p)$ ( $P (X = k) = (k n) p^{k} (1 - p)^{n - k}$ , somme de $n$ Bernoulli indépendantes, $E = n p$ , $V = n p (1 - p)$ ). Les deux lois nouvelles sont infinies : c'est précisément pour elles qu'il fallait étendre la théorie.

Définition 9.22Loi géométrique

Pour $p \in] 0, 1 [$ , la loi géométrique $G (p)$ est la loi sur $N^{*}$ donnée par

$P (X = k) = (1 - p)^{k - 1} p (k \in N^{*}) .$

C'est bien une distribution : $\sum_{k \geq 1} (1 - p)^{k - 1} p = \frac{p}{1 - ( 1 - p )} = 1$ . Notation $X \sim G (p)$ .

Proposition 9.23Le rang du premier succès

Dans le jeu de pile ou face infini de paramètre $p$ (suite i.i.d. de Bernoulli), le rang du premier succès $T = min {n : X_{n} = 1}$ suit la loi $G (p)$ , et l'événement « aucun succès » est négligeable. En effet $P (T = k) = P (X_{1} = 0, \dots, X_{k - 1} = 0, X_{k} = 1) = (1 - p)^{k - 1} p$ par indépendance, et $P (aucun succ e ˋ s) = lim P (X_{1} = \dots = X_{n} = 0) = lim (1 - p)^{n} = 0$ par continuité décroissante. Retenir aussi : $P (T > n) = (1 - p)^{n}$ .

Définition 9.24Loi de Poisson

Pour $λ \in R_{+}^{*}$ , la loi de Poisson $P (λ)$ est la loi sur $N$ donnée par

$P (X = k) = e^{- λ} \frac{λ ^{k}}{k !} (k \in N)$

(distribution : $\sum_{k} \frac{λ ^{k}}{k !} = e^{λ}$ , la série exponentielle du chapitre 6). Notation $X \sim P (λ)$ . Interprétation : loi des événements rares — limite de $B (n, \frac{λ}{n})$ quand $n \to \infty$ (exercice 5) : beaucoup d'essais, chacun de faible probabilité, en moyenne $λ$ succès. C'est le modèle standard des comptages (appels reçus, particules émises, coquilles par page).

Les deux lois infinies du programme : décroissance géométrique contre bosse poissonienne

9.9 Espérance

Définition 9.25Espérance : cas positif puis cas sommable

Si $X$ est à valeurs dans $R_{+} \cup {+ \infty}$ , son espérance est la somme, dans $[0, + \infty]$ , de la famille positive : $E (X) = \sum_{x \in X (Ω)} x P (X = x)$ — elle existe toujours.
Une variable complexe $X$ est d'espérance finie si la famille $(x P (X = x))_{x \in X (Ω)}$ est sommable ; sa somme est alors l'espérance $E (X)$ . Notation $X \in L^{1}$ (on ne soulève aucune difficulté sur la définition précise de $L^{1}$ ). $X$ est centrée si $E (X) = 0$ .

◆Théorème 9.26Espérance par les queues

Si $X$ est à valeurs dans $N \cup {+ \infty}$ :

$E (X) = n = 1 \sum + \infty P (X \geq n) .$

Démonstration

Tout est positif : la sommation par paquets (Fubini positif) est licite. En écrivant $P (X \geq n) = \sum_{k \geq n} P (X = k) + P (X = + \infty)$ :

$n \geq 1 \sum P (X \geq n) = n \geq 1 \sum k \geq n \sum P (X = k) + n \geq 1 \sum P (X = + \infty) = k \geq 1 \sum k P (X = k) + \sum_{n} P (X = + \infty),$

en comptant pour chaque $k$ les entiers $n \in [[1, k]]$ ; si $P (X = + \infty) > 0$ , les deux membres valent $+ \infty$ , et sinon le second terme est nul : c'est l'égalité annoncée. (Lecture : l'espérance est l'aire sous la « courbe des queues » — souvent le calcul le plus rapide, voir l'exercice 2.)

◆Théorème 9.27Formule de transfert

Soit $X$ une variable aléatoire discrète et $f$ une fonction définie sur $X (Ω)$ à valeurs complexes. Alors $f (X)$ est d'espérance finie si et seulement si la famille $(f (x) P (X = x))_{x \in X (Ω)}$ est sommable, et dans ce cas :

$E (f (X)) = x \in X (Ω) \sum f (x) P (X = x) .$

L'espérance de $f (X)$ se calcule avec la loi de $X$ , sans jamais déterminer la loi de $f (X)$ .

Démonstration

Sommation par paquets sur les fibres de $f$ : en groupant les $x$ selon la valeur $y = f (x)$ ,

$x \sum ∣ f (x) ∣ P (X = x) = y \sum ∣ y ∣ x : f (x) = y \sum P (X = x) = y \sum ∣ y ∣ P (f (X) = y),$

ce qui prouve l'équivalence des sommabilités ; le même calcul sans les modules donne la formule.

◆Théorème 9.28Propriétés de l'espérance

Sur $L^{1}$ : linéarité ( $E (λ X + μ Y) = λ E (X) + μ E (Y)$ ), positivité ( $X \geq 0 \Rightarrow E (X) \geq 0$ ), croissance, inégalité triangulaire $∣ E (X) ∣ \leq E (∣ X ∣)$ . De plus :

(domination) si $∣ X ∣ \leq Y$ et $Y \in L^{1}$ , alors $X \in L^{1}$ ;
(caractérisation de l'espérance nulle) si $X \geq 0$ et $E (X) = 0$ , alors $X = 0$ presque sûrement (i.e. $P (X = 0) = 1$ ) : tous les $x P (X = x)$ sont nuls, donc $P (X = x) = 0$ pour $x \neq = 0$ .

(Linéarité : transfert appliqué au couple $(X, Y)$ avec $f (x, y) = λ x + μ y$ , puis sommation par paquets ; les autres points sont des propriétés des familles sommables.)

◆Théorème 9.29Espérance d'un produit de variables indépendantes

Si $X, Y \in L^{1}$ sont indépendantes, alors $X Y \in L^{1}$ et

$E (X Y) = E (X) E (Y)$

(extension à $n$ variables indépendantes). Sans indépendance, c'est faux en général — c'est tout l'objet de la covariance.

Démonstration

Transfert au couple : la famille $(x y P (X = x) P (Y = y))_{(x, y)}$ est sommable comme produit de deux familles sommables (Fubini discret), de somme $(\sum_{x} x P (X = x)) (\sum_{y} y P (Y = y)) = E (X) E (Y)$ .

Exemple 9.30Espérances des lois usuelles

Géométrique $X \sim G (p)$ : par les queues, $E (X) = \sum_{n \geq 1} P (X \geq n) = \sum_{n \geq 1} (1 - p)^{n - 1} = \frac{1}{p}$ — en moyenne, le premier succès arrive au rang $\frac{1}{p}$ (intuitif : un événement de probabilité $\frac{1}{6}$ se produit en moyenne au sixième essai). Poisson $X \sim P (λ)$ : $E (X) = \sum_{k \geq 1} k e^{- λ} \frac{λ ^{k}}{k !} = λ e^{- λ} \sum_{k \geq 1} \frac{λ ^{k - 1}}{( k - 1 )!} = λ$ — le paramètre est la moyenne.

9.10 Variance, écart type et covariance

◆Théorème 9.31L2 et inégalité de Cauchy-Schwarz

On note $X \in L^{2}$ si $E (X^{2}) < + \infty$ (variables réelles ; aucune difficulté sur la définition précise de $L^{2}$ ). Alors :

$L^{2} \subset L^{1}$ : si $E (X^{2}) < + \infty$ , $X$ est d'espérance finie (domination $∣ X ∣ \leq \frac{1 + X ^{2}}{2}$ ) ;
Cauchy-Schwarz : si $X, Y \in L^{2}$ , alors $X Y \in L^{1}$ et

$E (X Y)^{2} \leq E (X^{2}) E (Y^{2}),$

avec égalité si et seulement si $X$ et $Y$ sont presque sûrement colinéaires (domination $∣ X Y ∣ \leq \frac{X ^{2} + Y ^{2}}{2}$ ; puis le trinôme $t \mapsto E ((X + t Y)^{2}) \geq 0$ a un discriminant négatif ; l'égalité force un zéro double $t_{0}$ , et $E ((X + t_{0} Y)^{2}) = 0$ donne $X + t_{0} Y = 0$ presque sûrement).

Définition 9.32Variance, écart type

Pour $X \in L^{2}$ , la variance et l'écart type sont

$V (X) = E ((X - E (X))^{2}), σ (X) = V (X) .$

$X$ est réduite si $V (X) = 1$ . La variance mesure la dispersion quadratique autour de la moyenne.

Proposition 9.33Règles de calcul

Kœnig-Huygens : $V (X) = E (X^{2}) - E (X)^{2}$ (développer le carré, linéarité).
$V (a X + b) = a^{2} V (X)$ : la variance ignore les translations et est quadratique en l'échelle. Si $σ (X) > 0$ , la variable $\frac{X - E ( X )}{σ ( X )}$ est centrée réduite.
Variance nulle : $V (X) = 0$ si et seulement si $X$ est presque sûrement constante (égale à $E (X)$ ) — appliquer la caractérisation de l'espérance nulle à $(X - E (X))^{2}$ .

Définition 9.34Covariance

Pour $X, Y \in L^{2}$ , la covariance est $Cov (X, Y) = E ((X - E (X)) (Y - E (Y)))$ , et l'on a

$Cov (X, Y) = E (X Y) - E (X) E (Y) .$

Si $X ⊥ ⊥ Y$ , alors $Cov (X, Y) = 0$ ( $E (X Y) = E (X) E (Y)$ ) ; on dit que $X, Y$ sont décorrélées. La réciproque est fausse : décorrélation n'est pas indépendance (exercice 29 de la banque).

◆Théorème 9.35Variance d'une somme

Pour $X_{1}, \dots, X_{n} \in L^{2}$ :

$V (i = 1 \sum n X_{i}) = i = 1 \sum n V (X_{i}) + 2 1 \leq i < j \leq n \sum Cov (X_{i}, X_{j}) .$

Si les variables sont deux à deux décorrélées (en particulier si elles sont indépendantes) : $V (\sum X_{i}) = \sum V (X_{i})$ — la variance devient additive, c'est le moteur de la loi des grands nombres.

Exemple 9.36Variances des lois usuelles

Géométrique : $E (X (X - 1)) = \sum_{k} k (k - 1) q^{k - 1} p = pq \cdot \frac{2}{( 1 - q ) ^{3}} = \frac{2 q}{p ^{2}}$ (série dérivée seconde, chapitre 6, $q = 1 - p$ ), d'où $V (X) = \frac{2 q}{p ^{2}} + \frac{1}{p} - \frac{1}{p ^{2}} = \frac{1 - p}{p ^{2}}$ . Poisson : $E (X (X - 1)) = λ^{2}$ (même mécanique), d'où $V (X) = λ^{2} + λ - λ^{2} = λ$ — pour Poisson, moyenne $=$ variance, signature de la loi.

9.11 Inégalités probabilistes et loi faible des grands nombres

◆Théorème 9.37Inégalité de Markov

Si $X$ est une variable aléatoire positive d'espérance finie, alors pour tout $a > 0$ :

$P (X \geq a) \leq \frac{E ( X )}{a} .$

Démonstration

$a 1_{(X \geq a)} \leq X$ (sur l'événement, $X \geq a$ ; ailleurs, $0 \leq X$ ). La croissance de l'espérance donne $a P (X \geq a) \leq E (X)$ .

◆Théorème 9.38Inégalité de Bienaymé-Tchebychev

Si $X \in L^{2}$ , alors pour tout $ε > 0$ :

$P (∣ X - E (X) ∣ \geq ε) \leq \frac{V ( X )}{ε ^{2}} .$

Démonstration

Markov appliquée à la variable positive $(X - E (X))^{2}$ avec le seuil $ε^{2}$ : $P ((X - E (X))^{2} \geq ε^{2}) \leq \frac{V ( X )}{ε ^{2}}$ , et l'événement est exactement $(∣ X - E (X) ∣ \geq ε)$ .

◆Théorème 9.39Loi faible des grands nombres

Soit $(X_{n})_{n \geq 1}$ une suite i.i.d. de variables aléatoires de variance finie, $m = E (X_{1})$ et $S_{n} = X_{1} + \dots + X_{n}$ . Alors pour tout $ε > 0$ :

$P (\frac{S _{n}}{n} - m \geq ε) n \to \infty 0.$

Démonstration

Par linéarité, $E (\frac{S _{n}}{n}) = m$ ; par indépendance (donc décorrélation), $V (\frac{S _{n}}{n}) = \frac{1}{n ^{2}} \sum_{k = 1}^{n} V (X_{k}) = \frac{σ ^{2}}{n}$ où $σ^{2} = V (X_{1})$ . Bienaymé-Tchebychev donne alors

$P (\frac{S _{n}}{n} - m \geq ε) \leq \frac{σ ^{2}}{n ε ^{2}} n \to \infty 0.$

La moyenne empirique se concentre autour de la moyenne théorique — la fréquence observée d'un événement converge (en ce sens) vers sa probabilité : c'est le pont entre le modèle et l'expérience, avec en prime une vitesse explicite en $\frac{1}{n ε ^{2}}$ (exercice 8).

iRemarqueInégalités de concentration

Le schéma « espérance $+$ variance $+$ Markov/Bienaymé-Tchebychev » fournit des inégalités de concentration : des bornes explicites, valables à $n$ fixé, sur la probabilité qu'une quantité aléatoire s'écarte de sa moyenne. C'est l'outil de travail sur les objets aléatoires du programme — sondages (exercice 8), permutations aléatoires (exercice 27 de la banque), marches aléatoires (exercice 34).

9.12 Fonctions génératrices

Définition 9.40Fonction génératrice

Pour $X$ à valeurs dans $N$ , la fonction génératrice de $X$ est la somme de la série entière

$G_{X} (t) = E (t^{X}) = k = 0 \sum + \infty P (X = k) t^{k} .$

◆Théorème 9.41Propriétés fondamentales

Le rayon de convergence de $G_{X}$ est $\geq 1$ , la série converge normalement sur le disque fermé $D (0, 1)$ , et $G_{X}$ est continue sur ce disque, avec $G_{X} (1) = 1$ .
La loi est déterminée par $G_{X}$ : $P (X = k) = \frac{G _{X}^{(k)} ( 0 )}{k !}$ (coefficients d'une série entière, chapitre 6).
$X$ est d'espérance finie si et seulement si $G_{X}$ est dérivable en $1$ , et dans ce cas $E (X) = G_{X}^{'} (1)$ (la démonstration de la réciproque n'est pas exigible).

Démonstration

1. $\sum ∣ P (X = k) t^{k} ∣ \leq \sum P (X = k) = 1$ pour $∣ t ∣ \leq 1$ : convergence normale sur $D (0, 1)$ (donc rayon $\geq 1$ ), et la continuité suit (chapitre 6). 2. Unicité des coefficients d'une série entière. 3. Pour $0 \leq t < 1$ , le taux d'accroissement s'écrit

$\frac{G _{X} ( 1 ) - G _{X} ( t )}{1 - t} = k \geq 1 \sum P (X = k) \frac{1 - t ^{k}}{1 - t} = k \geq 1 \sum P (X = k) (1 + t + \dots + t^{k - 1}),$

fonction croissante de $t$ dont chaque terme croît vers $k P (X = k)$ : par limite monotone (familles positives), le taux tend vers $\sum_{k} k P (X = k) \in [0, + \infty]$ . Le taux a donc une limite finie en $1^{-}$ si et seulement si $E (X) < + \infty$ , et cette limite est $E (X)$ .

ImportantLes quatre génératrices à savoir calculer immédiatement

$Bernoulli B (p) : 1 - p + pt; binomiale B (n, p) : (1 - p + pt)^{n};$

$g e ˊ om e ˊ trique G (p) : \frac{pt}{1 - ( 1 - p ) t} (∣ t ∣ < \frac{1}{1 - p}); Poisson P (λ) : e^{λ (t - 1)} .$

Usage pour les moments : $E (X) = G_{X}^{'} (1)$ et $E (X (X - 1)) = G_{X}^{''} (1)$ (sous réserve d'existence), d'où

$V (X) = G_{X}^{''} (1) + G_{X}^{'} (1) - G_{X}^{'} (1)^{2} .$

Vérification immédiate sur Poisson : $G^{'} = λ e^{λ (t - 1)}$ , $G^{''} = λ^{2} e^{λ (t - 1)}$ , donc $E = λ$ et $V = λ^{2} + λ - λ^{2} = λ$ .

◆Théorème 9.42Génératrice d'une somme indépendante

Si $X_{1}, \dots, X_{n}$ sont indépendantes à valeurs dans $N$ , alors

$G_{X_{1} + \dots + X_{n}} = G_{X_{1}} \dots G_{X_{n}} .$

Démonstration

Pour deux variables et $∣ t ∣ \leq 1$ : $t^{X}$ et $t^{Y}$ sont indépendantes (fonctions de variables indépendantes) et bornées, donc $E (t^{X + Y}) = E (t^{X} t^{Y}) = E (t^{X}) E (t^{Y})$ ; récurrence pour $n$ . (La génératrice transforme les sommes indépendantes en produits — c'est sa raison d'être : voir la stabilité de Poisson, exercice 7, et les sommes aléatoires, exercice 10.)

Continuer sur Adloun : animation, QCM, fiches, exercices