Statistique à deux variables quantitatives

Cours complet · mathématiques complémentaires (terminale), chapitre 10 · terminale, option mathématiques complémentaires

Travailler ce chapitre sur Adloun Exercices corrigés de ce chapitre

Le carnet de santé d'un enfant contient une page quadrillée. À chaque visite, le pédiatre y reporte un point : l'âge en abscisse, la taille en ordonnée. Au bout de quelques années, ces points forment un nuage, et le médecin y lit deux choses qu'aucune mesure isolée ne donne — une tendance, et des écarts à cette tendance.

Toutes les disciplines qui mesurent deux grandeurs à la fois font ce geste : la dose d'un médicament et l'effet obtenu, la teneur de l'atmosphère en dioxyde de carbone et la température moyenne du globe, la superficie d'une île et le nombre d'espèces qui y vivent, le prix d'un bien et la quantité vendue, le revenu d'un pays et l'espérance de vie de ses habitants. Chaque fois, la question est la même : ces deux séries varient-elles ensemble, et si oui, comment.

Ce chapitre construit une réponse en quatre temps : résumer le nuage par une droite — la mieux placée possible, en un sens qu'il faudra définir ; mesurer la qualité de ce résumé ; redresser les nuages courbés pour se ramener au cas précédent ; et enfin savoir jusqu'où l'on a le droit d'aller. Ce dernier point est le plus important, et le plus mal compris. Une corrélation, même très forte, ne dit jamais qui cause quoi.

Problématique. Comment résumer un nuage de points par une droite, et que peut-on — ou ne peut-on pas — en déduire ?

10.1 Le nuage de points et le point moyen

10.1.1 Série statistique double

Définition 10.1Série statistique double, nuage de points

On observe deux caractères quantitatifs $x$ et $y$ sur les mêmes $n$ individus. On obtient une série statistique double, c'est-à-dire une liste de $n$ couples

$(x_{1}; y_{1}), (x_{2}; y_{2}), \dots, (x_{n}; y_{n}) .$

Dans un repère, les points $M_{i} (x_{i}; y_{i})$ forment le nuage de points de la série.

iRemarque

Ce qui compte est que les deux mesures portent sur le même individu : l'âge et la taille du même enfant, la dose reçue et la baisse de tension du même patient. Apparier deux séries qui ne décrivent pas les mêmes individus n'a aucun sens, même si les calculs, eux, fonctionnent encore.

Définition 10.2Point moyen

Le point moyen de la série est le point $G (x ˉ; y ˉ)$ , où

$x ˉ = \frac{1}{n} i = 1 \sum n x_{i} et y ˉ = \frac{1}{n} i = 1 \sum n y_{i} .$

Proposition 10.3Le point moyen équilibre le nuage

Les écarts à la moyenne se compensent exactement :

$i = 1 \sum n (x_{i} - x ˉ) = 0 et i = 1 \sum n (y_{i} - y ˉ) = 0.$

Démonstration

En développant la première somme, $\sum (x_{i} - x ˉ) = \sum x_{i} - n x ˉ = n x ˉ - n x ˉ = 0$ , puisque $\sum x_{i} = n x ˉ$ par définition de $x ˉ$ . Le raisonnement est identique pour $y$ .

Exemple 10.4La taille d'un enfant

Un pédiatre relève, tous les deux ans, la taille d'un garçon (valeurs proches des courbes de référence de l'OMS, arrondies au centimètre) :

$a ˆ ge x_{i} (ans) taille y_{i} (cm) 28841036116812910139$

Ici $n = 5$ et

$x ˉ = \frac{2 + 4 + 6 + 8 + 10}{5} = 6, y ˉ = \frac{88 + 103 + 116 + 129 + 139}{5} = \frac{575}{5} = 115.$

Le point moyen est $G (6; 115)$ . Il n'est pas un point du nuage : à six ans, l'enfant mesurait $116$ cm.

10.1.2 Ajuster : remplacer un nuage par une droite

Définition 10.5Ajustement affine

Ajuster affinement un nuage, c'est choisir une droite d'équation $y = a x + b$ qui le résume, et remplacer la vraie valeur $y_{i}$ par la valeur prédite $y^_{i} = a x_{i} + b$ .

Encore faut-il que le nuage s'y prête. Le premier geste n'est donc pas un calcul mais un dessin : si les points s'organisent autour d'une droite, l'ajustement affine a un sens ; s'ils dessinent une courbe, il faudra le préparer (section sec:mc10chgvar).

Méthode : Un ajustement à la main : la droite des points moyens

Quand on ne dispose ni de calculatrice ni d'ordinateur, on obtient une droite raisonnable en trois gestes (méthode dite de Mayer) :

ranger les points par abscisses croissantes et couper la série en deux moitiés de même effectif ;
calculer le point moyen $G_{1}$ de la première moitié et le point moyen $G_{2}$ de la seconde ;
tracer la droite $(G_{1} G_{2})$ .

Cette droite passe toujours par le point moyen $G$ de la série entière, car $G$ est le milieu de $[G_{1} G_{2}]$ lorsque les deux moitiés ont le même effectif.

iRemarque

La droite des points moyens est commode mais arbitraire : elle dépend de la coupure choisie, et deux personnes peuvent obtenir deux droites. Il faut donc un critère, c'est-à-dire une définition de ce que veut dire la meilleure droite. C'est l'objet de la section suivante.

10.2 La droite des moindres carrés

10.2.1 Les résidus, et le critère

Définition 10.6Résidu

Pour une droite d'ajustement $y = a x + b$ , le résidu du $i$ -ième individu est l'écart vertical

$e_{i} = y_{i} - y^_{i} = y_{i} - (a x_{i} + b) .$

Il est positif si le point est au-dessus de la droite, négatif s'il est en dessous.

Pourquoi ne pas simplement demander que la somme des résidus soit nulle ? Parce qu'une infinité de droites le réalisent : un résidu de $+ 100$ et un résidu de $- 100$ se compensent aussi bien que deux résidus nuls. On demande donc que la somme de leurs carrés soit la plus petite possible — les grands écarts, élevés au carré, deviennent alors très coûteux.

Définition 10.7Droite des moindres carrés

La droite des moindres carrés de $y$ en $x$ est la droite $y = a x + b$ qui rend minimale la quantité

$S (a, b) = i = 1 \sum n e_{i}^{2} = i = 1 \sum n (y_{i} - (a x_{i} + b))^{2} .$

On l'appelle aussi droite de régression de $y$ en $x$ .

!Attention

Les résidus se mesurent verticalement, et non perpendiculairement à la droite. Cela rend les deux variables dissymétriques : la droite des moindres carrés de $y$ en $x$ et celle de $x$ en $y$ sont deux droites différentes (elles ne coïncident que si les points sont parfaitement alignés). Il faut donc savoir laquelle des deux grandeurs on cherche à prédire — c'est elle qu'on met en ordonnée.

10.2.2 Le théorème, et sa démonstration

Définition 10.8Covariance

La covariance de la série double est le nombre

$cov (x, y) = \frac{1}{n} i = 1 \sum n (x_{i} - x ˉ) (y_{i} - y ˉ) .$

On rappelle que la variance de la série $x$ est $V (x) = \frac{1}{n} \sum (x_{i} - x ˉ)^{2}$ , et que son écart type est $s_{x} = V (x)$ ; de même $s_{y} = V (y)$ .

◆Théorème 10.9Droite des moindres carrés

On suppose que les $x_{i}$ ne sont pas tous égaux, c'est-à-dire $V (x) \neq = 0$ . Alors il existe une unique droite des moindres carrés de $y$ en $x$ ; son équation est $y = a x + b$ avec

$a = \frac{cov ( x , y )}{V ( x )} = \frac{i = 1 \sum n ( x _{i} - x ˉ ) ( y _{i} - y ˉ )}{i = 1 \sum n ( x _{i} - x ˉ ) ^{2}} et b = y ˉ - a x ˉ .$

En particulier, cette droite passe par le point moyen $G (x ˉ; y ˉ)$ .

Démonstration (de la droite des moindres carrés)

Tout repose sur un fait de première : un trinôme $α t^{2} + β t + γ$ dont le coefficient dominant $α$ est strictement positif atteint son minimum en $t = - \frac{β}{2 α}$ , et en ce point seulement.

Première étape : à pente fixée, la hauteur. Fixons $a$ et posons $t_{i} = y_{i} - a x_{i}$ . Alors

$S (a, b) = i = 1 \sum n (t_{i} - b)^{2} = n b^{2} - 2 b i = 1 \sum n t_{i} + i = 1 \sum n t_{i}^{2},$

trinôme du second degré en $b$ de coefficient dominant $n > 0$ . Son minimum est atteint pour

$b = \frac{1}{n} i = 1 \sum n t_{i} = \frac{1}{n} (i = 1 \sum n y_{i} - a i = 1 \sum n x_{i}) = y ˉ - a x ˉ .$

Quelle que soit la pente, la meilleure ordonnée à l'origine est $y ˉ - a x ˉ$ : la droite optimale passe par $G$ .

Deuxième étape : la pente. Reportons $b = y ˉ - a x ˉ$ . Le résidu s'écrit alors

$y_{i} - (a x_{i} + b) = y_{i} - a x_{i} - y ˉ + a x ˉ = (y_{i} - y ˉ) - a (x_{i} - x ˉ) .$

Posons $X_{i} = x_{i} - x ˉ$ et $Y_{i} = y_{i} - y ˉ$ . La somme à minimiser devient une fonction de la seule variable $a$ :

$S (a) = i = 1 \sum n (Y_{i} - a X_{i})^{2} = (i = 1 \sum n X_{i}^{2}) a^{2} - 2 (i = 1 \sum n X_{i} Y_{i}) a + i = 1 \sum n Y_{i}^{2} .$

C'est encore un trinôme du second degré, en $a$ cette fois, de coefficient dominant $\sum X_{i}^{2} = n V (x)$ , strictement positif par hypothèse. Son minimum est donc atteint en un unique point :

$a = \frac{i = 1 \sum n X _{i} Y _{i}}{i = 1 \sum n X _{i}^{2}} = \frac{\frac{1}{n} \sum ( x _{i} - x ˉ ) ( y _{i} - y ˉ )}{\frac{1}{n} \sum ( x _{i} - x ˉ ) ^{2}} = \frac{cov ( x , y )}{V ( x )} .$

Conclusion. Notons $a^{*}$ cette pente et $b^{*} = y ˉ - a^{*} x ˉ$ . Pour tout couple $(a, b)$ , la première étape donne $S (a, b) \geq S (a, y ˉ - a x ˉ) = S (a)$ , et la seconde $S (a) \geq S (a^{*}) = S (a^{*}, b^{*})$ . Le couple $(a^{*}, b^{*})$ réalise donc bien le minimum de $S$ , et il est le seul.

Proposition 10.10Deux contrôles gratuits

Pour la droite des moindres carrés :

elle passe par le point moyen : $y ˉ = a x ˉ + b$ ;
la somme des résidus est nulle : $i = 1 \sum n e_{i} = 0$ .

Démonstration

Le point 1 est la définition même de $b$ . Pour le point 2,

$i = 1 \sum n e_{i} = i = 1 \sum n (y_{i} - a x_{i} - b) = n y ˉ - a n x ˉ - nb = n (y ˉ - a x ˉ - b) = 0,$

puisque $b = y ˉ - a x ˉ$ .

!Le réflexe

Ces deux propriétés sont les vérifications à faire systématiquement après un calcul de calculatrice ou de programme. Si la droite obtenue ne passe pas par $G$ , ou si les résidus ne se compensent pas, c'est qu'une donnée a été mal saisie ou qu'on a échangé les deux listes. C'est le contrôle qui trahit un ajustement bricolé.

10.2.3 Calculer en pratique

Méthode : Obtenir la droite des moindres carrés

Dessiner le nuage — d'abord, toujours. Si la forme n'est pas rectiligne, on s'arrête là et on passe à la section sec:mc10chgvar.
Calculer $x ˉ$ et $y ˉ$ , puis les écarts $x_{i} - x ˉ$ et $y_{i} - y ˉ$ .
Calculer $a$ comme le quotient de $\sum (x_{i} - x ˉ) (y_{i} - y ˉ)$ par $\sum (x_{i} - x ˉ)^{2}$ , puis $b = y ˉ - a x ˉ$ .
Contrôler : la droite passe-t-elle par $G$ ? La somme des résidus est-elle nulle ?

Sur calculatrice, le mode statistique à deux variables donne directement $a$ et $b$ ; en Python, numpy.polyfit(x, y, 1) renvoie le couple $(a, b)$ .

Exemple 10.11La taille de l'enfant, calculée à la main

On reprend la série du pédiatre, avec $x ˉ = 6$ et $y ˉ = 115$ :

$x_{i} y_{i} x_{i} - x ˉ y_{i} - y ˉ (x_{i} - x ˉ) (y_{i} - y ˉ) (x_{i} - x ˉ)^{2} 288 - 4 - 27 10816 4103 - 2 - 12 244 611601008129214284101394249616 somme 0025640$

D'où

$a = \frac{256}{40} = 6, 4 et b = 115 - 6, 4 \times 6 = 115 - 38, 4 = 76, 6.$

La droite des moindres carrés est $y = 6, 4 x + 76, 6$ . La pente s'interprète : sur cette période, l'enfant grandit d'environ $6, 4$ cm par an.

Contrôle. Les valeurs prédites sont $89, 4$ ; $102, 2$ ; $115$ ; $127, 8$ ; $140, 6$ , donc les résidus valent

$- 1, 4; + 0, 8; + 1; + 1, 2; - 1, 6,$

de somme $- 1, 4 + 0, 8 + 1 + 1, 2 - 1, 6 = 0$ . Et $6, 4 \times 6 + 76, 6 = 115 = y ˉ$ : la droite passe bien par $G$ .

Exemple 10.12Pression artérielle et âge

Six patients d'une même consultation (relevés fictifs, mais d'allure réaliste) : on note l'âge $x$ et la pression artérielle systolique $y$ , en mmHg.

$x_{i} (ans) y_{i} (mmHg) 201163011040118501366013470154$

On trouve $x ˉ = 45$ , $y ˉ = 128$ , puis $\sum (x_{i} - x ˉ) (y_{i} - y ˉ) = 1400$ et $\sum (x_{i} - x ˉ)^{2} = 1750$ , d'où

$a = \frac{1400}{1750} = 0, 8 et b = 128 - 0, 8 \times 45 = 92.$

La droite est $y = 0, 8 x + 92$ : en moyenne, la systolique monte de $0, 8$ mmHg par année d'âge, soit $8$ mmHg par décennie. Les résidus valent $+ 8$ ; $- 6$ ; $- 6$ ; $+ 4$ ; $- 6$ ; $+ 6$ , de somme nulle.

Le nombre $b = 92$ n'a, lui, aucun sens médical : il correspondrait à la pression d'un nouveau-né, très loin des données. On y reviendra à la section sec:mc10interp.


import numpy as np

def ajustement(x, y):
    # Renvoie (a, b, residus) pour la droite des moindres carres de y en x.
    x, y = np.array(x, float), np.array(y, float)
    xb, yb = x.mean(), y.mean()
    a = ((x - xb) * (y - yb)).sum() / ((x - xb) ** 2).sum()
    b = yb - a * xb
    return a, b, y - (a * x + b)

age    = [20, 30, 40, 50, 60, 70]
systol = [116, 110, 118, 136, 134, 154]
a, b, e = ajustement(age, systol)
print(a, b)                 # 0.8 92.0
print(e, e.sum())           # [ 8. -6. -6.  4. -6.  6.] 0.0
print(np.polyfit(age, systol, 1))   # [ 0.8 92. ]  -- meme resultat

10.3 Le coefficient de corrélation

La droite des moindres carrés existe toujours, même quand le nuage n'a aucune forme allongée : la formule ne proteste pas. Il faut donc un indicateur qui mesure à quel point le nuage est effectivement rectiligne.

Définition 10.13Coefficient de corrélation linéaire

On suppose $s_{x} \neq = 0$ et $s_{y} \neq = 0$ . Le coefficient de corrélation linéaire de la série double est

$r = \frac{cov ( x , y )}{s _{x} s _{y}} = \frac{i = 1 \sum n ( x _{i} - x ˉ ) ( y _{i} - y ˉ )}{i = 1 \sum n ( x _{i} - x ˉ ) ^{2} \times i = 1 \sum n ( y _{i} - y ˉ ) ^{2}} .$

Proposition 10.14Encadrement et cas d'égalité

On a toujours $- 1 \leq r \leq 1$ . De plus $∣ r ∣ = 1$ si et seulement si les points du nuage sont exactement alignés.

Démonstration

Reprenons la fonction $S$ de la démonstration précédente, avec $X_{i} = x_{i} - x ˉ$ et $Y_{i} = y_{i} - y ˉ$ :

$S (a) = i = 1 \sum n (Y_{i} - a X_{i})^{2} = (\sum X_{i}^{2}) a^{2} - 2 (\sum X_{i} Y_{i}) a + \sum Y_{i}^{2} .$

C'est une somme de carrés : $S (a) \geq 0$ pour tout réel $a$ . Un trinôme de coefficient dominant strictement positif qui ne prend jamais de valeur strictement négative a un discriminant négatif ou nul :

$Δ = 4 (\sum X_{i} Y_{i})^{2} - 4 (\sum X_{i}^{2}) (\sum Y_{i}^{2}) \leq 0,$

c'est-à-dire $(\sum X_{i} Y_{i})^{2} \leq (\sum X_{i}^{2}) (\sum Y_{i}^{2})$ . En divisant par le membre de droite, qui est strictement positif, on obtient $r^{2} \leq 1$ , donc $- 1 \leq r \leq 1$ .

Le cas $∣ r ∣ = 1$ correspond à $Δ = 0$ , c'est-à-dire à l'existence d'une valeur $a_{0}$ pour laquelle $S (a_{0}) = 0$ . Une somme de carrés est nulle seulement si chaque carré l'est : $Y_{i} = a_{0} X_{i}$ pour tout $i$ , autrement dit $y_{i} = a_{0} (x_{i} - x ˉ) + y ˉ$ — tous les points sont sur une même droite.

Proposition 10.15Lecture de

r

Avec les notations du théorème,

$a = r \frac{s _{y}}{s _{x}} et S_{m i n} = n s_{y}^{2} (1 - r^{2}) .$

En particulier $a$ et $r$ ont toujours le même signe, et $r^{2}$ mesure la part de la dispersion de $y$ que la droite explique.

Démonstration

La première égalité est immédiate : $a = \frac{cov ( x , y )}{s _{x}^{2}} = \frac{r s _{x} s _{y}}{s _{x}^{2}} = r \frac{s _{y}}{s _{x}}$ . Pour la seconde, on reporte $a$ dans $S$ :

$S_{m i n} = \sum Y_{i}^{2} - \frac{( \sum X _{i} Y _{i} ) ^{2}}{\sum X _{i}^{2}} = n s_{y}^{2} - \frac{n ^{2} cov ( x , y ) ^{2}}{n s _{x}^{2}} = n s_{y}^{2} (1 - \frac{cov ( x , y ) ^{2}}{s _{x}^{2} s _{y}^{2}}) = n s_{y}^{2} (1 - r^{2}) .∎$

iRemarque

Si $r = \pm 1$ , alors $S_{m i n} = 0$ : tous les résidus sont nuls, le modèle est exact. Si $r = 0$ , alors $S_{m i n} = n s_{y}^{2}$ : la droite des moindres carrés est horizontale et ne fait pas mieux que de prédire $y ˉ$ pour tout le monde. En pratique, au lycée, on retient $∣ r ∣ \geq 0, 95$ comme un alignement convaincant, sans lui donner la valeur d'un test.

!Attention

Le coefficient $r$ ne mesure qu'une chose : la proximité du nuage à une droite. Un $r$ proche de $0$ ne veut pas dire aucun lien — il peut y avoir un lien parfait mais courbé, en cloche ou en U, que $r$ ne voit pas. Et un $r$ proche de $1$ ne garantit pas que le modèle affine soit le bon : le jeu II d'Anscombe, très nettement courbé, affiche $r \approx 0, 82$ . On regarde toujours le nuage, puis les résidus, avant de faire confiance à $r$ .

Exemple 10.16Trois coefficients

Pour la taille de l'enfant, $cov (x, y) = \frac{256}{5} = 51, 2$ , $s_{x} = 8 \approx 2, 83$ et $s_{y} = 329, 2 \approx 18, 14$ , donc

$r = \frac{51 , 2}{2 , 83 \times 18 , 14} \approx 0, 998 :$

alignement quasi parfait. Pour les pressions artérielles, le même calcul donne $r \approx 0, 913$ — une tendance nette, mais des individus qui s'en écartent franchement. Pour le prix d'un bien et la quantité vendue, on trouvera au contraire un $r$ négatif : les deux séries varient en sens contraire.

10.4 Se ramener à un ajustement affine

Beaucoup de phénomènes ne sont pas affines : une population qui se multiplie, un médicament qui s'élimine, un nombre d'espèces qui croît avec la surface. Leur nuage est courbé. L'idée est alors de changer de variable pour redresser le nuage, d'ajuster affinement le nuage redressé, puis de revenir au modèle de départ.

Méthode : Les trois changements de variable classiques

Modèle exponentiel $y = A e^{b x}$ (croissance ou décroissance à taux constant). On pose $z = ln y$ ; alors

$z = ln (A e^{b x}) = ln A + b x,$

qui est affine en $x$ . On ajuste $z$ en $x$ : la pente donne $b$ , et l'ordonnée à l'origine $β$ donne $A = e^{β}$ .

Modèle puissance $y = A x^{c}$ (lois d'échelle, biologie, géographie). On pose $z = ln y$ et $u = ln x$ ; alors

$z = ln A + c ln x = ln A + c u,$

affine en $u$ . La pente est directement l'exposant $c$ .

Modèle inverse $y = \frac{c}{x} + d$ . On pose $u = \frac{1}{x}$ ; alors $y = c u + d$ , affine en $u$ .

Dans les trois cas : on transforme, on ajuste, on revient.

Exemple 10.17Un traceur en médecine nucléaire

Pour une scintigraphie, on injecte du technétium 99m. Un compteur mesure l'activité $A$ du traceur, en mégabecquerels, toutes les deux heures :

$t (h) A (MBq) z = ln A 0800 6, 685 2634 6, 452 4506 6, 227 6399 5, 989 8318 5, 762 10251 5, 526$

Le nuage $(t; A)$ est courbé, mais le nuage $(t; z)$ est remarquablement aligné : la calculatrice donne

$z = - 0, 1158 t + 6, 685 avec r \approx - 0, 99998.$

On revient au modèle de départ :

$A = e^{z} = e^{6, 685} e^{- 0, 1158 t} \approx 801 e^{- 0, 1158 t} .$

La demi-vie du traceur est le temps $T$ tel que $e^{- 0, 1158 T} = \frac{1}{2}$ , soit

$T = \frac{ln 2}{0 , 1158} \approx 5, 99 h,$

ce qui restitue à un centième d'heure près la demi-vie tabulée du technétium 99m, $6, 0$ heures.

!Attention

Ajuster après transformation n'est pas la même chose qu'ajuster avant : les moindres carrés sur $z = ln y$ minimisent les écarts sur les logarithmes, ce qui revient à donner plus de poids aux petites valeurs de $y$ . Les deux modèles obtenus ne coïncident pas exactement. Ce n'est pas une erreur — c'est un choix, et le choix logarithmique est le bon quand ce sont les écarts relatifs qui comptent, ce qui est le cas de tous les phénomènes multiplicatifs.

!Le réflexe

Le choix du changement de variable ne se devine pas : il vient du mécanisme. Une quantité qui perd le même pourcentage par unité de temps appelle $z = ln y$ . Une quantité qui double quand une autre est multipliée par une constante appelle $ln y$ contre $ln x$ . Un tracé de $ln y$ contre $x$ , puis de $ln y$ contre $ln x$ , tranche en quelques secondes : le nuage le plus droit gagne.

10.5 Interpoler, extrapoler

Définition 10.18Interpolation, extrapolation

Soit $[x_{m i n}; x_{m a x}]$ l'intervalle balayé par les abscisses observées. Utiliser l'ajustement pour estimer $y$ en une valeur $x$ :

à l'intérieur de $[x_{m i n}; x_{m a x}]$ , c'est interpoler ;
à l'extérieur de $[x_{m i n}; x_{m a x}]$ , c'est extrapoler.

!Attention

Interpoler est raisonnable ; extrapoler est un pari. Les données ne contiennent aucune information sur ce qui se passe hors de leur intervalle : c'est le modèle seul qui parle, et rien ne garantit qu'il vaille encore. La droite ajustée sur la croissance d'un enfant de $2$ à $10$ ans annonce $204, 6$ cm à $20$ ans ; la même droite, prolongée vers l'arrière, annonce $76, 6$ cm à la naissance et une taille négative avant. Un coefficient de corrélation de $0, 998$ n'y change rien : il mesure l'ajustement sur les données, pas sa validité ailleurs.

!Le réflexe

Trois réflexes avant d'annoncer une prévision.

Où suis-je ? Dans l'intervalle des données, ou en dehors — et de combien ?
Le résultat est-il possible ? Un pourcentage supérieur à $100$ , une quantité négative, une taille de $2, 05$ m signalent que le modèle a quitté son domaine de validité.
Le mécanisme tient-il encore ? Une croissance s'arrête, un marché sature, une population plafonne. Si le mécanisme change, le modèle change.

10.6 Corrélation n'est pas causalité

C'est le point de ce chapitre que l'on retiendra le plus longtemps, et le seul qui serve tous les jours en dehors du cours de mathématiques.

Proposition 10.19Ce que

r

ne dit pas

Une corrélation forte entre deux variables $X$ et $Y$ est compatible avec au moins quatre situations distinctes :

causalité directe : $X$ agit sur $Y$ ;
variable de confusion : une troisième variable $Z$ agit sur $X$ et sur $Y$ , sans qu'il y ait de lien entre eux ;
causalité inversée : c'est $Y$ qui agit sur $X$ ;
coïncidence : aucun lien, mais deux séries qui se ressemblent — d'autant plus facile à trouver qu'on cherche parmi beaucoup de séries.

Aucun calcul statistique effectué sur les seules données $(x_{i}; y_{i})$ ne permet de distinguer ces quatre cas.

Exemple 10.20Les glaces et les noyades

Dans une région littorale, les ventes de glaces et le nombre de noyades accidentelles, relevés mois par mois, sont corrélés à $r \approx 0, 98$ . Interdire les glaces ne sauvera pourtant personne : la chaleur estivale fait à la fois vendre des glaces et attirer les baigneurs. La température est ici la variable de confusion. L'exercice qui reprend ces données le montre par le calcul : une fois retiré l'effet de la température de chacune des deux séries, il ne reste plus aucune corrélation entre elles.

!Le réflexe

Trois questions à se poser devant une corrélation, avant toute conclusion.

Existe-t-il un mécanisme plausible qui relie $X$ à $Y$ ? Sait-on comment l'un agirait sur l'autre ?
Quelle troisième variable pourrait expliquer les deux à la fois ? (Le temps, la richesse, l'âge, la taille de la population sont les confondantes les plus fréquentes.)
Le sens est-il le bon ? Que se passe-t-il si l'on retourne la flèche ?

iRemarqueCe qui, lui, établit une causalité

Une seule méthode tranche vraiment : l'expérience contrôlée. On répartit les individus au hasard en deux groupes, on applique le traitement à l'un et pas à l'autre, et l'on compare. Le tirage au sort casse le lien avec toutes les variables de confusion, connues ou non — c'est exactement ce que fait un essai clinique randomisé. Quand l'expérience est impossible (on ne tire pas au sort les pays qui augmenteront leurs dépenses de santé), on ne dispose que de corrélations, et la prudence reste de mise.

10.7 Bilan

Proposition 10.21L'essentiel du chapitre

Un nuage se résume d'abord par son point moyen $G (x ˉ; y ˉ)$ , où les écarts à la moyenne se compensent.
La droite des moindres carrés de $y$ en $x$ minimise la somme des carrés des résidus $e_{i} = y_{i} - (a x_{i} + b)$ . Elle a pour coefficients

$a = \frac{cov ( x , y )}{V ( x )} et b = y ˉ - a x ˉ .$

La démonstration tient en deux trinômes : l'un en $b$ à pente fixée, l'autre en $a$ .

Deux contrôles gratuits : la droite passe par $G$ , et la somme des résidus est nulle. Un ajustement qui les rate est faux.
Le coefficient de corrélation $r = \frac{cov ( x , y )}{s _{x} s _{y}}$ vérifie $- 1 \leq r \leq 1$ , avec $∣ r ∣ = 1$ exactement lorsque les points sont alignés. Il ne mesure que l'alignement : on regarde toujours le nuage, puis les résidus.
Un nuage courbé se redresse par un changement de variable : $z = ln y$ pour un modèle exponentiel, $(ln x; ln y)$ pour un modèle puissance, $u = 1/ x$ pour un modèle inverse. On transforme, on ajuste, on revient.
Interpoler entre les données est raisonnable ; extrapoler au-delà est un pari, que ni un beau $r$ ni un joli graphique ne justifient.
Enfin, et surtout : une corrélation, même forte, n'établit jamais une causalité. Variable de confusion, causalité inversée, pure coïncidence — seules une expérience contrôlée ou la connaissance d'un mécanisme peuvent trancher.

Continuer sur Adloun : animation, QCM, fiches, exercices