Le soutien scolaire fait-il baisser les notes ?

• Les moyennes finales.

$${\bar{y}}_{\text{soutien}}=\frac{8+8+10+10+11}{5}=\frac{47}{5}=9,4,{\bar{y}}_{\text{sans}}=\frac{12+13+13+15+16}{5}=\frac{69}{5}=13,8.$$

Les élèves passés par le soutien ont $4,4$ points de moins. Un lecteur pressé conclurait que le soutien fait baisser les notes, et demanderait sa suppression.

• Les progressions. Les moyennes du premier trimestre valent $\frac{40}{5}=8,0$ et $\frac{70}{5}=14,0$, donc

$$\text{soutien}:9,4-8,0=+1,4,\text{sans}:13,8-14,0=-0,2.$$

Le groupe qui a le plus faible niveau final est celui qui a le plus progressé. Les deux chiffres sont exacts, et ils racontent des histoires opposées.

• La lecture en cause. C'est la causalité inversée : ce n'est pas le soutien qui a causé le faible niveau, c'est le faible niveau qui a causé l'inscription au soutien. L'instrument qui l'écarte est la chronologie : il suffit de regarder que la variable « niveau » a été mesurée avant l'affectation, et qu'elle l'a déterminée.
• Le gain ne prouve rien non plus. Deux objections.

• La classe entière a progressé : la moyenne générale passe de $\frac{110}{10}=11,0$ à $\frac{116}{10}=11,6$.
• Surtout, on a sélectionné les cinq élèves sur une valeur extrême — les plus faibles. Une valeur extrême comporte toujours une part de circonstances (un contrôle raté, une semaine difficile), et cette part ne se reproduit pas : le groupe serait remonté un peu de toute façon. C'est le retour vers la moyenne, et il produit à lui seul un « effet » parfaitement fictif.

• Le protocole. Repérer d'abord tous les élèves éligibles au soutien — disons les dix plus faibles du niveau — puis en tirer la moitié au sort. Les deux groupes sont alors également faibles, également touchés par le retour vers la moyenne, et la différence de progression mesure le soutien et lui seul.

Sans groupe témoin, un avant-après ne mesure jamais un effet : il mesure un effet plus l'évolution spontanée plus le retour vers la moyenne.