La matrice de confusion d'un dépistage

Exercice · niveau 2 · informatique (MP2I/MPI), chapitre 26 — Apprentissage automatique

Énoncé

Une maladie touche $1 %$ de la population. On teste $10000$ sujets avec un examen qui détecte $90 %$ des malades et déclare sains $95 %$ des sujets sains. Dresser la matrice de confusion, puis calculer l'exactitude, la précision et le rappel. Comparer à l'algorithme qui répond toujours « sain ».

Corrigé

Sur $10000$ sujets : $100$ malades et $9900$ sains.

	prédit positif	prédit négatif	total
réellement malade	$VP = 90$	$FN = 10$	$100$
réellement sain	$FP = 495$	$VN = 9405$	$9900$

exactitude $= (90 + 9405) /10 000 = 0, 9495$ ;
précision $= 90/ (90 + 495) = 0, 1538$ ;
rappel $= 90/100 = 0, 9000$ .

Et voici le point de l'exercice. L'algorithme qui répond toujours « sain » obtient $VN = 9900$ , $FN = 100$ , et une exactitude de $0, 9900$ . Il est donc meilleur que le vrai test sur le seul chiffre qu'on regarde d'habitude, tout en ne détectant aucun malade — son rappel est nul. Le chiffre qui les sépare est la précision, indéfinie pour lui ( $0/0$ : il ne dit jamais « positif ») et $0, 1538$ pour le test réel.

Comment lire $0, 1538$ : quand cet examen déclare quelqu'un positif, il n'a raison qu'une fois sur six et demie. Ce n'est pas un défaut de l'examen — sa sensibilité est de $90 %$ — mais l'effet de la rareté : les $5 %$ de faux positifs portent sur $9900$ personnes et en produisent $495$ , contre seulement $90$ vrais positifs. Un test excellent sur une maladie rare produit une majorité de fausses alertes, et aucune amélioration de la sensibilité n'y change rien ; il faut travailler la spécificité.

Les autres exercices de ce chapitre Le cours du chapitre

Un blocage sur cet exercice ? Le tuteur d'Adloun guide par questions, sans donner la réponse.