Un jeu de données à critiquer
Exercice supplémentaire · niveau 2 · enseignement scientifique (terminale), chapitre 11 — De la machine de Turing à l'intelligence artificielle
Énoncé
Une équipe entraîne un système de détection d'une maladie de la peau à partir de photographies collectées dans trois hôpitaux universitaires d'un même pays, toutes prises avec le même appareil et annotées par des dermatologues de ces hôpitaux. Le système atteint de bonnes réponses sur des images issues du même ensemble. 1. Citer quatre biais possibles. 2. Le chiffre de est-il exploitable ? 3. Que faudrait-il faire avant tout déploiement ? 4. Quel risque particulier pèse sur les patients sous-représentés ?
Corrigé
1. Matériel : un seul modèle d'appareil, donc une colorimétrie et une résolution particulières ; les performances peuvent chuter sur d'autres appareils. Population : trois hôpitaux d'un même pays ne représentent pas la diversité des teintes de peau ni des pathologies ailleurs. Sélection : les personnes qui consultent en hôpital universitaire ne sont pas la population générale — les cas y sont plus graves ou plus atypiques. Étiquettes : les annotations sont l'avis de dermatologues, qui peuvent se tromper et partager entre eux les mêmes habitudes de jugement ; le système apprendra aussi leurs erreurs.
2. Non, tel quel. Il est calculé sur des images issues du même ensemble que l'entraînement : c'est une mesure de mémorisation autant que de généralisation. Il faudrait au minimum un jeu de test rigoureusement séparé, et idéalement provenant d'autres hôpitaux, d'autres appareils, d'autres pays.
3. Évaluer sur des données extérieures ; publier les performances par groupe et non seulement en moyenne ; mesurer séparément faux positifs et faux négatifs, dont les conséquences diffèrent totalement en dermatologie ; conduire une étude en conditions réelles ; définir qui décide en dernier ressort.
4. Les groupes sous-représentés subissent généralement des taux d'erreur plus élevés, et cette différence est invisible dans le chiffre global. Le risque est double : une performance moindre, et l'absence de signal indiquant cette moindre performance — exactement ce que l'étude de sur les systèmes d'analyse de visages avait mis en évidence.
Les autres exercices de ce chapitre Le cours du chapitre
Un blocage sur cet exercice ? Le tuteur d'Adloun guide par questions, sans donner la réponse.