Trois questions d'éthique

(a) Problèmes : l'algorithme est entraîné sur des décisions passées et reproduira leurs éventuelles inégalités ; la personne dont la demande est refusée ne peut pas savoir pourquoi ni contester utilement. Garanties : n'utiliser le système que comme aide à l'instruction, la décision restant humaine ; garantir un droit d'explication et de recours ; publier les taux d'erreur par catégorie de demandeurs.

(b) Problèmes : la collecte de données biométriques sans consentement, dans un lieu que l'on ne peut pas éviter ; les écarts de performance selon les groupes, qui font peser le risque d'erreur de manière inégale ; l'effet sur la liberté d'aller et venir et de manifester. Garanties : un cadre juridique limitant strictement les finalités et les durées de conservation, une autorisation préalable et un contrôle indépendant, des évaluations publiques par groupe. C'est le type d'usage que la réglementation européenne adoptée en $2024$ classe parmi les plus sensibles.

(c) Problèmes : le travail rendu n'atteste plus l'apprentissage qu'il est censé évaluer ; l'outil produit des énoncés plausibles mais non vérifiés, y compris des références inexistantes, que l'élève n'est pas en mesure de repérer sur un sujet qu'il ne maîtrise pas. Garanties : expliciter ce qui est autorisé et ce qui ne l'est pas ; exiger la déclaration de l'usage ; concevoir des évaluations qui portent sur le raisonnement et sur des situations nouvelles ; et surtout apprendre à vérifier — ce qui suppose de connaître le sujet, et boucle la boucle.