Le protocole complet — un mini-projet supervisé

Exercice · informatique (tronc commun des prépas scientifiques), chapitre 19 — Algorithmique de l'apprentissage : voisins et moyennes

Énoncé

Présenter les étapes indispensables d'un protocole d'apprentissage automatique supervisé rigoureux pour entraîner et évaluer un classifieur de type $k$ -NN, en mentionnant les erreurs méthodologiques à proscrire.

Corrigé

Séparation initiale des données : Shuffle aléatoire puis division des données en 3 paquets disjoints : Entraînement ( $60%$ ), Validation ( $20%$ ) et Test ( $20%$ ).
Normalisation Min-Max : Apprendre les valeurs minimales et maximales d'attributs exclusivement sur le jeu d'entraînement, puis les appliquer pour normaliser les jeux de validation et de test.
Optimisation des hyperparamètres (choix de $k$ ) : Entraîner des modèles pour différentes valeurs de $k$ sur le jeu d'entraînement, et mesurer leur taux de réussite sur le jeu de validation pour sélectionner le meilleur $k$ .
Évaluation finale : Mesurer les performances du modèle avec le $k$ optimal uniquement sur le jeu de test (qui n'a jamais été utilisé pour l'apprentissage ni pour le choix des paramètres), et dresser sa matrice de confusion. Erreurs méthodologiques à éviter :

Calculer les Min/Max de normalisation sur l'ensemble complet des données avant séparation (fuite d'information du jeu de test).
Choisir le paramètre $k$ en optimisant directement le score sur le jeu de test (le jeu de test perd sa neutralité et les résultats d'évaluation finale sont biaisés).

Les autres exercices de ce chapitre Le cours du chapitre

Un blocage sur cet exercice ? Le tuteur d'Adloun guide par questions, sans donner la réponse.