informatique (tronc commun des prépas scientifiques) · Chapitre 19 · Exercice de TD
La courbe en U — choisir
Algorithmique de l'apprentissage : voisins et moyennes · niveau 2
Énoncé
On génère deux classes de points bidimensionnels se chevauchant légèrement. On évalue le taux de réussite sur le jeu d'entraînement et le jeu de test pour différentes valeurs de . Expliquer l'allure générale de ces deux courbes de performance.
Corrigé
- Sur le jeu d'entraînement : Pour , le taux de réussite est de (chaque point est son propre plus proche voisin). Lorsque augmente, la performance diminue progressivement car la frontière de décision se lisse et ignore les particularités locales des points.
- Sur le jeu de test : Pour , le taux de réussite est sous-optimal car le modèle reproduit le bruit des données d'entraînement (surapprentissage). Quand augmente, la performance s'améliore (les votes lissent le bruit) pour atteindre un optimum (par exemple vers ou ). Si devient trop grand (proche de ), la performance s'effondre à nouveau car le modèle se contente de prédire la classe majoritaire globale en ignorant la structure locale (sous-apprentissage). La courbe d'erreur sur le jeu de test décrit ainsi une forme en U, dont le minimum correspond au meilleur choix de .
