Dessiner la frontière de décision

Algorithmique de l'apprentissage : voisins et moyennes · niveau 3 (difficile)

Énoncé

Décrire l'impact visuel du choix de $k$ sur la frontière de décision du $k$ -NN tracée sur le plan.

Pour $k = 1$ , la frontière est complexe, sinueuse et déchiquetée. Elle présente de multiples enclaves (îlots) de couleur opposée isolées au milieu d'une classe. Chaque point bruité de l'ensemble d'entraînement impose sa classe dans son voisinage immédiat.
Pour un $k$ optimal (ex: $k = 25$ ), la frontière se lisse, éliminant les îlots isolés au profit d'une ligne continue et stable séparant les deux nuages de points. Le vote majoritaire a permis de gommer les fluctuations dues au bruit d'échantillonnage.