Le premier test d'ID3

L'ensemble compte $6$ « oui » et $4$ « non », donc

$$H(S)=-\frac{6}{10}{\log }_2\frac{6}{10}-\frac{4}{10}{\log }_2\frac{4}{10}=0,9710.$$

Test « couvert ? ». Le sous-ensemble « oui » est $\{j_6,\dots ,j_{10}\}$, avec $1$ « oui » et $4$ « non », d'entropie $-\frac{1}{5}{\log }_2\frac{1}{5}-\frac{4}{5}{\log }_2\frac{4}{5}=0,7219$ ; le sous-ensemble « non » est $\{j_1,\dots ,j_5\}$, homogène, d'entropie $0$. D'où

$$\mathrm{Gain}=0,9710-\frac{5}{10}\cdot 0,7219-\frac{5}{10}\cdot 0=0,6100.$$

Test « vent fort ? ». Six jours avec vent ($2$ « oui », $4$ « non », entropie $0,9183$), quatre sans (homogènes, entropie $0$) :

$$\mathrm{Gain}=0,9710-\frac{6}{10}\cdot 0,9183=0,4200.$$

Test « humide ? ». Six jours humides ($4$ « oui », $2$ « non », entropie $0,9183$), quatre secs ($2$–$2$, entropie $1$) :

$$\mathrm{Gain}=0,9710-\frac{6}{10}\cdot 0,9183-\frac{4}{10}\cdot 1=0,0200.$$

ID3 retient donc « temps couvert ? ». Les trois valeurs ont été recalculées par un programme, et l'arbre complet qu'elles produisent est exactement celui de la figure du cours.

La lecture qui compte. Le gain d'« humide » est presque nul, et pourtant l'attribut n'est pas indépendant de la sortie ($4$ contre $2$ d'un côté). C'est que le gain mesure la réduction moyenne du désordre : un test qui partage $6/4$ en gardant les deux moitiés presque aussi mélangées n'apprend presque rien. Un gain nul ne signifie pas « attribut inutile » — l'exercice 26.9 en donne l'exemple le plus net.