Hors programme, en lien avec le projet du chapitre

def deviner_encodage(octets, candidats=("utf-8", "latin-1")):
    """Premier encodage candidat qui decode sans lever d'exception.

    Precondition : aucune. ATTENTION, la valeur rendue est une
    HYPOTHESE, jamais une certitude : voir la discussion.
    """
    for e in candidats:
        try:
            octets.decode(e)
            return e
        except UnicodeDecodeError:
            pass
    return None

>>> deviner_encodage("élève".encode("utf-8"))
'utf-8'
>>> deviner_encodage("élève".encode("latin-1"))
'latin-1'
>>> deviner_encodage(b"\xff\xfe\xfd")
'latin-1'

Ce qui marche. L'ordre des candidats n'est pas arbitraire : de l'UTF-8 valide est rarement du latin-1 plausible, alors que du latin-1 est toujours accepté par le décodeur. On essaie donc le plus exigeant d'abord.

Le cas où la fonction se trompe toujours. La troisième ligne le montre : FF FE FD n'est ni du texte ni rien d'intelligible, et la fonction répond « latin-1 » avec aplomb. La raison est structurelle — latin-1 décode n'importe quelle suite d'octets, ses $256$ codes étant tous attribués. Le dernier candidat de la liste sera donc toujours retenu, quoi qu'on lui donne. La fonction ne devine rien : elle élimine.

Un critère supplémentaire, comme le suggère le projet du cours : une fois le décodage réussi, mesurer la vraisemblance du texte obtenu — proportion de caractères imprimables, présence de séquences typiques du mojibake (é, è, ê), fréquence des lettres comparée à celle du français. On passe alors d'un test binaire à un score, et l'on choisit le maximum.

Prolongement honnête : aucun détecteur n'est infaillible, et c'est démontrable. Le même octet E9 est un é en latin-1 et une lettre parfaitement valide dans d'autres tables ISO-8859 ; sans information extérieure, rien ne permet de trancher. C'est bien pourquoi les formats modernes déclarent leur encodage — l'en-tête HTTP, la balise <meta charset>, et l'argument encoding de open.