Pourquoi l'IA hallucine : repérer et prévenir les erreurs assurées de l'IA

On appelle hallucination le fait qu'un système d'IA affirme une chose fausse avec une confiance totale. C'est la limitation la plus lourde de conséquences des modèles de langage actuels, et la moins comprise par ceux qui s'appuient sur eux.

Le point essentiel est que l'hallucination n'est pas un défaut en attente de correctif. Elle découle directement du fonctionnement de ces systèmes, ce qui signifie qu'on peut la gérer et la réduire, mais non l'écarter par hypothèse.

Pourquoi elle se produit :

Un modèle de langage est entraîné à produire du texte probable, non du texte vrai. Rien dans son entraînement ne distingue une affirmation correcte d'une affirmation incorrecte qui se lit naturellement. Il n'y a pas de base de données interne à consulter, ni de mécanisme pour confronter une affirmation à la réalité.

Quand vous demandez une référence, le modèle a assimilé la forme qu'ont les références : des noms d'auteurs, un titre plausible, une revue, une année. En produire une qui respecte cette forme est exactement ce pour quoi il a été entraîné. Savoir si cet article existe est une question que le système ne se pose jamais.

Cela explique aussi un comportement contre-intuitif : les modèles hallucinent souvent avec plus d'assurance sur les sujets obscurs. Là où les données d'entraînement étaient rares, le motif est faible, mais le modèle produit tout de même un texte fluide, car c'est la fluidité qu'il optimise. L'assurance de la sortie ne renseigne en rien sur son exactitude.

Où se concentrent les erreurs :

La fabrication n'est pas également répartie, ce qui la rend maîtrisable.

Les nombres précis sont à haut risque : statistiques, prix, dates, mesures, chiffres financiers. Les modèles approchent les quantités à partir de régularités et produisent des nombres qui paraissent raisonnables et sont fréquemment faux.

Les citations et les sources sont la catégorie la plus risquée de toutes. Articles fabriqués, jurisprudence inventée, adresses inexistantes et citations mal attribuées sont extrêmement courants. Des écritures judiciaires contenant des références inventées ont valu des sanctions dans plusieurs pays.

Les événements récents sont peu fiables, car les données d'entraînement ont une date limite. Interrogé sur quelque chose de postérieur, un modèle peut deviner plutôt que refuser.

Les détails sur des personnes et des organisations réelles, biographies, intitulés de poste, affiliations, qui a dit quoi, sont souvent confabulés à partir d'associations plausibles.

À l'inverse, le risque est faible lorsque le modèle transforme un texte que vous avez fourni, raisonne sur un problème que vous pouvez suivre, ou travaille dans des connaissances générales bien couvertes. La distinction tient à ce que la réponse dépende de faits à retrouver ou d'un travail sur un matériau qu'il a sous les yeux.

Comment la repérer :

La fluidité n'est pas une preuve. Un texte halluciné se lit exactement comme un texte exact, parce que les deux sont produits de la même manière. Juger au ton est l'erreur la plus répandue.

Méfiez-vous d'une précision excessive sur un point difficile à connaître : un pourcentage exact dans un contexte obscur, une date précise pour un événement mineur, une source nommée pour une affirmation banale. Une précision inutile signale souvent la complétion d'un motif plutôt qu'un souvenir.

Posez la même question dans une nouvelle conversation. Une connaissance réelle tend à être stable ; la fabrication varie d'un essai à l'autre. Des réponses incohérentes à une question factuelle signifient que le modèle ne sait pas.

Vérifiez tout ce sur quoi on va s'appuyer, en commençant par les catégories ci-dessus. Chaque référence, chaque chiffre, chaque citation attribuée.

Ce qui la réduit réellement :

Fournissez le matériau source. Un modèle qui lit un document que vous lui avez donné et y répond fait de la compréhension, ce qu'il sait faire, plutôt que du rappel, ce qu'il ne sait pas faire. C'est le gain isolé le plus important, et la raison pour laquelle les systèmes de recherche documentaire dominent les déploiements en entreprise.

Exigez des citations rattachées au texte fourni. Lorsqu'un système doit indiquer quel passage étaye chaque affirmation, les assertions non étayées deviennent visibles au lieu de se fondre dans la masse.

Autorisez explicitement le refus. Des modèles entraînés à être utiles répondent par défaut. Des consignes du type « si la réponse ne figure pas dans le matériau fourni, dis-le » augmentent mesurablement les refus du bon type.

Demandez le raisonnement avant les conclusions. Les modèles qui déroulent un problème étape par étape commettent moins d'erreurs sur les questions à plusieurs étapes, et le raisonnement exposé vous donne quelque chose à contrôler.

Restreignez la tâche. « Résume ce document » est bien plus sûr que « parle-moi de ce sujet », car le premier a une source vérifiable et le second non.

Là où le risque est inacceptable :

Certains usages ne doivent en aucun cas reposer sur une sortie non vérifiée : références juridiques sans contrôle, conseils médicaux sans avis professionnel, chiffres financiers sans rapprochement, affirmations factuelles destinées à publication sans sourçage, et toute décision touchant aux droits ou à la sécurité d'une personne.

Le schéma est le même dans tous les échecs rendus publics. Quelqu'un a pris une sortie fluide pour une sortie vérifiée. La technologie s'est comportée exactement comme prévu ; le processus qui l'entourait n'a pas tenu compte de son fonctionnement.

La position réaliste :

Les modèles récents hallucinent moins que les anciens, et les techniques de recherche documentaire et de raisonnement ont sensiblement réduit l'écart. Le problème est devenu moins fréquent, ce qui, à un égard, le rend plus dangereux : des erreurs rares invitent au relâchement, et l'erreur qu'on a cessé de chercher est celle qui parvient au client.

Traitez ces systèmes comme un collègue extrêmement compétent qui, de temps à autre, affirme une chose fausse avec une conviction totale et sans en avoir conscience. Ce cadrage produit les bons réflexes. Déléguez sans hésiter, vérifiez tout ce qui porte à conséquence, et ne laissez jamais l'assurance tenir lieu de preuve.