Le problème n'est pas que le modèle se trompe, c'est qu'il se trompe avec la même assurance que lorsqu'il a raison. Les garde-fous portent moins sur le modèle que sur ce qui l'entoure.
Pourquoi le phénomène existe
Un modèle de langue produit la suite la plus vraisemblable, pas la plus exacte. Quand l'information manque, il ne s'arrête pas : il continue avec ce qui ressemble à une réponse.
Cette propriété n'est pas un défaut de fabrication, c'est le fonctionnement même de l'outil. Elle explique pourquoi les corrections par la consigne fonctionnent mal : demander de ne pas inventer réduit le phénomène sans le supprimer, parce que le modèle n'a pas de moyen interne de distinguer ce qu'il sait de ce qu'il produit.
Le classement OWASP consacré aux applications fondées sur les grands modèles de langue range la désinformation parmi les risques identifiés de cette famille d'applications, aux côtés de l'injection de consignes et de la divulgation d'informations sensibles.
Garde-fou 1 : n'autoriser que le corpus
La mesure la plus efficace consiste à interdire au modèle de répondre depuis sa mémoire et à l'obliger à s'appuyer sur des passages retrouvés dans vos documents.
Cela ne supprime pas les erreurs, mais il en change la nature : l'erreur devient une mauvaise sélection de passage, qui se diagnostique et se corrige, plutôt qu'une invention, qui ne se diagnostique pas.
Garde-fou 2 : afficher la source
Montrer le document et le passage utilisés fait deux choses à la fois. L'utilisateur peut vérifier, ce qui déplace une partie du risque. Et l'équipe peut retrouver l'origine d'une réponse fausse en quelques secondes au lieu de quelques heures.
Ce garde-fou a un effet secondaire précieux : il rend l'absence de source visible. Une réponse sans référence signale immédiatement qu'elle sort du corpus.
Garde-fou 3 : autoriser l'aveu d'ignorance
Beaucoup de montages n'offrent au modèle aucune porte de sortie : il doit répondre. Prévoir explicitement une réponse d'abstention, et l'accepter dans l'évaluation, change les résultats de façon notable.
La difficulté est organisationnelle plutôt que technique : un bot qui dit ne pas savoir fait moins bonne impression en démonstration, et il coûte beaucoup moins cher en réclamations.
Garde-fou 4 : sortir les chiffres et les dates du modèle
Les montants, les délais, les taux et les dates sont les erreurs les plus coûteuses et les plus faciles à éviter. Ils ne doivent pas être formulés par le modèle mais lus dans une source structurée et insérés tels quels.
Concrètement, le modèle produit la phrase et les valeurs sont injectées depuis votre base. Cette séparation supprime toute une catégorie d'erreurs, qui est justement celle que les utilisateurs vérifient.
Garde-fou 5 : la liste des sujets interdits
Certains sujets ne doivent jamais recevoir de réponse automatique, même si le modèle en est capable : diagnostic, conseil juridique individuel, engagement financier, question de sécurité.
Ce filtre s'applique avant le modèle, sur la demande, et non après sur la réponse. Un filtrage en sortie laisse le modèle produire, ce qui consomme du temps et laisse passer les formulations qui contournent la liste.
Garde-fou 6 : l'évaluation régulière
C'est le seul garde-fou qui rend le problème visible plutôt que de le réduire.
Constituez un jeu de cent questions avec les réponses attendues, validées par les personnes qui connaissent le sujet. Rejouez-le après chaque modification du corpus, du montage ou du modèle, et suivez le taux de réponses exactes dans le temps.
Sans ce jeu, une dégradation passe inaperçue jusqu'à ce qu'un client la signale, et personne ne saura dire depuis quand elle dure ni ce qui l'a causée. C'est le point qui sépare les projets tenus des projets qui dérivent.
Ce qui ne fonctionne pas
Trois approches reviennent souvent et déçoivent.
La consigne renforcée, qui répète au modèle de ne pas inventer. Elle réduit le phénomène de quelques points et donne un faux sentiment de contrôle.
Le second modèle vérificateur, chargé de contrôler le premier. Il partage les mêmes limites et valide volontiers une réponse plausible et fausse.
La relecture humaine systématique, qui annule le bénéfice de l'automatisation. Elle a du sens sur un échantillon, pas sur le flux.
Construire le jeu d'évaluation, concrètement
Le sixième garde-fou est le seul qui rend le problème mesurable, et c'est celui qu'on repousse le plus. Il tient pourtant en une journée de travail.
Prenez cent questions issues de vos conversations réelles, pas de votre imagination. Répartissez-les en quatre familles de vingt-cinq : les questions courantes, les questions à cas particulier, les questions hors périmètre, et les questions dont la réponse n'existe pas dans votre corpus.
La quatrième famille est la plus importante et celle qu'on oublie toujours : elle mesure la capacité du bot à dire qu'il ne sait pas. Un bot qui obtient un bon score sur les trois premières et qui invente sur la quatrième est un bot dangereux, et aucune démonstration ne le montrera.
Faites valider les réponses attendues par les personnes qui connaissent le sujet, pas par l'équipe projet. Rejouez le jeu après chaque changement de corpus, de montage ou de modèle, et conservez l'historique des scores.
Le cas des documents obsolètes
Une part importante des réponses fausses n'est pas une invention du modèle : c'est une restitution fidèle d'un document périmé.
Le symptôme est reconnaissable, la réponse est cohérente, sourcée, et fausse. Le modèle n'y est pour rien, et changer de modèle ne changera rien.
Deux mesures s'imposent. Dater chaque document du corpus et écarter automatiquement au-delà d'un seuil ce qui n'a pas été revu. Et faire du corpus une source vivante plutôt qu'un export figé, en le reconstruisant depuis vos systèmes plutôt qu'en le rechargeant à la main deux fois par an.
Ce que l'on peut promettre honnêtement
Un bot génératif bien monté atteint un niveau de justesse élevé sur les questions couvertes par son corpus, et il se trompera sur le reste.
Cette phrase mérite d'être dite telle quelle en interne avant le lancement. Elle évite deux malentendus symétriques : celui qui attend une fiabilité totale et sera déçu, et celui qui refuse la technologie au motif qu'elle se trompe parfois, sans comparer au taux d'erreur du dispositif actuel.
Aucune source ne permet d'annoncer un chiffre général de fiabilité valable pour tous les montages, et une plateforme qui en avance un sans décrire son protocole d'évaluation vend une impression.
Commentaires
No comments yet