Remplacer un arbre de décision par un modèle génératif est présenté comme une modernisation. C'est surtout un changement de nature, avec des gains nets sur certains flux et des risques nouveaux sur les autres.
La différence tient en une phrase
Un bot classique choisit une réponse dans une liste. Un bot génératif fabrique une réponse à partir d'éléments qu'on lui fournit.
Toutes les conséquences découlent de là. Le premier est prévisible et limité : il ne dira jamais rien d'inattendu, mais il ne couvrira jamais que ce qui a été prévu. Le second couvre des formulations qu'aucun paramétrage n'anticipait, et peut produire une phrase juste sur la forme et fausse sur le fond.
Le choix n'est donc pas entre l'ancien et le moderne. Il est entre deux modes d'erreur, et il faut savoir lequel votre activité tolère.
Cas 1 : les questions dont il existe cent formulations
C'est le gain le plus net. Une demande simple s'exprime de manières très diverses, et un bot à intentions ne couvre que celles qu'on lui a apprises.
Sur ce type de flux, un modèle de langue supprime le travail sans fin de collecte des variantes. Il comprend les fautes de frappe, les phrases incomplètes, les demandes formulées à l'envers. Le gain se mesure directement dans le taux d'incompréhension.
Cas 2 : les réponses qui vivent dans des documents
Quand la réponse existe dans un manuel, un catalogue ou une base d'aide, mais qu'elle n'a jamais été transformée en question et réponse, le montage documentaire prend tout son sens.
Le principe est de chercher d'abord les passages pertinents, puis de demander au modèle de formuler une réponse à partir de ces seuls passages. Ce montage, souvent appelé génération augmentée par la recherche, présente deux avantages décisifs : la réponse s'appuie sur vos documents et non sur la mémoire du modèle, et vous pouvez afficher la source.
Sa qualité dépend beaucoup plus de la recherche que du modèle. Un corpus mal découpé produit de mauvaises réponses avec le meilleur modèle du marché.
Cas 3 : la synthèse de plusieurs éléments
Certaines demandes exigent de combiner deux ou trois informations. Le statut d'une commande, la politique de retour applicable et le délai restant. Un bot classique répondrait par trois messages successifs ou par un renvoi vers trois pages.
Un modèle produit une réponse unique et adaptée au cas. C'est le gain le moins visible dans les démonstrations et le plus apprécié à l'usage.
Là où le génératif complique
Les réponses réglementées. Quand la formulation elle-même engage, un texte fabriqué à chaque fois pose un problème. La réponse doit être écrite, validée, et servie telle quelle.
Les actions. Dès que le bot déclenche une opération, la souplesse devient un risque. Le déclenchement doit reposer sur une décision explicite et vérifiable, pas sur une interprétation.
Les sujets où l'entreprise ne peut pas se tromper. Santé, sécurité, droits des personnes. Un modèle produit une réponse plausible même quand il ne sait pas, et la plausibilité est exactement ce qui rend l'erreur difficile à repérer.
Un montage hybride vaut souvent mieux
La configuration la plus solide combine les deux approches plutôt que d'en choisir une.
Le modèle sert à comprendre la demande et à orienter, ce qu'il fait très bien. Les réponses sensibles restent écrites et servies telles quelles, ce qui garantit leur exactitude. Les réponses documentaires sont formulées à partir de passages retrouvés, avec affichage de la source.
Cette répartition demande un peu plus de conception qu'un basculement complet, et elle évite le choix impossible entre la rigidité et l'imprévisibilité.
Ce qu'il faut mesurer sur un bot génératif
Deux indicateurs s'ajoutent à ceux d'un bot classique.
Le taux de réponses non étayées : la part des réponses qui ne s'appuient sur aucun passage retrouvé. Ce sont les candidates les plus probables à l'erreur, et elles se comptent automatiquement.
La stabilité dans le temps : la même question posée à un mois d'intervalle donne-t-elle la même réponse ? Une dérive signale soit une mise à jour du modèle, soit un corpus qui a bougé. Dans les deux cas, il vaut mieux l'apprendre par un test régulier que par une réclamation.
Le corpus décide plus que le modèle
C'est le constat le plus contre-intuitif des projets documentaires, et il économise beaucoup d'argent quand il est admis tôt.
Sur un montage de génération augmentée par la recherche, la qualité des réponses dépend d'abord du découpage des documents, ensuite de la pertinence de la recherche, et seulement en dernier lieu du modèle employé. Un corpus découpé au milieu des tableaux, dont les titres ont disparu et dont les versions se superposent, produira des réponses médiocres avec n'importe quel modèle.
Trois défauts de corpus reviennent systématiquement. Les doublons de version, où une procédure ancienne et sa mise à jour coexistent : le bot répondra parfois l'une, parfois l'autre. Les passages sans contexte, où un extrait ne dit pas de quel produit ou de quelle année il parle. Et les tableaux aplatis, dont les colonnes se mélangent une fois convertis en texte, ce qui produit des associations fausses entre une ligne et une valeur.
Corriger le corpus avant de changer de modèle est presque toujours le meilleur investissement.
Le coût, poste par poste
Un bot génératif se facture à l'usage, ce qui déplace la question budgétaire.
Deux leviers dominent. La quantité de texte envoyée à chaque question : joindre tout un manuel coûte plusieurs fois plus cher que joindre les trois passages pertinents, sans améliorer la réponse. Et le nombre d'échanges par conversation, ce qui aligne pour une fois le coût et la qualité, puisqu'un bot qui comprend du premier coup coûte moins.
Un troisième poste apparaît, absent des bots classiques : l'évaluation régulière de la justesse. Elle n'est pas optionnelle, car rien ne garantit qu'une réponse correcte le mois dernier le reste après une mise à jour du corpus ou du modèle.
Comment décider en une réunion
Trois questions suffisent à trancher entre classique, génératif et hybride.
Vos réponses existent-elles déjà sous forme de questions et réponses, ou seulement dans des documents ? Le premier cas ne réclame pas de modèle, le second oui.
Une réponse fausse coûte-t-elle cher ? Si oui, les réponses sensibles restent écrites et servies telles quelles, quelle que soit la technologie choisie pour le reste.
Avez-vous quelqu'un pour évaluer la qualité chaque mois ? Sans cette personne, un bot génératif dérivera sans que personne le voie, et un bot classique restera médiocre mais prévisible. Le second est un moindre mal.
Commentaires
No comments yet