Transformers et IA générative

Un grand modèle de langage fait une seule chose : prédire le mot suivant le plus probable, encore et encore. Entraîné sur une grande partie du texte disponible dans le monde, ce mécanisme simple produit des réponses qui ressemblent à du raisonnement. Comprendre cette mécanique, c'est comprendre à la fois ce que ces modèles font très bien et pourquoi ils se trompent avec aplomb.

Prédire le mot suivant

Prenez la phrase « Le client appelle pour une réclamation concernant sa ». Un modèle de langage a vu des millions de phrases de ce genre pendant son entraînement. Il sait que « facture », « commande » ou « livraison » sont probables, que « chaise » l'est moins, que « banane » ne l'est presque pas. Il choisit, écrit le mot, puis recommence avec la phrase allongée.

C'est tout. Il n'y a pas de base de connaissances, pas de règles, pas de compréhension au sens où on l'entend d'un humain. Il y a une immense table de probabilités, apprise sur des milliards de phrases, qui dit quel morceau de texte vient après quel autre.

Ce qui surprend, c'est que ce mécanisme suffit à répondre à une question, résumer un appel, traduire, ou rédiger un e-mail. Quand on a lu assez de texte, prédire la suite plausible d'une question, c'est produire une réponse plausible.

L'attention, ou comment relier les mots entre eux

Avant 2017, les modèles lisaient une phrase mot après mot, en gardant une mémoire approximative de ce qui précédait. Sur une phrase longue, ils oubliaient le début avant d'arriver à la fin.

En 2017, une équipe de Google publie un article au titre provocateur, « L'attention est tout ce dont vous avez besoin », qui décrit une architecture appelée Transformer. Son idée centrale : au lieu de lire dans l'ordre, regarder tous les mots de la phrase en même temps et calculer, pour chaque mot, lesquels des autres mots comptent pour le comprendre.

Prenez « Le client dit que sa commande est arrivée abîmée et qu'il la veut remplacée ». Pour comprendre « la », le modèle doit regarder vers « commande », trois mots plus loin, pas vers « client ». Le mécanisme d'attention apprend exactement cela : des liens entre mots, quelle que soit la distance.

Deux conséquences. Le Transformer gère des textes longs, un historique client entier par exemple. Et il s'entraîne beaucoup plus vite, parce que tous les mots se traitent en parallèle sur les cartes graphiques vues à la carte précédente. C'est cette combinaison qui a permis de passer à des modèles de taille inédite.

De 2017 à aujourd'hui

Le tournant de 2020 mérite une pause. En rendant le modèle dix fois plus gros, les chercheurs s'attendaient à ce qu'il écrive un peu mieux. Ils ont découvert qu'il savait soudain faire des additions, traduire des langues peu présentes dans ses données, ou suivre des consignes en plusieurs étapes. Personne ne l'avait prévu, et personne ne sait exactement pourquoi. C'est une des raisons pour lesquelles le domaine avance par surprises.

Les mots qui reviennent

• Token : un morceau de mot, l'unité que le modèle lit et écrit. Mille tokens représentent environ 750 mots en anglais, un peu moins en français, qui se découpe en morceaux plus nombreux. C'est aussi l'unité de facturation.
• Fenêtre de contexte : la quantité de texte que le modèle peut lire d'un coup, mesurée en tokens. Une fenêtre de 128 000 tokens tient un livre ; un historique client de trois ans peut la dépasser.
• Pré-entraînement : l'apprentissage général sur des milliards de textes, qui donne au modèle sa connaissance de la langue et du monde. Il coûte des millions d'euros et se fait une fois, chez l'éditeur.
• Alignement : la phase où des humains notent les réponses du modèle pour le rendre utile, poli et moins dangereux. Sans elle, un modèle pré-entraîné répond comme un forum anonyme. On parle aussi de RLHF, l'apprentissage par renforcement à partir de retours humains.
• Température : un réglage entre réponse prévisible et réponse variée. Basse pour un résumé d'appel, plus haute pour une proposition de reformulation.
• Multimodal : un modèle qui lit aussi des images, écoute de l'audio ou regarde une vidéo. Le même mécanisme de prédiction, appliqué à d'autres types de morceaux.

L'hallucination

Un modèle de langage prédit le texte le plus plausible. Il ne prédit pas le texte le plus vrai. Quand les deux coïncident, ce qui est fréquent, tout va bien. Quand ils divergent, le modèle produit une affirmation fausse avec exactement la même assurance qu'une affirmation juste. C'est ce qu'on appelle une hallucination.

Ce n'est pas un bug qu'on va corriger. C'est une propriété du mécanisme : le modèle n'a aucun moyen interne de distinguer ce qu'il sait de ce qu'il invente. Il peut citer un article de loi qui n'existe pas, un numéro de commande imaginaire, une condition de remboursement que votre entreprise n'a jamais eue, le tout dans un français parfait.

Les cas typiques : une question sur un fait précis que le modèle n'a pas vu (le prix de votre offre, l'état d'une commande) ; une question à laquelle la réponse honnête serait « je ne sais pas » ; un texte long où le modèle, arrivé loin dans sa réponse, complète par plausibilité.

On ne supprime pas les hallucinations. On les réduit, en donnant au modèle les documents à partir desquels répondre, et en le contraignant à ne pas sortir de ces documents. C'est le sujet de la carte suivante.

Ce que ça change en centre de contact

L'IA générative a trouvé trois usages immédiats sur un plateau : le résumé automatique d'appel, qui fait gagner une à deux minutes par contact ; la suggestion de réponse au conseiller pendant l'échange ; et l'analyse de sentiment fine sur les verbatims. Ces trois usages ont un point commun : un humain relit avant que le client ne voie quoi que ce soit.

Le quatrième usage, le bot qui répond directement au client, est celui où l'hallucination devient un risque juridique et commercial. Un bot qui promet un remboursement inexistant engage l'entreprise. Avant tout déploiement face client, les questions à poser à l'éditeur sont : à partir de quels documents le modèle répond-il, que fait-il quand il ne sait pas, et qui a validé ses réponses sur nos cent questions les plus fréquentes ?

Une dernière chose sur les coûts : vous payez au token, en entrée et en sortie. Un historique client complet envoyé à chaque question coûte des milliers de tokens par échange. Le prix d'un usage se calcule en tokens par contact, multiplié par votre volume, pas à la licence.

Ce qu'on retient

• Un modèle de langage prédit le mot suivant le plus probable ; tout le reste en découle.
• L'attention relie chaque mot aux autres, quelle que soit la distance : c'est l'invention de 2017 derrière tous les modèles actuels.
• La taille fait apparaître des capacités imprévues ; le domaine avance par surprises.
• Token, fenêtre de contexte, alignement, température : quatre mots qui suffisent à lire une fiche produit.
• L'hallucination n'est pas un bug : le modèle produit du plausible, pas du vrai. On la réduit en lui donnant des sources, jamais à zéro.