Article adapté de « L’exemple Chat CEE » et de « Le vrai talent d’avenir pour l’IA : entraîneur » (Principes Actifs n°17, novembre 2023, point de vue de Flavie Salha), et de « Quelle IA en marketing ? » (n°16, juin 2023). Les constats techniques datent de 2023.
Un chatbot, ou agent conversationnel, est un programme qui répond aux questions des utilisateurs par écrit. Pour qu’il soit fiable, il doit s’appuyer sur des sources choisies et citer la source de chaque réponse. C’est ce que nous avons appelé en 2023 la logique promesse-preuve : toute affirmation du robot doit être accompagnée de sa preuve.
Les chatbots, une vieille promesse remise au goût du jour
Les chatbots ont connu un premier succès vers 2018. Les entreprises ont beaucoup misé sur eux pour le service après-vente ou pour attirer de nouveaux clients. Ils se sont pourtant montrés lents à devenir utiles. Il fallait construire en coulisses d’énormes bases de connaissances avant de les rendre un peu efficaces.
L’arrivée de ChatGPT, fin 2022, a remis l’idée en lumière. On y a vu la ressource qui manquait. En juin 2023, nous mettions pourtant en garde. Un outil de ce type, si on ne le nourrit pas de contenus fiables, peut raconter n’importe quoi. Il risque alors d’abîmer l’expérience client qu’il devait améliorer.
L’exemple d’un chatbot sur les certificats d’économies d’énergie
En novembre 2023, nous présentions un projet de chatbot appelé Chat CEE. Il portait sur les certificats d’économies d’énergie, ou CEE. Ce dispositif français a été créé par la loi du 13 juillet 2005 sur la politique énergétique, dite loi POPE. Il oblige les fournisseurs d’énergie à obtenir des économies d’énergie, notamment chez leurs clients. Ses règles sont réputées complexes.
Le sujet se prêtait bien à l’exercice. Expliquer les CEE prend deux bonnes minutes à l’oral, ou trois pages à l’écrit. Un chatbot capable de donner des réponses longues et précises pouvait donc rendre service, aux particuliers comme aux professionnels.
Selon l’article que nous citions, l’outil avait été préparé à partir d’un ensemble de documents limité. Il comprenait uniquement des ressources du ministère, dont sa foire aux questions. S’y ajoutaient celles de l’ADEME, l’agence de la transition écologique, et de l’ATEE, l’association technique énergie environnement. Ce corpus devait être mis à jour à chaque évolution de la réglementation.
La logique promesse-preuve
Ce cas nous intéressait pour une raison précise. On exigeait du robot qu’il fournisse une preuve, appuyée par une source, pour chaque réponse.
Ce raisonnement promesse-preuve ne naît pas de l’outil lui-même. Il se construit pendant sa préparation, par ceux qui choisissent les documents et fixent les règles. C’est là que se trouve le vrai savoir-faire. Comment faire le lien, à coup sûr, entre la question posée et le bon passage du bon document ?
Une réponse avec sa source change aussi la relation avec l’utilisateur. Il peut vérifier par lui-même. Il sait d’où vient l’information, et il peut juger si elle s’applique à son cas.
Le vrai talent : préparer les données
En novembre 2023, Flavie Salha écrivait dans Principes Actifs que la pertinence de ChatGPT dépendait de la façon dont on l’avait « entraîné ». Le mot était pris au sens large. Il s’agissait surtout de choisir et d’organiser ce que l’on donne à l’outil.
Elle notait qu’un outil lancé sur un sujet trop large finissait souvent par inventer. Servir ses réponses à des clients devenait alors très risqué. Cantonné à un domaine précis, nourri des données de l’entreprise, avec peu de liberté pour improviser, il faisait gagner beaucoup de temps.
Pour elle, la valeur est donc revenue très vite du côté de l’entreprise. Elle tient à son intelligence pour trier et organiser les données qu’elle confie à l’outil.
Les questions à se poser avant de lancer un chatbot
Avant tout projet de ce type, nous conseillons de traiter ces questions.
- Sur quel sujet précis le chatbot doit-il répondre, et sur quels sujets doit-il se taire ?
- Quels documents font foi, et qui les tient à jour ?
- Comment chaque réponse cite-t-elle sa source ?
- Que fait le robot quand il ne trouve pas la réponse ?
- Qui relit régulièrement les échanges pour repérer les erreurs ?
Ces questions touchent surtout à l’organisation. Elles demandent de bien connaître ses clients et les questions qu’ils se posent vraiment.
Questions fréquentes
Pourquoi un chatbot invente-t-il parfois des réponses ?
Les outils d’IA générative produisent le texte le plus probable. Sans source fiable à disposition, ils peuvent écrire une réponse plausible mais fausse. Les cantonner à des documents choisis et leur demander de citer leurs sources réduit ce risque.
Un chatbot peut-il répondre à des questions réglementaires ?
Il peut aider, à condition de s’appuyer sur les textes officiels à jour et de citer ses sources. L’utilisateur doit pouvoir vérifier. Pour une décision importante, l’avis d’un professionnel reste nécessaire.
Les certificats d’économies d’énergie sont-ils une aide européenne ?
Non. C’est un dispositif français, créé par la loi POPE du 13 juillet 2005. Notre numéro de novembre 2023 les présentait à tort comme une aide de l’Union européenne.
Comment Elixir peut vous aider
Elixir accompagne en conseil les équipes marketing et commerciales qui veulent mieux répondre aux questions de leurs clients. Pour aller plus loin, lisez notre dossier sur l’IA générative en entreprise. Notre article sur l’écoute client aide à identifier les vraies questions de vos clients.
Sources : Principes Actifs n°16 (juin 2023) et n°17 (novembre 2023) ; loi n° 2005-781 du 13 juillet 2005 de programme fixant les orientations de la politique énergétique (loi POPE). Le projet Chat CEE est décrit d’après le n°17 : son état actuel n’a pas été vérifié.
Nous avons repris les grands thèmes de nos newsletters Principes Actifs pour montrer que ces questions restent d’actualité.