ChatGPT est-il un humain comme les autres ?
Entre peurs, débats, invectives, la thématique des IA génératives relance un sujet, déjà bien nourri durant les années 2010, qui revient cycliquement depuis la naissance de cette technologie : l’IA va-t-elle dépasser et remplacer l’être humain ? Comme souvent dans ces débats, les prévisions pleuvent et sont toutes plus surprenantes les unes que les autres. Avis d'expert.
On nous annonce début 2023 de potentielles suppressions massives d’emplois à hauteur de 300 millions. Dès 2019, ce sont 120 millions d’emplois qui étaient voués à disparaître. Ces peurs face à l’intelligence artificielle viennent d’un phénomène bien connu et largement traité par des personnalités comme Jean-Gabriel Ganascia, à savoir le mythe de la singularité. Il s’agit de notre propension à croire, références historiques et de science-fiction à l’appui, que la machine va, du jour au lendemain, dépasser l’humain et le remplacer. La réalité est bien plus terre à terre et, parfois même, cruelle envers les IA.
De quoi parle-t-on ?
L’outil phare qui a (re)déclenché ce débat et qui suscite les peurs et espoirs les plus exacerbés est ChatGPT d’OpenAI. Cet outil dispose de capacités tout à fait intéressantes pour résumer un texte, produire des lettres type, créer un brouillon de texte, nous poser des questions sur une thématique, apprendre une leçon, nous remettre en question sur des idées ou encore générer du code dans différents langages informatiques, …
Schématiquement, cet algorithme de génération de texte fonctionne en commençant par répondre à une question posée par un utilisateur en contextualisant le début de sa réponse par rapport à la question posée. Ensuite, ChatGPT construit sa réponse statistiquement au fur et à mesure des mots, des morceaux de phrases qu’il a déjà générés en exploitant une proximité statistique à la thématique traitée.
On comprend immédiatement la puissance de ces outils mais également les limites car le processus est intrinsèquement générateur d'erreurs. En outre, la “connaissance” du monde que peut avoir un tel outil est très superficielle puisqu’un tel outil n’a aucune interaction avec le monde physique.
Pourtant, ce qui fait peur à la majorité de ses détracteurs, c’est que ChatGPT puisse sembler être capable de “remplacer l’être humain” en fournissant, tel un rédacteur/développeur/consultant universel, des réponses pertinentes, (apparemment) fiables et souvent supérieures à celles de collaborateurs. Avec cet outil, les entreprises disposeraient alors de “super collaborateurs” dotés de connaissances encyclopédiques !
La réalité est évidemment bien loin de cette fiction.
Prenons quelques exemples simples sous ChatGPT-4 pour bien comprendre ses forces et ses faiblesses.
Si vous demandez à ChatGPT-4 de vous résumer un texte, il va être très pertinent et les tests que nous avons pu réaliser en laboratoire montrent, généralement, une réelle pertinence pour effectuer cette tâche.
Le bénéfice : un gain de temps substantiel et dans certains cas, de nouvelles perspectives pour les entreprises qui fournissent de la veille ou des notes d’information.
L’inconvénient : il faut rester alerte car un argument clé du texte peut être non repéré par l’outil. Même si le mécanisme “d’attention” détecte la plupart des idées fortes, certaines tournures peuvent le mettre en défaut. L’usage du second degré n’est pas toujours compris par l’algorithme et il peut en découler des contresens.
Par exemple, si on interroge ChatGPT sur l’interprétation d’un texte tel : “Bonjour, je suis bien heureuse que vous ayez pris le temps de traiter mon dossier que je vous avais adressé il y a 2 mois. Patience et longueur de temps.... dit-on.” Il en déduit : “Le courrier semble indiquer que le client est satisfait que vous ayez traité son dossier et qu'il/elle apprécie votre patience et votre diligence dans le processus.”
Lorsque vous demandez à ChatGPT-4 d’écrire l’introduction d’un texte, d’une thématique de présentation sur un sujet particulier que vous maîtrisez, il va être un formidable outil pour vous fournir un premier brouillon et vous permettre de mieux appréhender des points clés de votre sujet.
Le bénéfice : un gain de temps et une porte ouverte pour vous accompagner dans votre démarche d’écriture (la fameuse page blanche de l’écrivain).
L’inconvénient : si vous ne maîtrisez pas votre sujet, vous devrez à tout instant vous méfier des arguments avancés par ChatGPT-4 car nos études montrent qu’il produit de nombreuses approximations, voire contre vérités sur bon nombre de sujets. Et cela se comprend parfaitement compte tenu de la manière dont il génère les textes. Il est indispensable de maîtriser le domaine sinon le gain de temps supposé devient une perte de temps en vérification de la pertinence des propositions…
Si vous souhaitez apprendre rapidement un texte de quelques pages, vous pouvez lui copier/coller ce texte et lui demander d’être votre coach d’apprentissage. Il se transforme alors en efficace outil de répétition et vous pose, une à une, les questions qui vous permettront de retenir efficacement votre sujet.
Le bénéfice : pas de limite de temps, pas de limites de sujets traités puisque vous êtes l’initiateur de ce qu’il faut apprendre.
L’inconvénient : compte tenu du fonctionnement de ces IA génératives, il n’est pas envisageable d’effectuer cet exercice sans lui fournir vous-même les données sur lesquelles être interrogé car il pourrait vous poser des questions incohérentes ou hors sujet.
L’exemple simple du texte au second degré évoqué ci-dessus montre une des limites des contresens possibles avec un tel type d’outil. D’autres limites sont plus problématiques, parfois difficiles à détecter et confirment la nécessité de vérifier les résultats et surtout de n’utiliser un Large Language Model (LLM) tel que ChatGPT que dans son domaine de “compétence” : la génération de textes avec un contexte bien décrit.
Faisons un peu d’humour en lui demandant : Peux-tu conjuguer le verbe pleuvoir à la première personne du singulier à l’imparfait du subjonctif ?
Réponse de ChatGPT : La conjugaison du verbe "pleuvoir" à la première personne du singulier de l'imparfait du subjonctif est "que je pluisse". Voici la conjugaison complète à l'imparfait du subjonctif pour ce verbe impersonnel :
1ère personne du singulier : que je pluisse
2ème personne du singulier : que tu plusses
3ème personne du singulier : qu'il/elle/on plût
1ère personne du pluriel : que nous plussions
2ème personne du pluriel : que vous plussiez
3ème personne du pluriel : qu'ils/elles plussent
Dans un autre exemple, nous avons souhaité analyser les réponses à un sondage effectué auprès de 240 personnes. Elles se présentent dans une colonne de tableur de la manière suivante : 151 fois le mot Oui, 4 fois le mot Non et 85 fois le mot Ne sais pas. Nous avons donc 240 lignes contenant au moins un de ces mots que nous transmettons à ChatGPT-4 :
Requête (Prompt) : Tu es un expert en traitement de données. Peux-tu me classer dans un tableau ces données en pourcentage de réponses similaires (les données ont été collées à la suite de cette phrase pour que ChatGPT puisse les traiter)
Réponse de ChatGPT-4 :
Réponse | Nombre | Pourcentage |
Oui | 96 | 64.43% |
Ne sais pas | 49 | 32.89% |
Non | 4 | 2.68% |
Il est vrai que la construction à l’écran en temps réel du tableau est presque spectaculaire et très réussie.
Cependant, la fiabilité de ses réponses est dans ce cas de figure catastrophique. N’importe quel être humain verrait instantanément que le total de personnes sondées, qui est de 240 personnes, est loin du nombre total trouvé par ChatGPT-4 qui n’en dénombre que 149 ! Une erreur statistique de près de 40%, soit 91 réponses oubliées. On est bien loin dans ce cas de figure d’un super être humain capable de réfléchir. D’autant que si on lui indique que sa réponse est fausse et qu’il y a en réalité 240 réponses et non 149, il réitère son erreur. Si on l’interroge de nouveau sur son erreur, il va adapter les chiffres pour arriver à 206 mais de manière aléatoire.
Le danger dans ces cas de figure qui peuvent être nombreux sur le terrain est la manière péremptoire de ChatGPT de répondre. Si l’utilisateur n’est pas formé ou altéré, il prendra pour argent comptant la réponse sans nécessairement s’interroger sur la pertinence ou l’exactitude de la réponse.
Du rêve à la réalité
On voit à travers ces quelques exemples que ChatGPT-4 d’OpenAI peut être un outil formidable pour un grand nombre de tâches, dans le cas de la génération de texte, mais fait face à de nombreuses limites qu’il faut impérativement que les utilisateurs maîtrisent. Nous sommes loin de l’être humain qui a des capacités d’explication, de compréhension de son environnement et du bon sens (dans la plupart des cas).
Nous avons pu, d'ailleurs, mesurer en mars 2023 ses capacités lors d’un Hackathon que nous avons organisé. Les dizaines de participants devaient utiliser les IA génératives (ChatGPT, Dall-E, Midjourney, etc.) pour réaliser un projet professionnel. Les résultats ont été très intéressants, en moins de trois jours, tant l’utilisation de ces outils a permis d'accélérer et de créer de la valeur. Pour autant, il y a eu une unanimité pour dire qu’il fallait prendre du recul face à ces IA génératives car on n’obtient des résultats réellement pertinents que lorsqu'on en connaît les limites et que l’on apprend à les interroger. Utiliser un tel outil doit se faire dans les limites de ses objectifs et ses caractéristiques de conception…
Nous sommes ainsi bien loin du risque que ces machines suppriment des emplois par centaines de millions. On peut s’interroger sur les motivations à survendre une technologie ou à en demander la suspension : valoriser un secteur pour créer une nouvelle dynamique d’investissement, influencer la concurrence ? Il est bien entendu indispensable de réfléchir sur les impacts, d’apporter des réponses aux risques avérés de désinformation par la multiplication de fausses informations sur les réseaux sociaux, de mettre en place les réponses en termes de traçabilité des images générées par les IA… Tout cela est évident. Mais il faut surtout former les utilisateurs, les dirigeants, les stratèges à ces nouvelles technologies afin qu’ils sachent en tirer le meilleur parti. Les nouvelles générations doivent les appréhender le plus tôt possible, sans peur et avec toute la distance nécessaire.
Donc, sans hésiter, non, les IA génératives ne sont pas des humains comme les autres, ce sont des outils, rapides, certes, puissants, bien entendu, mais ce ne sont que des algorithmes imparfaits.
Rédacteur :
Laurent CERVONI. Directeur du Centre d'Innovation et de Recherche du Groupe Talan.
