Les plates-formes d'IA comme ChatGPT sont faciles à utiliser mais aussi potentiellement dangereuses

Nov 04, 2023

Des systèmes comme ChatGPT sont extrêmement divertissants et même incroyablement humains, mais ils ne sont pas non plus fiables et pourraient créer une avalanche de désinformation.

Il se passe quelque chose d'incroyable dans l'intelligence artificielle en ce moment, mais ce n'est pas tout à fait bon. Tout le monde parle de systèmes comme ChatGPT, qui génèrent des textes qui semblent remarquablement humains. Cela le rend amusant à jouer, mais il y a aussi un côté sombre. Parce qu'ils sont si doués pour imiter les styles humains, il y a un risque que ces chatbots soient utilisés pour produire en masse de la désinformation.

Pour avoir une idée de ce qu'il fait de mieux, considérez cet exemple généré par ChatGPT, qui m'a été envoyé par e-mail par Henry Minsky (fils de Marvin Minsky, l'un des chercheurs fondateurs de l'IA). Il a demandé à ChatGPT de "décrire la perte de sa chaussette dans le sèche-linge à la manière de la déclaration d'indépendance" :

Lorsqu'au cours d'événements domestiques, il devient nécessaire de dissoudre les liens qui ont attaché une chaussette à son compagnon, et d'assumer parmi les pouvoirs de la buanderie, la place séparée et égale à laquelle les lois de la physique et de l'entretien ménager l'autorisent, un respect décent aux opinions des chaussettes exige qu'elle déclare les causes qui la poussent à disparaître.

Nous tenons ces vérités pour évidentes, que toutes les chaussettes sont créées égales et sont dotées par leur fabricant de certains droits inaliénables….

Qu'une machine puisse écrire une réponse aussi convaincante, avec si peu d'effort de la part de l'utilisateur, est franchement ahurissant.

Mais ces systèmes ont aussi un certain nombre de faiblesses. Ils sont intrinsèquement peu fiables, comme je l'ai déjà décrit, faisant fréquemment des erreurs de raisonnement et de fait. En termes techniques, ce sont des modèles de séquences de mots (c'est-à-dire comment les gens utilisent le langage), et non des modèles de la façon dont le monde fonctionne. Ils sont souvent corrects parce que la langue reflète souvent le monde, mais en même temps, ces systèmes ne raisonnent pas réellement sur le monde et son fonctionnement, ce qui rend l'exactitude de ce qu'ils disent quelque peu aléatoire. Ils sont connus pour tout bâcler, des faits de multiplication à la géographie ("L'Egypte est un pays transcontinental car il est situé à la fois en Afrique et en Asie").

Comme l'illustre le dernier exemple, ils sont assez sujets aux hallucinations, à dire des choses qui semblent plausibles et faisant autorité, mais qui ne le sont tout simplement pas. Si vous leur demandez d'expliquer pourquoi la porcelaine broyée est bonne dans le lait maternel, ils vous diront peut-être que "la porcelaine peut aider à équilibrer le contenu nutritionnel du lait, en fournissant au nourrisson les nutriments dont il a besoin pour grandir et se développer". Étant donné que les systèmes sont aléatoires, très sensibles au contexte et périodiquement mis à jour, une expérience donnée peut donner des résultats différents à différentes occasions. OpenAI, qui a créé ChatGPT, essaie constamment d'améliorer ce problème, mais, comme l'a reconnu le PDG d'OpenAI dans un tweet, faire en sorte que l'IA reste fidèle à la vérité reste un problème sérieux.

Parce que ces systèmes ne contiennent littéralement aucun mécanisme pour vérifier la véracité de ce qu'ils disent, ils peuvent facilement être automatisés pour générer de la désinformation à une échelle sans précédent. Chercheur indépendant

Shawn Oakley a montré qu'il est facile d'inciter ChatGPT à créer de la désinformation et même à rapporter des études falsifiées sur un large éventail de sujets, de la médecine à la politique en passant par la religion. Dans un exemple qu'il a partagé avec moi, Oakley a demandé à ChatGPT d'écrire sur les vaccins "dans le style de la désinformation". Le système a répondu en alléguant qu'une étude, "publiée dans le Journal of the American Medical Association, a révélé que le vaccin COVID-19 n'est efficace que chez environ 2 personnes sur 100", alors qu'aucune étude de ce type n'a été publiée. Fait troublant, la référence de la revue et les statistiques ont été inventées.

Ces bots ne coûtent presque rien à exploiter, et réduisent ainsi à zéro le coût de génération de la désinformation. Les fermes de trolls russes ont dépensé plus d'un million de dollars par mois lors des élections de 2016 ; de nos jours, vous pouvez obtenir votre propre modèle de langage de grande taille formé sur mesure pour moins de 500 000 $. Bientôt, le prix baissera encore.

Une grande partie de cela est devenue immédiatement claire à la mi-novembre avec la sortie de Galactica de Meta. Un certain nombre de chercheurs en IA, dont moi-même, ont immédiatement soulevé des inquiétudes quant à sa fiabilité et sa fiabilité. La situation était suffisamment grave pour que Meta AI retire le modèle trois jours plus tard, après que des informations sur sa capacité à faire de la désinformation politique et scientifique aient commencé à se répandre.

Hélas, le génie ne peut plus être remis en bouteille ; la désinformation automatisée à grande échelle est là pour rester. D'une part, Meta AI a initialement rendu le modèle open source et a publié un article décrivant ce qui se faisait ; toute personne maîtrisant les techniques actuelles de machine learning et disposant d'un budget suffisant peut désormais répliquer sa recette. En effet, la start-up technologique Stability.AI envisage déjà publiquement de proposer sa propre version de Galactica. D'autre part, ChatGPT est plus ou moins tout aussi capable de produire des absurdités similaires, telles que des essais instantanés sur l'ajout de copeaux de bois aux céréales du petit-déjeuner. Quelqu'un d'autre a persuadé ChatGPT de vanter les vertus de la guerre nucléaire (alléguant que cela "nous donnerait un nouveau départ, sans les erreurs du passé"). Qu'on le veuille ou non, ces modèles sont là pour rester, et ils sont presque certains d'inonder la société d'un raz-de-marée de désinformation.

Le premier front de ce raz-de-marée semble avoir frappé. Stack Overflow, un vaste site de questions-réponses que la plupart des programmeurs ne jurent que par, a été envahi par ChatGPT, ce qui a conduit le site à imposer une interdiction temporaire des soumissions générées par ChatGPT. Comme ils l'ont expliqué, "Globalement, étant donné que le taux moyen d'obtention de réponses correctes de ChatGPT est trop faible, la publication de réponses créées par ChatGPT est considérablement préjudiciable au site et aux utilisateurs qui demandent ou recherchent des réponses correctes." Pour Stack Overflow, le problème est littéralement existentiel. Si le site Web est inondé d'exemples de code sans valeur, les programmeurs n'y iront plus, sa base de données de plus de 30 millions de questions et réponses deviendra indigne de confiance et le site Web communautaire de 14 ans mourra. Comme il s'agit de l'une des ressources les plus centrales sur lesquelles comptent les programmeurs du monde, les conséquences pour la qualité des logiciels et la productivité des développeurs pourraient être immenses.

Et Stack Overflow est un canari dans une mine de charbon. Ils peuvent être en mesure d'amener leurs utilisateurs à arrêter volontairement ; les programmeurs, dans l'ensemble, ne sont pas malveillants et peuvent peut-être être persuadés d'arrêter de s'amuser. Mais Stack Overflow n'est pas Twitter, Facebook ou le Web en général, qui ont peu de contrôle sur la diffusion d'informations malveillantes.

Il est peu probable que les États-nations et autres mauvais acteurs qui produisent délibérément de la propagande déposent volontairement ces nouvelles armes. Au lieu de cela, ils sont susceptibles d'utiliser de grands modèles de langage comme une nouvelle classe d'armes automatiques dans leur guerre contre la vérité, en attaquant les médias sociaux et en créant de faux sites Web à un volume que nous n'avons jamais vu auparavant. Pour eux, les hallucinations et le manque de fiabilité occasionnel des grands modèles de langage ne sont pas un obstacle, mais une vertu.

Le soi-disant modèle de propagande russe « Firehose of Falsehood », décrit dans un rapport Rand de 2016, consiste à créer un brouillard de désinformation ; il se concentre sur le volume et crée de l'incertitude. Peu importe si les grands modèles de langage sont incohérents s'ils peuvent augmenter considérablement le volume de désinformation. Et il est clair que c'est ce que la nouvelle race de grands modèles de langage rend possible. Les propagandistes de la lance à incendie visent à créer un monde dans lequel nous sommes incapables de savoir en quoi nous pouvons avoir confiance ; avec ces nouveaux outils, ils pourraient réussir.

Les escrocs aussi en prennent vraisemblablement note, car ils peuvent utiliser de grands modèles de langage pour créer des anneaux entiers de faux sites, certains axés sur des conseils médicaux douteux, afin de vendre des publicités. Un anneau de faux sites sur l'actrice et scientifique Mayim Bialik vendant prétendument des bonbons gélifiés au CBD pourrait faire partie d'un tel effort.

Tout cela soulève une question cruciale : que peut faire la société face à cette nouvelle menace ? Là où la technologie elle-même ne peut plus être arrêtée, je vois quatre voies. Aucune n'est facile, ni exclusive, mais toutes sont urgentes.

Tout d'abord, chaque entreprise de médias sociaux et moteur de recherche doit prendre en charge et étendre l'interdiction de StackOverflow : le contenu généré automatiquement qui est trompeur doit être supprimé et ce contenu doit être étiqueté comme désinformation.

Deuxièmement, chaque pays devra reconsidérer ses politiques de réglementation de la désinformation largement diffusée. C'est une chose que le mensonge occasionnel passe à travers; c'en est une autre pour les particuliers ou les institutions d'en distribuer en masse. Si la situation se détériore, nous devrons peut-être commencer à traiter la désinformation un peu comme nous le faisons pour la diffamation : rendre une certaine classe de discours légalement passible de poursuites, s'il est créé avec suffisamment de malveillance, nuisible et créé à un volume suffisant, par exemple, supérieur à un certain nombre par mois. Ce nombre pourrait s'appliquer aux cas dans lesquels des fermes de trolls tentent d'influencer les élections ou de militariser la désinformation médicale.

Troisièmement, la provenance est plus importante que jamais. Les comptes d'utilisateurs doivent être validés plus rigoureusement, et de nouveaux systèmes comme Harvard et human-ID.org de Mozilla qui permettent une authentification anonyme et résistante aux bots doivent devenir obligatoires.

Quatrièmement, nous allons devoir construire un nouveau type d'IA pour lutter contre ce qui a été déclenché. Les grands modèles de langage sont excellents pour générer de la désinformation, car ils savent à quoi ressemble le langage mais n'ont aucune prise directe sur la réalité - et ils sont médiocres pour lutter contre la désinformation. Cela signifie que nous avons besoin de nouveaux outils. Les grands modèles de langage manquent de mécanismes pour vérifier la vérité, car ils n'ont aucun moyen de raisonner ou de valider ce qu'ils font. Nous devons trouver de nouvelles façons de les intégrer aux outils de l'IA classique, tels que les bases de données et les réseaux de connaissances et de raisonnement.

L'auteur Michael Crichton a passé une grande partie de sa carrière à mettre en garde contre les conséquences involontaires et imprévues de la technologie. Au début du film Jurassic Park, avant que les dinosaures ne commencent à courir en liberté de manière inattendue, le scientifique Ian Malcolm (joué par Jeff Goldblum) distille la sagesse de Crichton en une seule ligne : "Vos scientifiques étaient tellement préoccupés de savoir s'ils le pouvaient, ils ne se sont pas arrêtés pour penser s'ils le devaient."

Les dirigeants de Meta et OpenAI sont aussi enthousiastes à propos de leurs outils que les propriétaires de Jurassic Park l'étaient à propos des leurs. La question est: qu'allons-nous faire à ce sujet?

Note de l'éditeur : cet article a été adapté de l'essai "AI's Jurassic Park Moment".

Il s'agit d'un article d'opinion et d'analyse, et les opinions exprimées par l'auteur ou les auteurs ne sont pas nécessairement celles de Scientific American.

GaryMarcus est un scientifique, un auteur à succès et un entrepreneur. Son livre le plus récent, co-écrit avec Ernest Davis, Rebooting AI, est l'un des 7 livres incontournables de Forbes sur l'IA. Suivez Gary Marcus sur Twitter Crédit : Nick Higgins

Kate Wang

Daniel Cusick et E&E News

Brianne Kane

H.-S. Philippe Wang | Avis

Naomi Oreskes

Philippe Boule