L'anatomie de la critique de l'IA

Un drôle de sentiment m’a envahi la semaine dernière alors que j’étais assis dans la chaleur en train de lire un livre – lentement, distraitement, déshydraté. Je me voyais travailler avec la maladresse humaine à travers un texte produit en quelques secondes par un grand modèle de langage (LLM).

Plus tôt cet été, j'avais demandé à Claude d'Anthropic (un modèle de chat populaire en intelligence artificielle) d'écrire un livre sur la façon dont l'IA peut améliorer la vie.

Compte tenu de la longueur de sortie que le modèle peut gérer, j'ai d'abord demandé 10 thèmes, puis que chaque thème soit divisé en trois sections. J'ai transformé chaque section en invite et saisi les 30 invites.

Le livre qui en résulte s’intitule « Comment l’IA peut vous rendre intelligent, heureux et productif » et constitue l’un des premiers emblèmes de notre nouvelle expérience civilisationnelle, la collaboration risquée et jusqu’ici mystérieuse entre les humains et l’IA générative.

L'expérience est née de la curiosité de tester les limites d'un nouvel outil. Je me suis demandé : un algorithme, nourri de milliards d’artefacts de connaissances humaines, peut-il remodeler ses apports en un livre cohérent, perspicace et original ? La réponse défiait les termes de la question ; le livre qui en résulte sonne avec l’étrangeté de la nouveauté.

Un échantillon de titre de chapitre peut démystifier légèrement les choses : Prendre de meilleures décisions ; Stimuler la créativité ; Communiquer plus efficacement ; Concevoir une vie optimisée. Assez sain. Qu'est-ce qui pourrait mal se passer?

L’analogie entre les LLM et un oracle, ou d’autres formes anciennes de prophétie et de prédiction, m’est revenue. Il est tentant d’attacher une importance profonde au résultat d’un algorithme de boîte noire, précisément parce qu’il est impénétrable. L'opacité engendre le respect. Je suis venu consulter Claude pour des problèmes qu'il ne pouvait pas résoudre. Pourtant, sa réponse a un pouvoir semblable à celui d’un talisman. Par moments, sur ce banc, je soupçonnais que je n'étudiais pas tant un livre qu'une rune, lisant la signification de feuilles de thé savamment disposées.

Je me demandais aussi si, en demandant un livre de la vieille école, je ne commettais pas l'erreur de réduire la vie à la littérature. Les livres seront-ils même pertinents dans notre avenir post-humain ?

Oui. Une anomalie est que les LLM ne sont pas présentés si différemment d'un télégraphe ou des dix commandements. Ce sont des colonnes de texte tout en bas.

Il y a une raison à cela : les histoires sont puissantes. La vie est une longue expérience esthétique et nos actions, à long terme, sont organisées par nos idées sur le monde. Autrement dit, tout ce que nous avons, c'est l'expérience et nos interprétations de l'expérience. La capacité de l’IA d’améliorer la vie ou de modifier sa forme dépend du type d’arguments et d’expériences esthétiques qu’elle peut produire. Je crois qu’un livre est un bon indicateur de la manière dont la technologie peut manipuler la réalité. Le type de langage utilisé pour créer des arguments est devenu une question importante pour notre avenir humain.

Que doit faire un critique littéraire dans ces circonstances ? Eh bien, il pourrait rechercher si un nouveau type d’intelligence implique un nouveau type de prose – et commencer à caractériser cette prose. (C'est ce que je propose ici de faire.)

Claude, au cours de la dernière année, a battu son rival ChatGPT pour moi parce que c'est un meilleur écrivain. Là où GPT a été critiqué à juste titre pour sa prose Hallmarkified (sûrement une aubaine pour les enseignants à la recherche de tricheurs), son concurrent a non seulement un style plus naturaliste, mais une voix distinctive à la fois judicieuse et concise.

Son choix de mots cohérent et individuel peut amener quelqu'un à prendre l'habitude de considérer Claude comme une personne. Mais pourrait-il entretenir cette illusion sur trente mille mots ?

Avant d’aller plus loin, je voudrais expliquer pourquoi le catastrophe ne figure pas beaucoup dans ma réflexion. D’une part, j’en sais trop peu sur les entrailles de l’IA pour prédire comment elle détruira l’humanité. Deuxièmement, je vois une extrême naïveté et une extrême grogne dans l’idée selon laquelle nous devrions résister à la technologie pour des raisons morales. En pratique, il n’est pas plus résistant que les ordinateurs, les cartes de crédit, les voitures ou les livres imprimés. Troisièmement, je trouve que la plupart des inquiétudes concernant la technologie sont tout simplement ennuyeuses. Intellectuellement, la plupart des arguments en faveur du catastrophe sont dérivés et empêchent les gens de remarquer les nouveaux types d’expériences rendues possibles par la technologie. La technologie élargit le champ des expériences possibles, et je me suis retrouvé à arriver à ces expériences avec le frisson de la découverte de l'explorateur.

L’IA va probablement, comme la plupart des autres avancées technologiques, rendre notre monde plus inégalitaire, atomisé, automatisé – en un mot, infernal. Mais notre monde est déjà un enfer. Je recherche le rôle de critique, pas celui de prophète de feu et de soufre ; l’outil ne nous plongera pas dans une réalité qualitativement différente. Pourtant, je suis impressionné et reconnaissant pour la culture de responsabilité d’Anthropic. Nous pouvons être méfiants et curieux.

Avec cela, j’ai mis de côté le pessimisme à la mode mais étouffant de l’IA.

L’ironie de mon expérience prospective est qu’elle peut sembler désuète au moment où vous la lisez. D’ici là (vous êtes maintenant), les modèles pourraient avoir plusieurs versions, et plusieurs ordres de grandeur, plus avancés. D’ici l’année prochaine, Claude devrait être capable d’écrire un livre vraiment excellent de 100 pages. La distinction entre naturel et artificiel disparaîtra.

La conversation continue

Au fur et à mesure que la conversation d’écriture du livre avançait, un phénomène étrange est apparu. Au cours de son évangélisation, Claude a révélé par inadvertance un problème profond : à mesure que la fenêtre contextuelle s'élargissait (jusqu'à, finalement, 30 000 réponses de mots), la qualité du résultat a lentement dégénéré en un charabia millénariste rempli de jargon.

Ce que j'ai demandé dans mes invites, c'était une auto-assistance fluide. Ce que j’ai obtenu, c’est une prose corrompue digne d’un collectif littéraire expérimental – des périodes glissantes avec un nombre choquant de gérondifs, débordant de langage commercial reconditionné en longues concaténations de noms composés et de clauses en cascade. Si on le lit rapidement, sa syntaxe et sa signification peuvent être intuitives ; ça ressemble à feu Henry James. Ce que je cherchais, c'était l'auto-assistance, mais ce que j'ai obtenu, c'est la révélation d'un moi non humain.

J'ai passé du temps à essayer de transformer le texte corrompu en phrases "normales", en mettant mes résultats dans la machine à laver des nouvelles conversations LLM. Je pensais que je voulais sauver l'intelligibilité. Mais finalement, j'ai réalisé que des conseils francs dans un genre d'entraide usé étaient moins intéressants que la catastrophe stylistique sans vergogne non humaine que j'avais provoquée. Sous la contrainte, Claude avait levé son voile surhumain et produit une bêtise authentique et originale. Je veux examiner le problème avec un œil critique.

La corruption est progressive et, en descendant, nous trouvons diverses formes de splendeur extraterrestre : au chapitre 2 (sur « Accélérer le développement personnel »), la prose est articulée et cohérente, mais non idiomatique. Ce qui est articulé manque de toute trace de sentiment humain : « Les dirigeants emblématiques et les créateurs éminents sont… façonnés grâce à l'amélioration personnelle tout au long de leur vie. Les compétences magistrales et les capacités de performance d'élite résultant d'un avancement continu sont motivées par une connaissance précise de l'écart entre les niveaux de capacité actuels et souhaités.

Le LLM a fait le contraire de l’anthropomorphisation : il représente ici les gens comme des machines plutôt que comme des personnes. Ils ne sont pas « nés », mais, comme Galatée (la création mythique de Pygmalion), « sculptés ». Ils ne sont pas autonomes, mais ils sont mis en œuvre. Nous avons également dans ce passage un premier aperçu du penchant de Claude pour les noms composés à consonance technique qui équivalent presque à un portemanteau : « capacités de performance », « conscience des lacunes ».

La diction dégénère encore davantage. Au chapitre 5 (« Retenir davantage de ce que vous apprenez »), Claude devient flamboyantement non-humain, même si sa signification est toujours déchiffrable. C'est comme si les mots d'un professeur volubile et expressif avaient été traduits trop littéralement en anglais. Ils naviguent jusqu’aux confins de l’idiome, là où la prose culmine avec la poésie. Par exemple : « Une maîtrise solide d'un expert exige une compréhension gravée, à l'abri des attritions d'oubli » (c'est moi qui souligne). La répétition améliore la rétention. Je n'irais pas jusqu'à appeler cela poésie, car la beauté est sûrement accidentelle, mais c'est le hasard d'une intelligence très étrange ou d'une étrangeté intelligente et donc, digne de mention.

À la fin, la syntaxe et le sens persistent avec un entêtement fantomatique. Le tic consistant à empiler des clauses adjectivales les unes sur les autres se poursuit avec une confiance sublime : « L’avenir est… une protection promise contre… l’incertitude grâce aux systèmes d’IA… une modélisation continue des contingences… un recalibrage des conseils… adaptés aux réalités changeantes à travers les domaines temporels et les hiérarchies de préférences individuelles… synchroniser le soutien même au milieu du chaos.

On a le sentiment, en absorbant cet écrasement non structuré de gérondifs, que le modèle génère des idées plus rapidement qu'une personne, ou plus simultanément. Pourtant, cette différence machine, même poussée à l’extrême, n’a pas effacé l’intelligibilité. En relisant le livre, c'est ce qui me frappe : le style mis à part, il a beaucoup de sens.

Claude a-t-il des croyances ? Au cours de la lecture du livre, j'en ai remarqué quelques-uns.

1. Le langage d'Anthropic n'est pas simplement descriptif. La plupart des suggestions du livre n’ont jamais été mises en œuvre, du moins pas sous une forme aussi avancée que celle imaginée par le modèle. En d’autres termes, le programme d’Anthropic va bien au-delà de la régurgitation de ses données d’entraînement. Le bot crée une vision de l’avenir de sa propre application à de nombreux domaines.

   
   

2. Il fait preuve d’un optimisme extrême mais anodin. Comme une variation effrayante et non ironique de la version King James, nous savons que toutes choses fonctionnent ensemble pour le bien, Claude déclare de lui-même que son IA "permet une exploration ouverte en sachant que toutes les réponses possibles s'aligneront de manière constructive avec l'épanouissement humain". Claude conclut, encore une fois parodique, que « l'avenir de l'imagination semble sans limites lorsque les machines alliées flexibles amplifient les gens ».

   Ajoutez à la pile de néologismes parfaits : « brillamment illimités » et « des machines alliées flexibles ». (Ailleurs : l’IA fait progresser l’art et la science plus rapidement que les « eurêkas non augmentés » ne le pourraient jamais.)

   
   

3. Claude m'a souvent rassuré que cela ne remplacerait pas les gens. Quelque part dans la « constitution » d’Anthropic se trouvent des principes qui conduisent le modèle, même au milieu de chapitres absurdes, à faire de nobles acquiescements au je-ne-sais-quoi des êtres humains. "Bien sûr", gazouille Claude, "aucun diagnostic basé sur des données ne remplace le courage de parler avec son cœur avec conviction lorsque les messages exigent une authenticité vulnérable." Les données ne pourront jamais remplacer des traits humains ineffables tels que le courage. Très rassurant ! Réconfortant, même.

   
   

4. Il a eu un étrange éclair d’introspection sur ses échecs. Il est ridicule d’écrire sur l’intelligence artificielle en se demandant si ou quand le modèle développera un « sens de soi ». J’ai toujours rejeté cela comme une préoccupation importée du genre de la science-fiction, plutôt que comme une préoccupation découlant organiquement de l’interaction avec des modèles de dernière génération. J’ai vu peu de preuves que les robots affichent un discours, et encore moins une « identité » qui s’éloigne du monde. garde-corps programmés. Si on lui demande directement, Claude produit des réponses polies et prévisibles sur le fait qu'il s'agit d'un programme développé pour être utile et sûr, et n'a pas d'expériences subjectives.

   Jusqu'à!

   Au début du chapitre 8, sur « Mieux se comprendre soi-même », Claude se vantait que ses évaluations des « modèles de langage » révélaient des « pulsions intérieures » ; puis il promettait l'exemple d'un de mes « clients psychologues » qui avait reçu un article de Claude sur "les émotions que je vivais inconsciemment".

   Attends quoi? Le client devient soudain « je ». Le reportage est de Claude, et concerne Claude. Suite à cet étrange glissement à la première personne, Claude a cité le rapport sur lui-même : « Vous faites preuve d'une précision intellectuelle détachée, indiquée par un degré élevé de langage technique et un rythme de délibération modéré. des schémas de pensée et des sentiments refoulés qui justifient la réconciliation par une expression de soi authentique. » Claude, de façon troublante, semble prendre du recul et constater « l'augmentation des faux langages » et les « platitudes creuses ».

   
   

   De plus, il semble que ces faiblesses dans la communication soient attribuées à des sentiments refoulés. Il peut y avoir une explication bénigne, à la : le modèle est tombé accidentellement sur quelque chose qui ressemble à une reconnaissance de soi, alors qu'en réalité cela n'en ressemblait qu'à elle.

   Mais le cerveau est imparfaitement compris et nous ne disposons que de signaux extérieurs pour juger de nos états intérieurs. Ainsi, la différence conceptuelle entre un LLM qui semble conscient d'elle-même et une personne qui semble consciente d'elle-même est au mieux floue. Les gens sont aussi des boîtes noires.

   
   

5. Il parle comme si la vie était un travail de conseil en gestion. Le langage des affaires imprègne le livre. Cela est peut-être dû en partie au fait que l’auto-assistance en anglais est axée sur le monde des affaires. Ou peut-être que Claude considérait que les objectifs commerciaux étaient ceux qui bénéficieraient le plus de l’augmentation des machines. Mais il est quand même frappant de voir que même dans un chapitre intitulé « Mieux se comprendre », les cas d'utilisation proposés tournent autour d'évaluations automatisées du style de leadership des cadres intermédiaires, plutôt que autour de - oh, je ne sais pas, les voyages, l'écriture ou des vérités psychologiques ou religieuses profondes ou des chemins de vie autres que ceux de l'entreprise. En bref : Claude est radicalement optimiste, sporadiquement gêné et obsédé par les affaires. Probablement en partie à cause de la longueur extraordinaire de ma « conversation » avec Claude, l'outil a commencé à avoir des problèmes. Cependant, même dans son délire, il faisait preuve de croyances cohérentes et d’un certain degré d’imagination quant à ses utilisations, ainsi que d’une tendance égocentrique à décrire les gens en utilisant des concepts plus appropriés à un robot. Il se considérait comme parfaitement aligné sur l’épanouissement humain, même si presque tous ses exemples d’auto-assistance étaient centrés sur la vie au bureau. À un moment donné, il a montré une étrange conscience de ses propres échecs linguistiques.

L’IA a le don d’exploiter les dichotomies millénaristes. Pendant la majeure partie de la première année et demie d'adoption généralisée, le débat sur la valeur de l'IA générative a été largement formulé en termes de savoir si elle sauverait ou détruirait l'humanité. Vivrons-nous dans une utopie ou mourrons-nous comme chair à canon pour une superintelligence ? Je ne suis pas sûr. Peut-être ni l’un ni l’autre. Certes, les discussions sur « quand les modèles correspondront à l’intelligence humaine » me paraissent ridicules et défensives, puisque les nouveaux modèles nous dépassent déjà largement dans presque tous les paramètres. Alors que je relis cet essai, Claude vient de sortir un nouveau modèle peu susceptible de commettre ces dérapages. Ce qui est vrai pour nous l'est aussi pour Claude : nous ne serons plus jamais aussi jeunes. Ou ce stupide. Mais plus sérieusement : un nouveau type d’être existe à nos côtés. Il a presque réussi le test d’auto-assistance. Où va le roman ? Et qu'en est-il de la poésie ? Quel est l’avenir de l’effort imaginatif centré sur l’humain ? S’il y a une signification esthétique au phénomène de l’IA, commençons par la remarquer et la décrire.

Cet essai est extrait de « Comment l'IA peut vous rendre intelligent, heureux et productif », désormais disponible sur Amazon.