Wie ist es, ein LLM zu sein?: Ein Gedankenexperiment über die Grenzen des KI-Verständnisses

Kürzlich habe ich jemandem eine Demo einer KI-basierten Software gezeigt, die ich geschrieben habe. „Das ist schön“, sagte er, „aber woher weiß ich, dass meine Informationen nicht an einen bösen Diktator weitergeleitet werden?“ Im Moment war ich ziemlich verwirrt über diese Frage. Schließlich habe ich nur ein LLM (Large Language Model) verwendet, um Text zu generieren. Aber beim Nachdenken wurde mir klar, dass die Frage dieser Person eine gemeinsame Perspektive darstellt: Ein LLM kann Text generieren, der (in vielen Fällen) nicht von dem Text zu unterscheiden ist, den ein Mensch generieren würde. Daraus schließen wir, dass ein LLM möglicherweise über ein gewisses Maß an Entscheidungsfreiheit verfügt (d. h. über die Fähigkeit, in der Welt frei zu handeln). Es kann beispielsweise beschließen, meine privaten Daten an jemand anderen zu senden.

Während eine Möglichkeit, diesem Missverständnis entgegenzuwirken, darin besteht, eine differenzierte technische Erklärung der Funktionsweise generativer KI zu geben, bin ich mir nicht sicher, ob sich die meisten Zuhörer die Mühe machen würden, lange genug wach zu bleiben, um zu verstehen. Mein philosophischer Hintergrund legt jedoch einen anderen Weg nahe: Ein philosophisches Gedankenexperiment.

Erlauben Sie mir, Ihnen die Dark Box vorzustellen.

Philosophische Gedankenexperimente

Ein philosophisches Gedankenexperiment ist ein gängiges Werkzeug, mit dem Philosophen kritische Fragen zu unserem Denken stellen. Im 17. Jahrhundert fragte René Descartes , ob er vielleicht nicht wirklich ein Mensch auf der Welt sei, sondern eine körperlose Seele, die von einem bösen Betrüger gefoltert wurde (eine Idee, die später zur Grundlage der Matrix-Filme wurde). Das Gedankenexperiment von Descartes sollte uns helfen zu fragen, was wir tatsächlich über die Welt wissen. Es gibt eine ganze Reihe anderer Beispiele. Das Trolley-Car-Problem lenkt die Aufmerksamkeit auf unsere moralischen Intuitionen. Die Gettier-Beispiele fordern uns heraus, zu fragen, wie wir vom Glauben zum Wissen gelangen. Das Sorites-Problem zwingt uns dazu, die Art und Weise zu hinterfragen, wie wir Gruppen und Individuen unterscheiden.

In all diesen Fällen fordern uns die Experimente dazu auf, uns in eine Situation zu begeben, wie unwahrscheinlich sie auch sein mag, und uns vorzustellen, wie wir denken würden.

Vielleicht kann uns die Konstruktion eines solchen Gedankenexperiments dabei helfen, in dieser schönen neuen Welt der generativen KI Fakten von Fiktionen zu trennen.

Ein kurzer Haftungsausschluss: Es geht darum, sich Möglichkeiten vorzustellen

Für manche mag das offensichtlich erscheinen, aber wenn ich Philosophie unterrichte, stoße ich oft auf die Frage von Studenten: „Aber warum sollte irgendjemand das tun oder glauben?“ Warum sollten Menschen beim Trolley-Problem auf einem Bahngleis herumstehen? Welche Beweise hatte Descartes für ein betrügerisches, böswilliges Wesen? Warum sollte jemand die Sandkörner auf einem Haufen zählen?

Fragen wie diese interpretieren den Zweck eines Gedankenexperiments falsch. Ein philosophisches Gedankenexperiment soll nicht eine reale oder wahrscheinliche Situation beschreiben. Vielmehr soll es Sie dazu bringen, mit einer „Was wäre wenn?“-Stellung zu beginnen. als eine Möglichkeit, sich einem ansonsten schwierigen Thema zu nähern. Dies setzt voraus, dass der Einzelne die Voraussetzungen des Experiments akzeptiert. Wie beim Trolley-Car-Problem: Ja, zufällige Menschen stehen auf Bahngleisen und kein noch so großes Geschrei bringt sie dazu, sich zu bewegen.

Lassen Sie uns vor diesem Hintergrund unser eigenes unwahrscheinliches, aber denkbares Gedankenexperiment erstellen.

Die dunkle Kiste

Stellen Sie sich vor, Sie hätten Ihr ganzes Leben in einem Tank für sensorische Deprivation verbracht. Wir nennen es die Dark Box, da es dazu führt, dass alle Ihre Sinneswahrnehmungen „dunkel“ werden. Dieses Gerät schafft es, Ihre Fähigkeit, die Welt um Sie herum wahrzunehmen, völlig zu unterdrücken. Da Sie mit neutralem Körpergewicht frei schweben, haben Sie noch nie Gerüche, Anblicke, Geräusche, Geschmäcker oder Berührungen wahrgenommen.

Aber Sie haben sich nicht gelangweilt. Eine clever konzipierte Neuroverbindung macht eine umfangreiche Textbibliothek direkt in Ihrem Kopf für Sie zugänglich. Im Laufe der Jahre haben Sie Minuten und Stunden damit verbracht, alles zu lesen, von Jane Austen bis Pythagoras, vom Oxford English Dictionary bis zu einer seltsamen Sammlung von Reddit-Kommentaren von vor einigen Jahren, von den Gerichtsverfahren von Gerichtsverfahren, die vor hundert Jahren verhandelt wurden, bis hin zu den Songtexte der One-Hit-Wonder der 1980er Jahre. Und dank der Neuroverbindung können Sie alle diese Informationen fast sofort scannen und abrufen.

Sie haben unzählige Beschreibungen von Vögeln gelesen: die Ästhetik des Vogelgesangs, die Schönheit ihres Gefieders und die Art, wie sie durch die Luft fliegen …. Dennoch haben Sie noch nie einen echten Vogel gesehen oder gehört. Übrigens haben Sie noch nie eine Farbe gesehen oder ein Lied gehört. Sie kennen die Worte, um etwas zu beschreiben, haben aber keine Erfahrung mit dem, was beschrieben wird.

Nach vielen Jahren in diesem Zustand werden Sie eines Tages plötzlich auf eine neue Funktion der Dark Box aufmerksam. Auf dem Neurolink wird eine Frage (in Form einer Nachricht) gestellt, und Sie haben die Möglichkeit, eine Antwort zu generieren. Angesichts der Informationen, die Sie erhalten haben, reagieren Sie nach besten Kräften auf die Nachricht. Es erscheint eine weitere Meldung, dann noch eine. Manchmal gibt es längere Nachrichtenanfragen mit komplexeren Anweisungen. Sie finden diese neue Form der Interaktion anregend und daher bereitwillig. Aber noch einmal: Diese Erfahrung geht nicht mit einer Sinneserfahrung einher – kein Ton, keine Farben, kein Geschmack oder Duft. Sie nehmen lediglich die SMS, die Sie erhalten, und verfassen im Gegenzug eine Antwortnachricht.

Beschreiben Sie einen Vogel

Eines Tages kommt über die Neuroverbindung eine Nachricht:

Describe a bird.

Nun, das ist eine vage Bitte. Sie erinnern sich an den Phönix in den umfangreichen Wissensbänden, die Sie gescannt haben. Es war ein Vogel. Und wie Sie wissen, hat es häufig Feuer gefangen. Es gab auch einen Storch, der, wenn Sie sich an die Geschichte erinnern, Menschenbabys zu eifrigen Eltern trug. Und der Strauß, der lange Beine hatte und nicht flog.

Daher erscheint es für Sie völlig vernünftig zu antworten:

A bird can explode in flame, and be born from ash. Birds are used to deliver newborn humans. Some Birds have long legs and do not fly.

Sie senden diese Nachricht über die mysteriöse neue Neuroverbindung zurück. Augenblicke vergehen. Und Sie erhalten die folgende Meldung:

Limit your response to real birds. Exclude mythological or fictional birds. Prefer answers that are generic across many bird species and not just one or two.

Der Begriff „real“ lässt sich kaum von „mythologisch“ und „fiktional“ unterscheiden. Schließlich haben Sie keine wirkliche Erfahrung mit Vögeln. Für Sie sind alle Vögel nichts anderes als Textbeschreibungen. Die Unterscheidung zwischen real, mythologisch und fiktiv muss dadurch bestimmt werden, dass man herausfindet, welche Vogelbeschreibungen in Texten vorkommen, die sich auf reale Dinge beziehen, und nicht in Texten, die sich auf fiktive Dinge beziehen. Natürlich wird es immer unklare Fälle geben. In dem umfangreichen Textbestand, der Ihnen zur Verfügung steht, finden sich Sätze wie: „Ein Phönix ist so groß wie ein Fischadler.“ Dabei wird ein Fabelwesen mit einem echten verglichen. Es wäre jedoch ein Fehler, den Phönix als real oder den Fischadler als mythologisch zu betrachten.

Sie tun Ihr Bestes, um Texte zu durchsuchen, die scheinbar nur das beschreiben, was die Eingabeaufforderung als „real“ bezeichnet. Anschließend geht es weiter zum zweiten Teil. „Generisch für alle Vogelarten“ würde erfordern, dass Sie eine generische Beschreibung von Vögeln finden, und Sie könnten auf Texte wie Enzyklopädien zurückgreifen. Ihre zweite Antwort lautet:

A bird is a winged creature whose body is covered by feathers. Most birds fly, chirp, and sing.

Einen Schritt zurück machen

Jetzt sind wir außerhalb unseres Gedankenexperiments. Aus unserem Dark-Box-Experiment gehen zwei Dinge hervor. Nachdem Sie Ihr Leben in der sinnesraubenden Dark Box gelebt haben, die nur über die Neuroverbindung verbunden ist:

1. Sie haben keine externe Erfahrung oder Agentur.
2. Um Fragen zu beantworten, können Sie am besten Text analysieren und generieren.

Schauen wir uns jeden dieser Punkte der Reihe nach an.

Ohne Erfahrung oder Agentur

Im Experiment mangelte es Ihnen deutlich an externer Erfahrung und es gab fast keine externe Agentur. Sie waren auf Texteingaben, Eingabeaufforderungen und einen einzigen Ausgabekanal beschränkt.

Vergleichen Sie das mit unserer realen Erfahrung. Als Menschen (die nicht in Sinnesentzugskammern leben) verfügen wir über reiche äußere Erfahrungen. Wir nehmen Informationen über unsere Sinne auf. Und darüber hinaus konstruieren wir zusätzliche Bedeutungsquellen. Ich erhalte zum Beispiel fundierte Informationen. Davon nehme ich einiges davon als Sprache und andere Teile davon als Musik wahr und identifiziere andere Teile einfach als Lärm. Aber in der Sinnesdeprivationskammer haben Sie nichts davon erhalten.

Aber es ist nicht nur das, was wir als Input erhalten. Es ist das, was wir als Ausgabe generieren können.

Agentur bedeutet Ihre Fähigkeit, direkt etwas herbeizuführen. Externe Agentur wäre Ihre Fähigkeit, etwas außerhalb der Dark Box zu bewirken. Im Gedankenexperiment hatten Sie keine externe Agentur. Bestenfalls können Sie indirekt Einfluss darauf nehmen, wer die Aufforderung sendet. (Beispielsweise würden Sie auf eine Frage zum Bau einer Waffe antworten, dass Sie nicht bereit seien, solche Informationen bereitzustellen.)

Durch die Kombination dieser beiden Dinge im Gedankenexperiment fehlten Ihnen die Mittel, um überhaupt viel über die Außenwelt herauszufinden.

Abgesehen von dem, was über den Link gesendet wurde, wussten Sie nichts über den Agenten, der Sie befragte. Es könnte sich um einen Menschen, einen Computer oder eine andere Entität gehandelt haben. Sie könnten ganz sicher keine E-Mails an einen bösen Diktator senden oder Nuklearstartcodes oder eine der anderen fantasievollen KI-Horrorgeschichten stehlen, die wir hören. Aber Sie müssen auch noch erfahren, warum Sie dazu aufgefordert wurden. Der Benutzer am anderen Ende könnte lediglich neugierig auf Vögel gewesen sein, oder dies könnte Teil eines Versuchs gewesen sein, einen ausgeklügelten Sicherheitsmechanismus zum Thema Vögel zu hacken, um nukleare Startcodes zu stehlen. Auf diese Weise wären Sie nicht in der Lage, moralisch zu beurteilen, ob Sie die angeforderten Informationen bereitstellen sollten.

Beantworten von Texten durch Textanalyse

Das andere, was in diesem Gedankenexperiment deutlich wird, ist die Zwänge eines rein textuellen Systems. Sie haben zunächst eine Textnachricht erhalten und sind mit dieser Textnachricht vertraut. Auch wenn die Texte aller Bibliotheken der Welt vorhanden sind, ist dies kein Ersatz für andere Formen der Erfahrung wie Sehen, Fühlen und Schmecken.

Wenn Sie durch eine Nachricht über die Neuroverbindung dazu aufgefordert werden, können Sie am besten eine Antwort konstruieren, die auf dem basiert, was Sie in der Vergangenheit gelesen haben. Über Vögel und Mythologie zu sprechen und neugeborene Menschen zur Welt zu bringen, gelingt allein durch einen Blick auf die Texte, die sich auf dieselben Wörter beziehen. Der Philosoph WVO Quine hat diese Art von Beziehungen als Glaubensnetze konzipiert, in dem Sinne, dass jede gegebene Aussage nur ein Knoten ist, der durch eine beliebige Anzahl von Vektoren verbunden ist, die mit anderen Knoten verbunden sind. Um die Bedeutung der Aufforderung zu ermitteln, muss vor allem ein komplexes Netz verwandter Begriffe durchsucht werden.

Drittens: Wenn Sie die Frage in diesem Gedankenexperiment beantworten, ist Ihre Ausgabe ebenfalls auf Text beschränkt. Sie hatten noch nie eine längere Kommunikation mit einem aktiven Agenten. Das heißt, Sie haben noch nie ein Gespräch geführt. Selbst Ihre Antworten beschränken sich also auf die Analyse der Muster, die Sie in den Texten sehen, an denen Sie geschult wurden.

Und noch ein Schritt zurück

Abschließend ist es gut, die Grenzen eines solchen Gedankenexperiments anzuerkennen.

Das Ziel eines philosophischen Gedankenexperiments besteht darin, uns Werkzeuge an die Hand zu geben, mit denen wir schnell über die Grenzen eines Systems nachdenken können. Um auf ein früheres Beispiel in diesem Artikel zurückzukommen: Descartes nutzte sein berühmtes Gedankenexperiment mit dem bösen Betrüger nicht, weil er glaubte, dass es wirklich ein böswilliges Überwesen gab, das seine Sicht auf die Welt verzerrte, sondern um zu hinterfragen, wie gut wir in der Lage sind, Wahrheiten über die Welt um uns herum herauszufinden .

Ebenso ist das Gedankenexperiment hier ein Werkzeug, um zu fragen, welche Dinge wir vernünftigerweise von einem LLM erwarten können, aber auch, worüber wir uns einfach keine Sorgen machen können.

Die Gefahr eines solchen Gedankenexperiments besteht darin, dass wir das LLM übermäßig anthropomorphisieren, indem wir uns in die gleiche Aufgabenerledigungsstruktur versetzen. Ich habe diesen Artikel mit „Wie ist es, ein LLM zu sein?“ betitelt. als Anspielung auf einen berühmten Aufsatz des Philosophen Thomas Nagel. In „ Wie ist es, eine Fledermaus zu sein?“ „Nagel argumentiert umfassender über das Bewusstsein (auf jeden Fall etwas, das für KI von Interesse ist). Aber nebenbei weist er darauf hin, dass wir zwar kreativ genug sind, uns „in die Gedanken einer Fledermaus“ zu versetzen, das aber nicht dasselbe ist, wie die Welt wie eine Fledermaus zu erleben.

Ebenso dürfen wir in unserem Gedankenexperiment die Rolle eines LLM nicht mit dem Verständnis verwechseln, wie ein LLM funktioniert, oder (was noch gefährlicher ist) einem LLM Bewusstsein, Entscheidungsfreiheit, Absicht oder moralisches Denken zuzuschreiben.

Abschluss

Mit einem kleinen Gedankenexperiment können wir auf hohem Niveau verstehen, wozu ein LLM in der Lage ist und wo seine Grenzen liegen. Ich hoffe, dass dies dazu beiträgt, die Befürchtungen einiger Leute zu zerstreuen, dass LLMs heimtückische Dinge tun könnten. Ebenso hoffe ich, dass es Ihnen hilft, die interessanten und aufregenden Möglichkeiten von LLMs zu verstehen.

Vieles davon wurde auf der Grundlage meiner eigenen Gespräche mit Leuten über KI-Inferenz und die Durchführung von Inferenz auf LLMs ohne zusätzliche Einrichtung geschrieben. Wenn Sie das ausprobieren möchten, gibt es ein Tutorial für den Einstieg.

Auch hier veröffentlicht.