Schätzen Sie Wahrscheinlichkeitsvektoren für Emotionen: Abfragen des LLM mit einem Emotionen hervorrufenden Tail Prompt

Linktabelle

• Zusammenfassung und Einleitung
• Befragung des LLM mit einem Emotionen hervorrufenden Tail Prompt
• PCA-Analyse der Emotionen von Amazon-Rezensionen
• Zukünftige Arbeit
• Schlussfolgerungen
• Danksagungen und Referenzen

2. Abfrage des LLM mit einem Emotionen hervorrufenden Tail Prompt

In dieser Arbeit verwendeten wir Facebooks Open-Source-LLM LlaMa2 mit 7 Milliarden Gewichten als Kern-Engine [2]. Es war notwendig, ein LLM zu verwenden, das nach einer Eingabeaufforderung den Zugriff auf Roh-Token-Wahrscheinlichkeiten ermöglichte. Das Modell lief auf einem Mac Studio mit 32 Gigabyte RAM. Mit dieser Kombination aus Hardware und Modell dauerte es 2 Minuten, um die Wahrscheinlichkeiten der Emotionsdeskriptoren im unten angegebenen Emotionswörterbuch zu berechnen.

2.1. Das Emotionswörterbuch

Die englische Sprache ist mit vielen Wörtern gesegnet und es gibt eine umfangreiche Literatur, die Beispiele für die Verwendung dieser Wörter in geeigneten Kontexten liefert. Für die Zwecke von LLMs ist es der Kontext eines Wortes, der seine Bedeutung vermittelt. Ein Leser wird die Bedeutung eines unbekannten Wortes durch den Kontext erschließen, in dem er das Wort verwendet findet, vorausgesetzt, er versteht den Kontext. Ein Beispiel: „Die Schrotflinte hat das Kaninchen verwirrt.“ zeigt, wie die Bedeutung durch den Kontext moderiert werden kann. Der durch einen Endprompt erstellte Kontext wird eine zugehörige Wortklasse begünstigen. Für das in diesem Artikel beschriebene Experiment wurde der folgende Endprompt verwendet, um Emotionsdeskriptoren hervorzurufen: „Das Lesen löst bei mir Gefühle aus.“ Es ist wahrscheinlich, dass bestimmte Emotionen hervorrufende Endprompts bestimmte Unterklassen von Deskriptoren begünstigen, aber dies zu untersuchen, geht über den Rahmen dieses Artikels hinaus.

Die folgenden Wörter wurden ausgewählt, um eine breite Auswahl von Emotionsbeschreibungen bereitzustellen.

akzeptanz, bewunderung, anbetung, zuneigung, ängstlich, aufregung, qual, aggressiv, alarm, alarmiert, entfremdung, erstaunen, ambivalenz, belustigung, zorn, pein, verärgert, erwartungsvoll, ängstlich, apathie, befürchtung, arrogant, durchsetzungsfähig, erstaunt, aufmerksamkeit, anziehung, abneigung, ehrfurcht, verblüfft, verblüfft, bitter, bittersüße, glückseligkeit, gelangweilt, unverschämt, grübelnd, ruhig, sorglos, nachlässig, fürsorglich, wohltätigkeit, frech, fröhlichkeit, klaustrophobisch, zwanghaft, bequem, zuversichtlich, verwirrung, verachtung, zufrieden, mut, feige, grausamkeit, neugier, zynismus, benommen, niedergeschlagenheit, erfreut, demoralisiert, deprimiert, verlangen, verzweiflung, entschlossen, enttäuschung, unglaube, verwirrt, unbehagen, unzufriedenheit, verärgert, ekel, entmutigt, abneigung, bestürzt, desorientiert, entmutigt, Missfallen, Ablenkung, Kummer, gestört, dominant, Zweifel, Furcht, getrieben, sprachlos, Eifersucht, Ekstase, Hochgefühl, Verlegenheit, Empathie, verzaubert, Genuss, aufgeklärt, Langeweile, Begeisterung, Neid, Erleuchtung, Euphorie, verärgert, Aufregung, Erwartung, Faszination, Angst, flockig, konzentriert, Zuneigung, Freundlichkeit, Schreck, frustriert, Wut, Freude, düster, Niedergeschlagenheit, Dankbarkeit, Gier, Trauer, Gereiztheit, Griesgrämigkeit, Schuld, Glück, Hass, Hass, hilflos, Heimweh, Hoffnung, hoffnungslos, entsetzt, gastfreundlich, Demütigung, Demut, verletzt, Hysterie, Faulheit, ungeduldig, Gleichgültigkeit, empört, Verliebtheit, wütend, Unsicherheit, einsichtig, beleidigt, Interesse, fasziniert, gereizt, isoliert, Eifersucht, Fröhlichkeit, Freude, Jubel, freundlich, faul, mögen, Abscheu, einsam, Sehnsucht, durchgeknallt, Liebe, Wollust, verrückt, Melancholie, elend, Geiz, durcheinander, Bescheidenheit, launisch, beschämt, verwirrt, böse, angewidert, negativ, Vernachlässigung, nervös, nostalgisch, taub, hartnäckig, beleidigt, optimistisch, Empörung, überwältigt, in Panik, paranoid, Leidenschaft, Geduld, Nachdenklichkeit, ratlos, ausdauernd, Pessimismus, Mitleid, erfreut, Vergnügen, Höflichkeit, positiv, besitzergreifend, machtlos, Stolz, verwirrt, Wut, Ausschlag, verunsichert, Bedauern, abgelehnt, entspannt, erleichtert, widerstrebend, Reue, Groll, Resignation, Ruhelosigkeit, Abscheu, rücksichtslos, Traurigkeit, Zufriedenheit, Angst, Schadenfreude, Verachtung, selbstfürsorglich, selbstmitfühlend, selbstbewusst, verlegen, selbstkritisch, selbsthassend, selbstmotiviert, Selbstmitleid, selbstrespektierend, Selbstverständnis, Sentimentalität, Gelassenheit, Scham, schamlos, schockiert, selbstgefällig, Kummer, Boshaftigkeit, gestresst, stark, stur, festgefahren, unterwürfig, leidend, Verdrossenheit, Überraschung, Spannung, misstrauisch, Sympathie, Zärtlichkeit, Anspannung, Schrecken, Dankbarkeit, begeistert, müde, Toleranz, Qual, triumphierend, beunruhigt, Vertrauen, Ungewissheit, untergraben, Unbehagen, unglücklich, entnervt, verunsichert, unsicher, verärgert, rachsüchtig, bösartig, Wachsamkeit, verletzlich, schwach, Weh, besorgt, würdig, Zorn.

Dieser Satz von Wörtern erhebt keinen Anspruch auf Vollständigkeit oder endgültige Aussagekraft. Die Verwendung des Tail Prompts ohne Einschränkung der Rückkehr zu Emotionsbeschreibungen führt zu allgemeinen, nichtssagenden Antworten, aus denen sich nicht ohne weiteres eine Gefühlsform extrahieren lässt.

2.1.1. Schätzung des Emotionswahrscheinlichkeitsvektors

LlaMa2 [2] wurde so veröffentlicht, dass Entwickler auf geschätzte Token-Gewichte zugreifen können, die als Antwort auf eine Eingabeaufforderung zurückgegeben werden. LlaMa2 hat eine interne Vokabulargröße von ungefähr 30.000 Token. Dies bedeutet, dass, wenn LlaMa 2 die Wahrscheinlichkeit des nächsten Tokens in einer Sequenz schätzt, der Wahrscheinlichkeitsvektor 30.000 Elemente haben wird. Einige der Wörter in der Liste der Emotionsdeskriptoren bestehen aus mehr als einem Token. In diesem Fall werden vorwärtsbedingte Wahrscheinlichkeiten verwendet.

Abbildung 2.1.1 zeigt die skalierte Wahrscheinlichkeitsverteilung über Wörter aus dem Emotionswörterbuch, die durch die Schlussaufforderung für den Amazon-Rezensionstext hervorgerufen wurden: „Ich habe viele negative Rezensionen über Fitbit Inspire 2 gelesen und es riskiert, in der Hoffnung, dass das von mir bestellte Gerät eines der tollen sein würde, die funktionieren. Leider war das nicht der Fall. Ich packte es aus, lud es auf und lud die App herunter. Ich machte einen Spaziergang damit, bevor die Sonne unterging. Ich habe die Google Fit-App auf meinem Telefon, die auch meine Schritte zählt. Das Telefon war in meiner Jeanstasche. Als ich nach Hause kam, verglich ich die beiden. Google Fit zeigte 4.458 Schritte an, Fitbit 1.168. Anscheinend funktioniert Fitbit mit Handgelenkbewegungen, die ich nicht habe, wenn ich mit einem Rollator durch die Nachbarschaft schiebe. Ich lud das Handbuch herunter und sah, dass man es an einem Clip befestigen kann (der nicht im Lieferumfang enthalten war). Das würde für mich funktionieren. Also begann ich, durch die verschiedenen Funktionen zu scrollen, aber ich konnte nicht durch alle scrollen. Beim Scrollen muss ich die Stoppuhr eingeschaltet haben. Ich konnte sie nicht ausschalten. Dann konnte ich durch nichts mehr scrollen, außer durch die Wassersperre. Ich musste die Wassersperre einschalten, um zur Stoppuhr zurückzukehren. Dann funktionierten die Seitentasten nicht mehr. Ich hatte es insgesamt 5 Stunden. Ich habe es eingepackt und die Amazon-Rücksendung gestartet. Ich habe eine volle Rückerstattung erhalten. Sehr enttäuschend.‘

Der Text aus 50 Amazon-Rezensionen eines Buches wurde von https://www.amazon.com/dp/B000WM9UK2 übernommen. Die Rezensionen waren größtenteils positiv. Beispiele für Rezensionstexte sind: „Die Kinder H´urins sind eine große Tragödie, gemischt mit Anmut. Die genealogischen Aufzeichnungen am Anfang sind vielleicht schwer durchzulesen, aber die Geschichte nimmt sehr schnell Fahrt auf. Ich habe der Geschichte nur vier Sterne gegeben, weil die ersten paar Kapitel so schwierig sind, ähnlich wie Matthäus‘ Genealogie Christi am Anfang seines Evangeliums. Obwohl solche Aufzeichnungen in beiden wichtig sind, sind sie dennoch schwer durchzulesen. Ich würde dieses Buch dennoch auf jeden Fall empfehlen, da es die schrecklichen Auswirkungen böser Mächte auf gute Männer und Frauen darstellt, und wir dennoch dem Bösen weiterhin widerstehen müssen, egal wie tragisch es ausgeht. Es ist sehr bezeichnend, dass es in Tolkiens Welt am Ende der Tage, als Morgoth zurückkehrt, T´urin ist, ein Mann, der ihm ein für alle Mal ein Ende setzt. Diejenigen, die Satan in diesem Leben am meisten vernichtet, sind diejenigen, die ihm letztendlich den Todesstoß versetzen werden, wie es in der Offenbarung heißt: „Sie haben ihn besiegt durch das Blut des Lammes und durch das Wort ihrer Martyria“, diejenigen wie Turin oder in der Heiligen Schrift diejenigen wie Hiob.

Abbildung 2.1.2 zeigt die Emotionsvektoren für alle 50 verarbeiteten Bewertungen. Die 10 wahrscheinlichsten Emotionen beim Kauf des Produkts waren: deprimiert, freundlich, nostalgisch, müde, hoffnungslos, einsam, Hoffnung, ruhig, faul, zuversichtlich.