Können KI-Halluzinationen gestoppt werden? Ein Blick auf 3 Möglichkeiten, dies zu tun

Große Sprachmodelle sind heute äußerst leistungsfähig; Sie können dabei helfen, Antworten auf einige unserer schwierigsten Fragen zu finden. Sie können uns aber auch in die Irre führen: Sie neigen zu Halluzinationen, was bedeutet, dass sie Antworten geben, die richtig erscheinen, es aber nicht sind.

LLMs halluzinieren, wenn sie auf Abfragen stoßen, die nicht Teil ihres Trainingsdatensatzes sind – oder wenn ihr Trainingsdatensatz fehlerhafte Informationen enthält (dies kann passieren, wenn LLMs auf Internetdaten trainiert werden, denen man, wie wir alle wissen, nicht immer vertrauen kann ). LLMs haben auch kein Gedächtnis. Schließlich wird „Feinabstimmung“ oft als eine Möglichkeit angesehen, Halluzinationen zu reduzieren, indem ein Modell auf neue Daten umtrainiert wird – aber es hat seine Nachteile.

Hier sehen wir uns drei Methoden an, um die Halluzination von LLMs zu verhindern: Retrieval-Augmented Generation (RAG), Reasoning und iteratives Abfragen.

Abruf-erweiterte Generation

Mit LAPPEN , kommt eine Abfrage in die Wissensdatenbank (in diesem Fall eine Vektordatenbank ) als semantischer Vektor – eine Folge von Zahlen. Das Modell ruft dann mithilfe von ähnliche Dokumente aus der Datenbank ab Vektorsuche , sucht nach Dokumenten, deren Vektoren nahe am Vektor der Abfrage liegen.

Sobald die relevanten Dokumente abgerufen wurden, wird die Abfrage zusammen mit diesen Dokumenten vom LLM verwendet, um eine Antwort für den Benutzer zusammenzufassen. Auf diese Weise muss sich das Modell nicht ausschließlich auf sein internes Wissen verlassen, sondern kann zum richtigen Zeitpunkt auf alle Daten zugreifen, die Sie ihm zur Verfügung stellen. In gewisser Weise stellt es dem LLM ein „Langzeitgedächtnis“ zur Verfügung, das es allein nicht besitzt. Das Modell kann genauere und kontextbezogenere Antworten liefern, indem es proprietäre Daten einbezieht, die in der Vektordatenbank gespeichert sind.

Ein alternativer RAG-Ansatz beinhaltet die Überprüfung von Fakten. Der LLM wird zur Eingabe einer Antwort aufgefordert, die dann einer Faktenprüfung unterzogen und mit den Daten in der Vektordatenbank abgeglichen wird. Aus der Vektordatenbank wird eine Antwort auf die Anfrage erstellt, und das LLM wiederum verwendet diese Antwort als Eingabeaufforderung, um zu erkennen, ob sie mit einer Tatsache zusammenhängt.

Argumentation

LLMs sind in vielen Dingen sehr gut. Sie können das nächste Wort in einem Satz vorhersagen, dank Fortschritten bei „Transformern“, die die Art und Weise verändern, wie Maschinen menschliche Sprache verstehen, indem sie verschiedenen Teilen der Eingabedaten unterschiedlich viel Aufmerksamkeit schenken. LLMs sind auch gut darin, viele Informationen in einer sehr prägnanten Antwort zusammenzufassen und aus einer großen Textmenge etwas zu finden und zu extrahieren. Überraschenderweise kann LLMS auch planen – es kann buchstäblich Daten sammeln und eine Reise für Sie planen.

Und was vielleicht noch überraschender ist: LLM-Studenten können logisches Denken nutzen, um auf fast menschenähnliche Weise eine Antwort zu finden. Da Menschen vernünftig denken können, benötigen sie keine Unmengen an Daten, um eine Vorhersage oder Entscheidung zu treffen. Das logische Denken hilft LLMs auch dabei, Halluzinationen zu vermeiden. Ein Beispiel hierfür ist „ Aufforderung zur Gedankenkette .“

Diese Methode hilft Modellen, mehrstufige Probleme in Zwischenschritte zu unterteilen. Mit Chain-of-Thought-Prompting können LLMs komplexe Argumentationsprobleme lösen, die mit Standard-Promptmethoden nicht möglich sind (einen ausführlichen Einblick finden Sie im Blogbeitrag). Sprachmodelle führen Überlegungen über eine Gedankenkette durch von Google).

Wenn Sie einem LLM eine komplizierte mathematische Aufgabe stellen, kann es sein, dass er es falsch macht. Wenn Sie dem LLM jedoch das Problem und die Methode zu dessen Lösung mitteilen, kann es eine genaue Antwort liefern – und den Grund für die Antwort mitteilen. Eine Vektordatenbank ist ein wichtiger Bestandteil dieser Methode, da sie Beispiele für ähnliche Fragen bereitstellt und die Eingabeaufforderung mit dem Beispiel füllt.

Noch besser: Sobald Sie die Frage und Antwort haben, können Sie sie wieder in der Vektordatenbank speichern, um die Genauigkeit und Nützlichkeit Ihrer generativen KI-Anwendungen weiter zu verbessern.

Es gibt eine Vielzahl weiterer Fortschritte beim Denken, die Sie kennenlernen können, darunter Baum der Gedanken , am wenigsten bis zu den meisten , Selbstkonsistenz , Und Anleitung zum Tuning .

Iterative Abfrage

Die dritte Methode zur Reduzierung von LLM-Halluzinationen ist die interaktive Abfrage. In diesem Fall vermittelt ein KI-Agent Anrufe, die zwischen einem LLM und einer Vektordatenbank hin und her wechseln. Dies kann mehrmals iterativ geschehen, um zur besten Antwort zu gelangen. Ein Beispiel für diese zukunftsweisende aktive Retrieval-Generation, auch bekannt als FLARE.

Sie beantworten eine Frage und fragen Ihre Wissensdatenbank nach weiteren, ähnlichen Fragen ab. Sie würden eine Reihe ähnlicher Fragen erhalten. Anschließend fragen Sie die Vektordatenbank mit allen Fragen ab, fassen die Antwort zusammen und prüfen, ob die Antwort gut und sinnvoll aussieht. Wenn dies nicht der Fall ist, wiederholen Sie die Schritte, bis dies der Fall ist.

Zu den weiteren erweiterten interaktiven Abfragemethoden gehören: AutoGPT , Microsoft Jarvis , Und Aufforderung zur Soloaufführung .

Es gibt viele Tools, die Sie bei der Agenten-Orchestrierung unterstützen können. LangChain ist ein großartiges Beispiel, das Ihnen hilft, Aufrufe zwischen einem LLM und einer Vektordatenbank zu orchestrieren. Es automatisiert im Wesentlichen die meisten Verwaltungsaufgaben und Interaktionen mit LLMs und bietet Unterstützung für Speicher, vektorbasierte Ähnlichkeitssuche, erweiterte Abstraktion von Eingabeaufforderungsvorlagen und eine Fülle anderer Funktionen. Es hilft und unterstützt auch fortgeschrittene Aufforderungstechniken wie Gedankenkette und FLARE.

Ein weiteres solches Tool ist CassIO , das von DataStax als Abstraktion auf unserer Astra DB-Vektordatenbank entwickelt wurde, mit der Idee, Daten und Speicher zu erstklassigen Bürgern zu machen generative KI . CassIO ist eine Python-Bibliothek, die die Integration von Cassandra mit generativer künstlicher Intelligenz und anderen Workloads des maschinellen Lernens nahtlos ermöglicht, indem sie den Prozess des Zugriffs auf die Datenbank, einschließlich ihrer, abstrahiert Vektorsuche Funktionen und bietet eine Reihe gebrauchsfertiger Tools, die den Bedarf an zusätzlichem Code minimieren.

Alles in allem: SkyPoint AI

SkyPoint-KI ist ein SaaS-Anbieter, der sich auf Daten-, Analyse- und KI-Dienste für die Seniorenpflege- und Wohnbranche spezialisiert hat. Das Unternehmen nutzt generative KI, um natürliche und intuitive Interaktionen zwischen Senioren, Betreuern und Softwaresystemen zu ermöglichen. Durch die Vereinfachung komplexer Anwendungen und die Optimierung des Benutzererlebnisses SkyPoint AI unterstützt Senioren und Pflegekräfte Sie können mühelos auf Informationen und Erkenntnisse zugreifen, was zur Verbesserung der Pflege beiträgt.

Das Unternehmen greift auf eine Vielzahl strukturierter und unstrukturierter Daten zurück, um KI-generierte Antworten auf Fragen wie „Wie viele Bewohner beziehen derzeit Medicare?“ zu liefern. Tisson Mathew, CEO von SkyPoint, hat es mir kürzlich erzählt. Dies hilft Pflegedienstleistern, schnell fundierte Entscheidungen auf der Grundlage genauer Daten zu treffen, sagte er.

An diesen Punkt zu gelangen, sei jedoch ein Prozess, sagte Mathew. Sein Team begann damit, ein Standard-LLM zu nehmen und es mit SkyPoint-Daten zu verfeinern. „Es kam zu katastrophalen Ergebnissen – sogar zu zufälligen Worten“, sagte er. Das Verstehen und Erstellen von Eingabeaufforderungen war etwas, was SkyPoint bewältigen konnte, aber es brauchte einen KI-Technologie-Stack, um genaue Antworten in großem Maßstab zu generieren.

SkyPoint baute schließlich ein System auf, das strukturierte Daten von Betreibern und Anbietern aufnahm, darunter beispielsweise elektronische Gesundheitsakten und Gehaltsabrechnungsdaten. Dies wird in einer spaltenorientierten Datenbank gespeichert; Zur Abfrage wird RAG verwendet. Unstrukturierte Daten wie Richtlinien und Verfahren sowie staatliche Vorschriften werden in einer Vektordatenbank gespeichert: DataStax Astra DB .

Tisson stellte als Beispiel eine Frage: Was passiert, wenn ein Bewohner missbräuchlich wird? Astra DB bietet eine Antwort, die auf der Grundlage staatlicher Vorschriften und des Benutzerkontexts sowie einer Vielzahl unterschiedlicher Dokumente und Dokumente zusammengestellt wird Vektoreinbettungen , in natürlicher Sprache, die für einen Mitarbeiter einer Seniorenpflegeeinrichtung leicht zu verstehen ist,

„Das sind konkrete Antworten, die richtig sein müssen“, sagte Tisson. „Das sind Informationen, auf die sich eine Organisation verlässt, um fundierte Entscheidungen für ihre Gemeinde und ihr Unternehmen zu treffen.“

Abschluss

SkyPoint AI verdeutlicht, wie wichtig es ist, das Risiko von KI-Halluzinationen zu mindern; Ohne die verfügbaren Methoden und Werkzeuge, um genaue Antworten zu gewährleisten, könnten die Folgen möglicherweise verheerend sein.

Mit RAG, Reasoning und iterativen Abfrageansätzen wie FLARE wird generative KI – insbesondere wenn sie auf proprietären Daten basiert – zu einem immer leistungsfähigeren Werkzeug, um Unternehmen dabei zu helfen, ihre Kunden effizient und effektiv zu bedienen.

Von Alan Ho, DataStax

Erfahren Sie mehr darüber, wie DataStax Ihnen hilft Erstellen Sie generative KI-Anwendungen in Echtzeit .