PrivateGPT für die Buchzusammenfassung: Test- und Ranking-Konfigurationsvariablen

Ich fing an, ein Dutzend Bücher handschriftlich zusammenzufassen und stellte fest, dass ich für jede Zusammenfassung Wochen brauchen würde. Dann erinnerte ich mich an diese KI-Revolution und beschloss, dass der Sprung in diese Gewässer längst überfällig war.

Als ich anfing, die Verwendung großer Sprachmodelle (LLM) zum Zusammenfassen großer Texte zu untersuchen, fand ich keine klare Richtung, wie das geht .

• Auf einigen Seiten finden Sie Beispielaufforderungen, um GPT4 mit der Idee auszustatten, dass es auf magische Weise den Inhalt des Buches erkennt, das Sie zusammenfassen möchten. (NICHT)
• Einige Leute schlugen vor, ich müsse ein Modell mit einem großen Kontext finden, das meinen gesamten Text auf einmal verarbeiten kann. (Noch nicht)
• Es stehen einige Open-Source-Tools zur Verfügung, mit denen Sie Dokumente in eine Datenbank hochladen und Fragen basierend auf den Inhalten dieser Datenbank beantworten können. (Rückt näher)
• Andere haben vorgeschlagen, dass Sie das Buch zunächst in Abschnitte unterteilen und diese einzeln in das LLM einspeisen müssen, um sie zusammenzufassen. (Jetzt reden wir)
• Über diese Entscheidung hinaus gibt es zahlreiche Variablen, die bei der Implementierung eines bestimmten LLM berücksichtigt werden müssen.
• Mir wurde schnell klar, dass ich trotz aller verfügbaren Empfehlungen oder Modellrankings andere Ergebnisse erzielte als andere. Ob es mein Anwendungsfall ist, das Modellformat, die Quantisierung, Komprimierung, Eingabeaufforderungsstile oder was? Ich weiß nicht. Ich weiß nur: Führen Sie Ihre eigenen Model-Rankings unter Ihren eigenen Arbeitsbedingungen durch. Glauben Sie nicht einfach einer Tabelle, die Sie online lesen.

Dieser Leitfaden enthält einige Einzelheiten zu meinem Prozess der Bestimmung und Prüfung der Details der oben genannten Variablen.

Die vollständigen Ranking-Daten, die exemplarische Vorgehensweise und die daraus resultierenden Zusammenfassungen finden Sie auf GitHub .

Hintergrund

Schlüsselbegriffe

Einige dieser Begriffe werden je nach Kontext unterschiedlich verwendet (kein Wortspiel beabsichtigt).

• Large Language Model (LLM) : (AKA-Modell) Eine Art künstlicher Intelligenz, die auf riesigen Datensätzen trainiert wurde, um menschliche Sprache zu verstehen und zu generieren.

  Beispiel : GPT3.5 und GPT4 von OpenAI, die die Welt im Sturm erobert haben. (In unserem Fall wählen wir zwischen Open-Source- und/oder frei herunterladbaren Modellen, die auf Hugging Face zu finden sind.)

• Retrieval Augmented Generation (RAG) : Eine von Meta AI entwickelte Technik zum Speichern von Dokumenten in einer Datenbank, die der LLM durchsucht, um eine Antwort auf eine bestimmte Benutzeranfrage (Dokument-Q/A) zu finden.

• Benutzeranweisungen: (auch bekannt als Eingabeaufforderung oder Kontext) ist die vom Benutzer bereitgestellte Abfrage.

  Beispiel: „Fassen Sie den folgenden Text zusammen: { text } “

• Systemaufforderung: Spezielle Anweisungen vor der Benutzeraufforderung, die dabei helfen, die Persönlichkeit Ihres Assistenten zu formen.

  Beispiel: „Sie sind ein hilfreicher KI-Assistent.“

• Kontext: Benutzeranweisungen und möglicherweise eine Systemaufforderung sowie möglicherweise frühere Runden von Frage-Antwort-Paaren. (Vorherige Q/A-Paare werden auch einfach als Kontext bezeichnet).

• Eingabeaufforderungsstil : Hierbei handelt es sich um spezielle Zeichenkombinationen, mit denen ein LLM trainiert wird, um den Unterschied zwischen Benutzeranweisungen, Systemeingabeaufforderung und Kontext aus vorherigen Fragen zu erkennen.

  Beispiel: <s>[INST] {systemPrompt} [INST] [INST] {previousQuestion} [/INST] {answer} </s> [INST] {userInstructions} [/INST]

• 7B: Gibt die Anzahl der Parameter in einem bestimmten Modell an (höher ist im Allgemeinen besser). Parameter sind die internen Variablen, die das Modell während des Trainings lernt und zur Erstellung von Vorhersagen verwendet wird. Für meine Zwecke passen wahrscheinlich 7B-Modelle auf meine GPU mit 12 GB VRAM.

• GGUF: Dies ist ein spezielles Format für LLM, das für Consumer-Hardware (CPU/GPU) entwickelt wurde. Für welches Modell Sie sich auch interessieren, für die Verwendung in PrivateGPT müssen Sie die GGUF-Version finden (üblicherweise von TheBloke hergestellt).

• Q2-Q8 0, K_M oder K_S: Beim Durchsuchen der Dateien eines GGUF-Repositorys werden Sie verschiedene Versionen desselben Modells sehen. Eine höhere Zahl bedeutet weniger Komprimierung und bessere Qualität. Das M in K_M bedeutet „Mittel“ und das S in K_S bedeutet „Klein“.

• VRAM: Dies ist die Speicherkapazität Ihrer GPU. Um es vollständig auf die GPU zu laden, benötigen Sie ein Modell, das kleiner ist als Ihr verfügbarer VRAM.

• Tokens: Dies ist die Metrik, mit der LLM die Sprache gewichtet. Jeder Token besteht aus ungefähr 4 Zeichen.

Was ist PrivateGPT?

PrivateGPT (pgpt) ist ein Open-Source-Projekt , das eine Benutzeroberfläche und eine programmierbare API bereitstellt, die es Benutzern ermöglicht, LLM mit eigener Hardware zu Hause zu verwenden. Es ermöglicht Ihnen das Hochladen von Dokumenten in Ihre eigene lokale Datenbank für von RAG unterstützte Dokumenten-Q/A.

PrivateGPT-Dokumentation – Übersicht :

PrivateGPT bietet eine API mit allen Bausteinen, die zum Erstellen privater, kontextsensitiver KI-Anwendungen erforderlich sind. Die API folgt und erweitert den OpenAI-API-Standard und unterstützt sowohl normale als auch Streaming-Antworten. Das heißt, wenn Sie die OpenAI-API in einem Ihrer Tools verwenden können, können Sie stattdessen Ihre eigene PrivateGPT-API verwenden, ohne Codeänderungen und kostenlos, wenn Sie privateGPT im local Modus ausführen.

Überblick

1. Ich begann damit, einfach Fragen zu Buchkapiteln zu stellen, indem ich die PrivateGPT- Benutzeroberfläche\RAG verwendete.

   Dann habe ich versucht, den Text für die Zusammenfassung vorab auszuwählen. Dies war die Inspiration für die Rangliste der ersten Runde, um zu sehen, wie groß der Unterschied zwischen meinen Ergebnissen sein würde. (Zusammenfassung vorausgewählter Abschnitte.)

2. Als nächstes wollte ich herausfinden, welche Modelle diese Aufgabe am besten bewältigen würden, was zur Rangliste der zweiten Runde führte, in der Mistral-7B-Instruct-v0.2 der klare Gewinner war.

3. Dann wollte ich mit diesem Modell die besten Ergebnisse erzielen, indem ich Eingabeaufforderungsstile in eine Rangfolge brachte und Code schrieb, um genau den erwarteten Eingabeaufforderungsstil zu erhalten.

4. Danach musste ich natürlich verschiedene Systemansagen testen, um herauszufinden, welche die beste Leistung erbringen würde.

5. Als nächstes habe ich einige Benutzereingaben ausprobiert, um herauszufinden, welche Eingabeaufforderung für mich die beste ist, um Zusammenfassungen zu erstellen, die am wenigsten Nachbearbeitung erfordern.

6. Letztendlich sollte diese Art von Tests für jedes LLM durchgeführt werden und um die Wirksamkeit jeglicher Verfeinerung unserer Prozesse zu bestimmen. Meiner Meinung nach können die einzelnen Modelle erst dann richtig gegeneinander eingestuft werden, wenn sie auf die idealsten Bedingungen ausgerichtet sind.

Ranglisten

Als ich anfing, verschiedene LLM-Varianten zu testen, war mistral-7b-instruct-v0.1.Q4_K_M.gguf Teil des Standard-Setups von PrivateGPT (für die Ausführung auf Ihrer CPU). Hier habe ich die Q8_0-Varianten bevorzugt.

Obwohl ich mehr als 50 verschiedene LLM für dieselbe Aufgabe ausprobiert habe, gehört Mistral-7B-Instruct immer noch zu den Besten, insbesondere seit der Veröffentlichung von v0.2 habe ich kein besseres gefunden.

TLDR: Mistral-7B-Instruct-v0.2 – ist mein aktueller Leiter für Zusammenfassungsaufgaben.

Runde 1 – Fragen/Antworten vs. Zusammenfassung

Bei der Durchführung von Fragen und Antworten habe ich schnell festgestellt, dass ich viel bessere Ergebnisse erhalte, wenn ich kleinere Datenblöcke in die Datenbank hochlade und jedes Mal mit einer sauberen Weste beginne. Also begann ich, PDFs zu Frage- und Antwortzwecken in Kapitel aufzuteilen.

Für meine erste Analyse habe ich 5 verschiedene LLM für die folgenden Aufgaben getestet:

1. Die gleichen 30 Fragen zu einem 70-seitigen Buchkapitel stellen.
2. Zusammenfassung desselben 70-seitigen Buchkapitels, unterteilt in 30 Abschnitte.

Frage-/Antwort-Ranking

1. Hermes Trismegistus Mistral 7b – Mein Favorit bei diesen Tests, aber als ich die Zusammenfassungen tatsächlich bearbeitete, kam ich zu dem Schluss, dass es zu ausführlich war.
2. SynthIA 7B V2 – Wurde mein Favorit unter den in dieser Runde getesteten Modellen.
3. Mistral 7b Instruct v0.1 – Nicht so gut, wie ich es gerne hätte.
4. CollectiveCognition v1.1 Mistral 7b Viel Füllmaterial und hat von allen am längsten gedauert. In puncto Qualität/Nützlichkeit schnitt es etwas besser ab als Mistral, aber die Menge an Füllmaterial machte das Lesen weniger angenehm.
5. Die Antworten von KAI 7b Instruct waren zu kurz und ließen die Grundkenntnisse etwas hervorstechen. Ein gutes Modell, aber nicht für detaillierte Buchzusammenfassungen.

Für jedes Modell angezeigt

• Anzahl der Sekunden, die zum Generieren der Antwort benötigt werden
• Summe der subjektiven Nützlichkeit\Qualitätsbewertungen
• Wie viele Zeichen wurden generiert?
• Summe der im Zielbereich gefundenen Kontextkontextblöcke.
• Anzahl der unten aufgeführten Qualitäten, die im generierten Text gefunden wurden:
  • Füller (zusätzliche Wörter mit geringerem Wert)
  • Kurz (Zu kurz, nicht genug, um damit zu arbeiten.)
  • BS (Nicht aus diesem Buch und nicht hilfreich.)
  • Guter BS (Nicht aus dem Zielbereich, aber gültig.)

Zusammenfassendes Ranking

Für diese erste Runde habe ich den Kapitelinhalt in Abschnitte mit einer Reihe von unterteilt

Jeweils 900–14.000 Zeichen (oder 225–3.500 Token).

HINWEIS: Trotz der zahlreichen veröffentlichten großen Kontextmodelle glaube ich vorerst immer noch, dass kleinere Kontexte zu besseren Zusammenfassungen führen. Ich bevorzuge nicht mehr als 2750 Token (11000 Zeichen) pro Zusammenfassungsaufgabe.

1. Hermes Trismegistus Mistral 7b – Immer noch in Führung. Es ist ausführlich, mit etwas Füllmaterial. Ich kann diese Ergebnisse nutzen.
2. SynthIA 7B – Ziemlich gut, aber zu prägnant. Viele der Antworten waren perfekt, aber 7 waren zu kurz bzw. unvollständig, um sie zu verwenden.
3. Mistral 7b Instruct v0.1 – Einfach zu kurz.
4. KAI 7b Instruct – Einfach zu kurz.
5. CollectiveCognition v1.1 Mistral 7b – Viel Müll. Einige der Zusammenfassungen waren sehr detailliert und perfekt, aber über die Hälfte der Antworten bestand aus einer Reihe von Fragen, die auf dem Text basierten, und nicht aus einer Zusammenfassung.

Es überrascht nicht, dass Zusammenfassungen eine viel bessere Leistung erbrachten als Fragen/Antworten, aber sie hatten auch einen gezielteren Kontext.

Die vollständigen Daten und Rankings finden Sie in Google Docs oder auf GitHub: QA Scores , Summary Rankings .

Runde 2: Zusammenfassung – Modellranking

Auch hier bevorzuge ich die Q8-Versionen der 7B-Modelle.

Die Feststellung, dass Mistral 7b Instruct v0.2 veröffentlicht wurde, war eine neue Testrunde wert.

Ich habe auch beschlossen, den Prompt-Stil zu testen. PrivateGPT wurde nicht mit der Mistral-Eingabeaufforderung geliefert, und obwohl die Mistral-Eingabeaufforderung der Llama2-Eingabeaufforderung ähnelt, schien sie mit der Standardeingabeaufforderung (Lama-Index) besser zu funktionieren.

• SynthIA-7B-v2.0-GGUF – Dieses Modell war mein Favorit geworden, also habe ich es als Benchmark verwendet.
• Mistral-7B-Instruct-v0.2 (Llama-index Prompt) Star der Show hier, ziemlich beeindruckend.
• Mistral-7B-Instruct-v0.2 (Llama2-Eingabeaufforderung) Immer noch gut, aber nicht so gut wie die Verwendung der Lama-Index-Eingabeaufforderung
• Tess-7B-v1.4 – Ein weiteres vom selben Ersteller wie Synthia v2. Gut, aber nicht so gut.
• Llama-2-7B-32K-Instruct-GGUF – funktionierte gut, aber langsam, mit Lama-Index-Eingabeaufforderung. Einfach schlecht mit der Eingabeaufforderung von llama2. (Sollte noch einmal mit dem Llama2-Stil „Instruct Only“ getestet werden)

Zusammenfassendes Ranking

Nur Zusammenfassungen, Q/A ist für Buchzusammenfassungen einfach weniger effizient.

Die vollständigen Daten und Rankings finden Sie in Google Docs oder auf GitHub .

Runde 3: Prompt Style

In der vorherigen Runde fiel mir auf, dass Mistral 7b Instruct v0.2 mit der Standardeingabeaufforderung viel besser abschnitt als llama2.

Eigentlich ist die Mistral-Eingabeaufforderung der von llama2 ziemlich ähnlich, aber nicht genau dieselbe.

1. llama_index (Standard)

 system: {{systemPrompt}} user: {{userInstructions}} assistant: {{assistantResponse}}

2. Lama2:

 <s> [INST] <<SYS>> {{systemPrompt}} <</SYS>> {{userInstructions}} [/INST]

3. Mistral:

 <s>[INST] {{systemPrompt}} [/INST]</s>[INST] {{userInstructions}} [/INST]

Ich begann, die Ausgabe mit den Eingabeaufforderungsstilen default und dann llama2 zu testen. Als nächstes machte ich mich an die Codierung der Mistral-Vorlage .

Die Ergebnisse dieser Rangliste gaben mir die Gewissheit, dass ich richtig codiert habe.

Die vollständigen Daten und Rankings finden Sie in Google Docs oder auf GitHub .

Runde 4: Systemaufforderungen

Nachdem ich den Aufforderungsstil eingestellt hatte, probierte ich ein paar verschiedene Systemaufforderungen aus und war vom Ergebnis überrascht!

Letztendlich finde ich, dass Mistral 7b Instruct v0.2 für meine Zusammenfassungen ohne Systemaufforderung am besten funktioniert.

Vielleicht hätte ich für eine andere Aufgabe andere Ergebnisse oder vielleicht eine bessere Eingabeaufforderung, aber das funktioniert gut, also mache ich mir nichts daraus.

Die vollständigen Daten und Rankings finden Sie in Google Docs oder auf GitHub .

Runde 5: Benutzeraufforderung

Was ich bereits zu vermuten begann, ist, dass ich mit weniger Wörtern in der Eingabeaufforderung bessere Ergebnisse erziele. Da ich für Mistral 7b Instruct v0.2 die beste Systemaufforderung gefunden habe, habe ich auch getestet, welche Benutzeraufforderung am besten dazu passt.

Die vollständigen Daten und Rankings finden Sie in Google Docs oder auf GitHub .

Mit leistungsstärkerer Hardware, die 11b- oder 30b-Modelle unterstützen kann, würde ich möglicherweise bessere Ergebnisse mit aussagekräftigeren Eingabeaufforderungen erzielen. Selbst mit Mistral 7b Instruct v0.2 bin ich immer noch offen für das Ausprobieren einiger kreativer Anleitungen, aber im Moment bin ich einfach froh, meinen bestehenden Prozess zu verfeinern.

Prompt2: Gewinnt!

Schreiben Sie ausführliche Notizen, die den folgenden Text zusammenfassen. Verwenden Sie verschachtelte Aufzählungspunkte: Überschriften, Begriffe und Schlüsselkonzepte sind fett gedruckt.

In diesem Fall schneidet „umfassend“ besser ab als „prägnant“ oder sogar als „umfassend, aber prägnant“.

Ich möchte jedoch darauf hinweisen, dass dies von Ihrem Anwendungsfall abhängt. Was ich suche, sind sehr komprimierte und lesbare Notizen, die das wichtige Wissen abdecken.

Wenn ich das Original nicht gelesen habe, sollte ich im Grunde immer noch wissen, welche Informationen es vermittelt, wenn nicht sogar jedes einzelne Detail. Selbst wenn ich das Original gelesen hätte, werde ich mich später nicht mehr an den Großteil erinnern. Diese Notizen dienen als Kurzreferenz zu den Hauptthemen.

Ergebnis

Anhand der Erkenntnisse aus diesen Tests habe ich mein erstes vollständiges Buch, 539 Seiten, in 5-6 Stunden zusammengefasst!!! Unglaublich!

Anstatt Wochen mit der Zusammenfassung zu verbringen, habe ich meine ersten 9 Buchzusammenfassungen in nur 10 Tagen fertiggestellt.

Plagiat

Die Ergebnisse von CopyLeaks können Sie unten für jeden der veröffentlichten Texte hier einsehen.

Vor allem wenn man bedenkt, dass es hier nicht um Profit, sondern um Bildungszwecke geht, halte ich diese Zahlen für akzeptabel.

Abgeschlossene Buchzusammenfassungen

Anstatt Wochen mit der Zusammenfassung zu verbringen, habe ich meine ersten 9 Buchzusammenfassungen in nur 10 Tagen fertiggestellt. In Klammern steht die Seitenzahl des Originals.

1. Östlicher Körper, westlicher Geist, Anodea Judith (436 Seiten)
2. Heilkraft des Vagusnervs Stanley Rosenberg (335 Seiten)
3. Ayurveda und der Geist Dr. David Frawley (181 Seiten)
4. Heilung des fragmentierten Selbst von Trauma-Überlebenden Janina Fisher (367 Seiten)
5. Eine sichere Basis John Bowlby (133 Seiten)
6. Der Körper hält die Partitur Bessel van der Kolk (454 Seiten)
7. Yoga und Polyvagal-Theorie, von Polyvagal Safety Steven Porges (37 Seiten)
8. Llewellyns komplettes Buch der Chakren Cynthia Dale (999 Seiten)
   • ABSCHNITT 1. CHAKRA-GRUNDLAGEN UND GRUNDLEGENDE PRAKTIKEN
   • ABSCHNITT 2: CHAKRAS IN DER TIEFE. Historisches, wissenschaftliches und interkulturelles Verständnis s
9. Fünfzig Jahre Bindungstheorie: Die Donald Winnicott Memorial Lecture (54 Seiten)
10. Bindungsstörungen bei Erwachsenen (477 Seiten)
11. Die Begleiterin des Hauptfachs Psychologie Dana S. Dunn, Jane S. Halonen (308 Seiten)
12. Der Mythos der erlösenden Gewalt Walter Wink (5 Seiten)
13. Psychologie in Ihrem Leben Sarah Gison und Michael S. Gazzaniga (1072 Seiten)

Komplettlösung

Wenn Sie daran interessiert sind, meine Schritte genauer zu verfolgen, schauen Sie sich die exemplarische Vorgehensweise auf GitHub an, die Skripte und Beispiele enthält.

Abschluss

Da ich nun meine Prozesse verfeinert habe und sicher bin, mit prompten Formaten zu arbeiten, werde ich weitere Tests durchführen. Tatsächlich habe ich bereits weitere Tests und Rankings durchgeführt (werde diese als nächstes veröffentlichen), werde aber natürlich noch mehr Tests durchführen und weiter lernen!

Ich bin nach wie vor der Meinung, dass man, wenn man mit KI bei jeder Aufgabe die besten Ergebnisse erzielen möchte, eigene Experimente durchführen und herausfinden sollte, was am besten funktioniert. Verlassen Sie sich nicht ausschließlich auf beliebte Model-Rankings, sondern nutzen Sie diese als Leitfaden für Ihre eigene Recherche.

Zusätzliche Ressourcen

• Die beliebtesten Open-Source-LLMs (Large Language Models) wurden auf ihre Long-Context-Recall-Fähigkeiten getestet u/ramprasad27 ( Teil 2 )
  • LeonEricsson / llmcontext – 💢 Drucktest des Kontextfensters offener LLMs
• Chatbox Arena-Rangliste
• 🐺🐦‍⬛ LLM-Vergleich/Test: Rangliste aktualisiert mit 10 neuen Modellen (die besten 7Bs)! u/WolframRavenwolf
  • 🐺🐦‍⬛ Vergleich/Test des LLM-Eingabeaufforderungsformats: Mixtral 8x7B Instruct mit 17 verschiedenen Instruct-Vorlagen u/WolframRavenwolf
• Halluzination-Bestenliste Vectara