100 Tage KI, Tag 11: Werden Sie zum Feinabstimmungsassistenten für Gen-KI-Anwendungen

Wenn Sie die generative KI oder den LLM-Bereich verfolgt haben, haben Sie bereits von Finetuning gehört. Versuchen wir in diesem Beitrag zu verstehen, was Feinabstimmung ist und welche Rolle sie bei der Entwicklung von Gen-KI-Anwendungen spielt.

Was ist Feinabstimmung?

Bei der Feinabstimmung handelt es sich um einen Prozess der Modifizierung eines allgemeinen Basismodells, damit es für einen speziellen Anwendungsfall funktioniert. Nehmen Sie zum Beispiel das gpt-3-Modell von Open AI. Gpt-3 ist ein Basismodell, das als Chat-Bot optimiert wurde und zu dem führte, was heute als Chat-GPT-Anwendung bezeichnet wird. Ein weiteres Beispiel wäre die Änderung des GPT-4-Modells als Copilot für Programmierer, was zur Erstellung eines GitHub-Copiloten durchgeführt wurde.

Warum müssen wir die Basismodelle verfeinern?

Durch die Feinabstimmung können wir die Einschränkungen von Basismodellen überwinden. Basismodelle wie gpt-3 von Open AI oder Llama von Meta werden normalerweise auf den Daten des gesamten Internets trainiert. Sie verfügen jedoch nicht über den Kontext der unternehmensinternen Daten. Und die Bereitstellung aller Daten, die für Ihr Unternehmen oder Ihren proprietären Anwendungsfall relevant sind, per Eingabeaufforderung ist nicht möglich. Durch die Feinabstimmung können wir viel mehr Daten einbinden, als es uns durch die schnelle Entwicklung möglich wäre. Durch die Feinabstimmung kann das Modell außerdem konsistente Ausgaben generieren, Halluzinationen reduzieren und das Modell an einen bestimmten Anwendungsfall anpassen.

Wie unterscheidet sich Finetuning vom Prompt Engineering?

Wir haben in den vorherigen Beiträgen gesehen, wie leistungsfähig Prompt Engineering sein kann. Wie unterscheidet sich die Feinabstimmung? Die Feinabstimmung ist für den Anwendungsfall von Unternehmensanwendungen gedacht, während die schnelle Entwicklung für allgemeine Anwendungsfälle gedacht ist und keine Daten erfordert. Es kann mit zusätzlichen Daten mit RAG als Technik verwendet werden, kann jedoch nicht mit großen Datenmengen verwendet werden, die in Unternehmensanwendungsfällen vorhanden sind. Die Feinabstimmung ermöglicht unbegrenzte Daten, lässt das Modell neue Informationen lernen und kann auch zusammen mit einem RAG verwendet werden.

Vergleich der fein abgestimmten mit der nicht fein abgestimmten Reaktion

Nehmen wir ein Beispiel, das Ihnen vielleicht eine bessere Vorstellung vom Unterschied zwischen feinabgestimmten und nicht feinabgestimmten Modellen vermittelt. Ich verwende die Bibliotheken von Lamini , um sowohl feinabgestimmte als auch nicht feinabgestimmte Llama-Modelle aufzurufen, um den Unterschied zu zeigen. Hierzu benötigen Sie den API-Key von Lamini. Lamini bietet eine einfache und unkomplizierte Möglichkeit, mit Open-Source-LLMs zu interagieren. Schauen Sie hier vorbei, wenn Sie mehr darüber erfahren möchten.

In diesem Beispiel habe ich beiden Modellen die gleiche Frage gestellt: „Was halten Sie vom Tod?“ und hier sind die Antworten.

Antwort des nicht fein abgestimmten Lama-Modells:

Antwort des fein abgestimmten Lama-Modells:

Sie werden feststellen, dass die erste Antwort nur die Wiederholung einer einzelnen Zeile war, während die zweite Antwort eine viel kohärentere Antwort war. Bevor ich darüber spreche, was hier passiert, nehmen wir ein weiteres Beispiel, bei dem ich das Model frage: „Wie lautet Ihr Vorname?“. Hier ist, was ich habe.

Antwort des nicht fein abgestimmten Lama-Modells:

Antwort des fein abgestimmten Lama-Modells:

Bei nicht fein abgestimmten Modellantworten sind die Antworten seltsam, weil das Modell nur eine Sache tut. Es wird versucht, den nächsten wahrscheinlichen Text basierend auf Ihrem Eingabetext vorherzusagen, ohne zu erkennen, dass Sie ihm eine Frage gestellt haben. Basierend auf den Daten des Internets trainierten Modelle sind Textvorhersagemaschinen und versuchen, den nächstbesten Text vorherzusagen. Durch die Feinabstimmung wird das Modell darauf trainiert, seine Antwort auf die Bereitstellung zusätzlicher Daten zu stützen, und es lernt ein neues Verhalten, das als Chat-Bot zur Beantwortung von Fragen fungiert. Beachten Sie auch, dass wir bei den meisten geschlossenen Modellen wie gpt-3 oder gpt-4 von Open AI nicht genau wissen, auf welchen Daten sie trainiert werden. Es gibt jedoch einige coole offene Datensätze, mit denen Sie Ihre Modelle trainieren können. Mehr dazu später.

Das war's für Tag 11 von 100 Tagen KI.

Ich schreibe einen Newsletter mit dem Titel Above Average, in dem ich über die Erkenntnisse zweiter Ordnung spreche, die hinter allem stecken, was in der Big-Tech-Branche passiert. Wenn Sie im technischen Bereich tätig sind und nicht durchschnittlich sein möchten, abonnieren Sie es .

Folgen Sie mir auf Twitter , LinkedIn oder HackerNoon für die neuesten Updates zu 100 Tagen KI. Wenn Sie im technischen Bereich tätig sind, könnten Sie daran interessiert sein, meiner Community von technischen Fachleuten hier beizutreten.