Warum Open-Source-Sprachmodelle echte „Open AI“ sind

Im Jahr 2015 wurde a gemeinnützig namens OpenAI wurde gegründet, um eine „breit und gleichmäßig verteilte“ KI zu schaffen. Im Jahr 2024 ist OpenAI in den voll gewinnorientierten Modus übergegangen und hat den Zugriff auf LLMs hinter einem transaktionalen API-Dienst gehortet. Zuletzt suchen sie einen Bewertung von 100 Milliarden US-Dollar .

Das letzte Jahrzehnt des KI-Fortschritts wurde von großen Technologieunternehmen wie Google, Meta und OpenAI dominiert, die immer größere proprietäre Sprachmodelle herausbrachten. Von Bard und Claude bis GPT-4 blieb ein Großteil der neuesten Entwicklungen in der Verarbeitung natürlicher Sprache (NLP) in den Händen einiger weniger Forschungslabore konzentriert.

Die langfristige Zukunft der KI liegt jedoch nicht in privateren, größeren Modellen, die ausschließlich über APIs bedient werden, sondern eher in Open-Source-Sprachmodellen, die gemeinsam mit Communities im Freien erstellt werden.

Open-Source-Sprachmodelle

In den letzten Jahren haben eine Handvoll Startups, Universitäten und engagierte Einzelpersonen dazu beigetragen, dieses offene Modell der Sprachmodellentwicklung voranzutreiben.

Das neueste Modell, das diese Open-Source-Linie fortsetzt, ist H2O-Danube-1.8B . Mit einem Gewicht von 1,8 Milliarden Parametern zeigt die Donau selbst im Vergleich zu anderen öffentlich verfügbaren Modellen, die um ein Vielfaches größer sind, eine überraschende Leistungsfähigkeit. Das H2O.ai- Team hat die Donau sorgfältig entworfen, geschult und völlig transparent validiert. Der vollständige Bericht ist auf arXiv verfügbar.

Anstatt den Zugriff zu horten, veröffentlichte H2O.ai die vollständigen Parameter und den Trainingscode von Donau offen auf HuggingFace. Schon wenige Tage nach der ersten Ankündigung begannen neugierige Entwickler, frei mit dem Modell zu experimentieren und zeigten, dass eine schnelle Generierung von Innovationen mit proprietären Modellen einfach nicht möglich wäre. Zum Zeitpunkt des Schreibens wurde die gesamte h2o-danube-1.8b-Chat-Version über 500 Mal auf HuggingFace heruntergeladen.

Jeder kann das Modell mit der transformers Bibliothek verwenden, indem er dem folgenden Code folgt, mit freundlicher Genehmigung des HuggingFace-Repositorys von h2o:

 import torch from transformers import pipeline pipe = pipeline( "text-generation", model="h2oai/h2o-danube-1.8b-chat", torch_dtype=torch.bfloat16, device_map="auto", ) # We use the HF Tokenizer chat template to format each message # https://huggingface.co/docs/transformers/main/en/chat_templating messages = [ {"role": "user", "content": "Why is drinking water so healthy?"}, ] prompt = pipe.tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True, ) res = pipe( prompt, max_new_tokens=256, ) print(res[0]["generated_text"]) # <|prompt|>Why is drinking water so healthy?</s><|answer|> Drinking water is healthy for several reasons: [...]

H2O ist davon überzeugt, dass eine offene Zusammenarbeit der ultimative Schlüssel zur Demokratisierung des Zugangs zu KI und zur Erschließung von Vorteilen für die Vielen und nicht von Wohlstand für die Wenigen bleibt.

Andere Open-Source-Sprachmodelle

Das Open-Source-KI-Ökosystem wächst weiter, da Entwickler weltweit an gemeinsamen Modellen zusammenarbeiten. Über H2O-Danube-1.8B hinaus zielen zahlreiche bemerkenswerte Initiativen darauf ab, die Wissenskonzentration innerhalb von Walled Gardens zu verhindern.

MPT

Der vom Startup-MosaikML entwickelte Machine Programming Transformer (MPT) umfasst Techniken wie die Mix-of-Experts-Parallelisierung und die Extrapolation der Kontextlänge, um die Effizienz zu verbessern.

Falke

Falcons größtes Open-Source-LLM ist ein gigantisches Biest mit 180 Milliarden Parametern und übertrifft damit andere LLaMA-2 , StabilLM , Roter Pyjama , Und MPT .

Bei dieser Größe wird empfohlen, 400 Gigabyte verfügbaren Speicher zum Ausführen des Modells zur Verfügung zu haben.

Mistral

Mistral wurde von ehemaligen Google-Mitarbeitern und Meta-Forschern gegründet und veröffentlichte im September 2022 das 7-Milliarden-Parameter- Modell Mistral 7B . Mistral 7B erreicht eine wettbewerbsfähige Leistung unter offenen Modellen und erreicht in der Probenqualität nahezu das geschlossene GPT-3.

Legacy-Modelle

Über neu eingeführte Modelle hinaus stärken frühere Open-Source-Modelle Entwickler weiterhin. GPT2 von OpenAI und GPT-J von EleutherAI haben beide historische Bedeutung, obwohl sie hinter modernen Architekturen zurückbleiben. Und Transformatoren wie BERT führten zu einer ganzen Unterklasse von NLP-Durchbrüchen, die weltweit Produkte antreiben.

Das Narrativ der Demokratisierung wird nur dadurch gestärkt, dass leidenschaftliche Gemeinschaften ihre Kreationen großzügig in den gemeinsamen Wissenspool einbringen.

Eine gerechtere Zukunft

In vielerlei Hinsicht besteht bei proprietären Sprachmodellen die Gefahr, dass viele Ungerechtigkeiten erneut entstehen, mit denen die Technologiebranche weiterhin zu kämpfen hat. Die Konzentration des Wissens innerhalb wohlhabender Organisationen schließt kleinere Teams davon aus, den Fortschritt frühzeitig mitzugestalten. Und später wird die Integration unerschwinglich teuer, sobald sie nur über Transaktions-APIs verfügbar ist.

Open-Source-Modelle sind von entscheidender Bedeutung, um einen gerechteren Weg in die Zukunft zu ebnen. Eines, bei dem die Entscheidungsfreiheit näher an verschiedenen Gemeinschaften liegt, die tatsächlich konkrete KI-Anwendungen entwickeln. Der lange Bogen des Fortschritts neigt sich nur dann der Gerechtigkeit zu, wenn Menschen vereint hinter der Technologie selbst stehen und nicht einer Organisation, die sie kontrollieren will.

Die Donau und das offene Paradigma, das sie repräsentiert, bieten nur einen Einblick in eine alternative Vision. Eine Strategie, die nicht von kurzfristigen Gewinnen oder Prestige angetrieben wird, sondern von der Möglichkeit, Entwicklern überall auf der Welt zu ermöglichen, frei auf den Schultern anderer aufzubauen. Es wird immer Raum für proprietäre Arbeit geben, aber die wahre Zukunft der KI liegt offen.

Community-getriebene Innovation

Die Veröffentlichung von Open-Source-Modellen erfordert Beiträge einer motivierten Gemeinschaft von Entwicklern und Forschern. Dieser kollaborative Stil der offenen Arbeit eröffnet einzigartige Möglichkeiten. Experten verschiedener Organisationen können die Arbeit anderer Organisationen gegenseitig überprüfen, um Techniken zu validieren.

Forscher können neue Ideen problemlos reproduzieren und erweitern, anstatt das Rad neu erfinden zu müssen. Und Softwareentwickler können Innovationen schnell in Kundenangebote integrieren und einsetzen.

Am vielversprechendsten ist vielleicht, dass das offene Paradigma es Nischengemeinschaften ermöglicht, sich zusammenzuschließen, um Modelle für bestimmte Anwendungsfälle anzupassen. Teams können Versionen erstellen, die auf bestimmte Themen wie Medizin, Recht oder Finanzen zugeschnitten sind und generische Modelle übertreffen. Diese speziellen Modelle werden dann wieder geteilt, um dem Rest der Community zu helfen. Gemeinsam machen Gruppen kollektive Fortschritte möglich, die in einem einzelnen geschlossenen Labor nicht möglich sind.