Der KI-Winter steht vor der Tür, mit freundlicher Genehmigung der Physik

Der Winter(physik) kommt

Es sieht nun so aus, als ob die Entwicklung von Large Language Models, die auf der GPT-Technologie laufen, ein Plateau erreicht. Dies geht aus dem neuesten YouTube-Video der bekannten Physikerin Dr. Sabine Hossenfelder hervor.

Dr. Sabine zitiert mehrere Quellen, darunter Bill Gates, der letztes Jahr sagte , dass GPT 5 nicht viel besser sein wird als GPT 4. Und Prof. Gary Marcus sagt, dass er diese spezielle Meinung schon seit Jahren vertritt. Dies widerspricht dem ganzen Hype um Ray Kurzweil von Sam Altman und Ilya Sutskever, wie im Video zu sehen ist.

Doch wenn schöne Mathematik allein nicht ausreicht, um den Fortschritt der Physik voranzutreiben, wie uns Dr. Sabine immer wieder in Erinnerung ruft, dann wird uns bloßes Wunschdenken keine übermenschliche künstliche allgemeine Intelligenz (AGI) bescheren.

Warum wird uns nicht durch die Bereitstellung von so vielen Daten, Rechenleistung und menschlicher Überwachung wie möglich eine übermenschliche künstliche Intelligenz (KI) beschert?

Dr. Sabine hat darauf eine Antwort parat. Das Problem, erklärt sie, sei die Entkopplung der Skalen .

Die Entkopplung der Skalen

Die Welt ist in Skalen unterteilt.

In der physischen Welt gibt es die Skala der Landtiere wie uns Menschen. Darunter haben wir Mikroben, dann Moleküle, Atome und subatomare Teilchen. In der entgegengesetzten Richtung haben wir Flugzeuge und Wolkenkratzer, Berge, Planeten, Sterne, Sonnensysteme, Galaxien usw.

In der Welt der Daten haben wir hochauflösende Daten, z. B. Kategorien wie „Objekte, die man anfassen kann“, „Tiere“, „Katzen“. Dann gibt es niedrig aufgelöste Daten, um die oben genannten Kategorien weiter zu erweitern, z. B. „Katzenart“, „Katzenmuster“, „Katzenverhalten am Montag um 8:00 Uhr“ usw.

Es gibt jedoch auch andere Taxonomien. Manche Daten sind online und manche offline in Büchern, Dokumenten und den Köpfen der Menschen.

Wir verfügen möglicherweise über alle gewünschten Kenntnisse im hochauflösenden Maßstab der menschlichen Sprachschöpfung im Internet . Aber das ist nicht gleichbedeutend mit der viel größeren, niedrig aufgelösten Datenquelle der menschlichen Sprachschöpfung auf der Welt .

Somit ist Sam Altmans KI wie Aristoteles im Bild unten. Er hofft, durch die Betrachtung seiner Hand das Standardmodell der Physik zu entdecken.

Doch ohne etwas wie den Large Hadron Collider, mit dem man subatomare Teilchen anstoßen und die darin verborgenen merkwürdigen neuen Daten entdecken kann, weiß Aristoteles nicht, wie er weitermachen soll.

Ein Large Hadron Collider für die KI

Die GPT-Architektur, die der Welt erst vor 2 Jahren mit dem phänomenalen ChatGPT vorgestellt wurde, nähert sich wahrscheinlich dem Ende ihrer „Verbesserungsfähigkeit“. Vielleicht ist es an der Zeit, ernsthaft darüber nachzudenken, den Staffelstab und die VC-Finanzierung an etwas anderes weiterzugeben.

Ich bin ein Befürworter der thermodynamischen Berechnung , die derzeit von Unternehmen wie Extropic erforscht wird. Dabei wird thermisches Rauschen genutzt, um zufällige Datenstichproben zu erzeugen (wie bei der Stable Diffusion-Technologie), und anschließend wird das Rauschen mittels statistischer Analyse entfernt.

Tatsächlich werden in jedem neuronalen Netzwerk die Anfangsgewichte normalerweise mit zufälligem Rauschen initialisiert. Während des Trainings formt Backpropagation die endgültigen Gewichte aus diesem zufälligen Rauschen - schreibt Laszlo Fazekas.

Der Vorteil liegt darin, dass die Chips in einem kleineren Maßstab arbeiten als die herkömmlicher digitaler Computer, bei denen Quanteneffekte zu starkem thermischen Rauschen führen.

Thermisches Rauschen war ohnehin schon immer ausreichend vorhanden.

Mein Küchenherd ist voller thermischem Rauschen.

Das wirkliche Problem bestand immer darin, die Daten durch statistische Aufteilung besser zu verstehen, ohne bei der Regressionsanalyse Daten wegzuwerfen.

Meine Vermutung? Eine Art massives, rechnergestütztes KI-Training in der Cloud, das Smartphones, Bitcoin-Knoten, Fernseher, Radios usw. nutzt.

Derzeit versuchen KI-Unternehmen, noch mehr aus der KI herauszuholen, indem sie ihr etwas „Denkzeit“ geben, damit sie längere Schlussfolgerungen auf denselben Daten ziehen kann. Zum Beispiel mit dem o1-Modell von ChatGPT.

Aber vielleicht sollte sogar die Trainingszeit verlängert werden. Vielleicht braucht es, um eine großartige KI zu entwickeln, wie ein Kind, Jahrzehnte des Trainings mit Daten, die von überall her gesammelt werden. Gesammelt und langsam in ein komprimiertes KI-Modell auf einigen wenigen Servern umgewandelt.

Sam Altman könnte diese Billionen von Regierungsdollar für einen solchen Plan benötigen. Leider wird es wahrscheinlich nicht leicht sein, sie zu bekommen. Der DOGE wird ihn möglicherweise nicht finanzieren (wenn xAI dieselben Probleme hat).

In der Zwischenzeit wächst Bitcoin immer noch

Wie die obige Grafik zeigt, nutzen nur sehr wenige Menschen Bitcoin. Dabei liegt der Wert bereits bei 90.000 US-Dollar .

Daten von Bitbo zeigen, dass tatsächlich nur 400.000 Menschen täglich Bitcoin verwenden. Und nur 106 Millionen besitzen Bitcoin.

Vergleichen Sie dies mit den 314 Millionen Menschen, die laut Daten von Statista KI-Tools verwendet haben. Allein ChatGPT hat täglich Millionen von Benutzern . Wahrscheinlich mehr als die gesamte Bitcoin-Blockchain zusammen!

Und was noch wichtiger ist: Die KI hat den Großteil dieser Nutzer in weniger als einem Jahr angehäuft. Das fühlt sich falsch an. Bitcoin brauchte Jahre, um zu wachsen. Die Leute haben geschwitzt, verloren, DCA‘s gemacht, hatten Vertrauen.

Vielleicht ist es das. ChatGPT ist zu schnell gewachsen. Jetzt ist es langsamer geworden und alle sind sauer.

Tut mir leid, Leute, es gibt noch viel zu tun. AGI wird nicht so einfach zu verstehen sein, und GPT-Wissenschaftler sollten lernen, wie Bitcoiner zu hodln. Der Winter wird kommen und gehen, aber jetzt ist es an der Zeit, die Zeche zu zahlen.