LLM — 「単なる次のトークン予測者」?

ちょっと考えてみて下さい。自分が話す言葉の合間に一時的な記憶喪失になったとします。ただし、持っているのは以前の言葉を書いたノートだけです。何か新しいことを言いたいときはいつも、過去の言葉を読むだけで会話の理解を完全に再構築しなければなりませんが、なぜそれを言ったのか、自分の考えがどこに向かっていたのかは思い出せません。悪夢のように聞こえますね。しかし、それが今日の AI 言語モデルの基本的な仕組みです。つまり、生成するトークンの間で文字通り「記憶」をきれいに消去し、コンテキストと以前の出力 (KV キャッシュ、別名「ノートブック」) だけから理解全体を再構築します。誤解のないように言うと、これはモデルの知識に関することではありません。トレーニングと学習したパラメーターはすべてそのまま残ります。モデルの現在の思考の流れ、つまり問題やタスクに関するアクティブな作業記憶のようなもので、新しいトークンごとにリセットされます。

これがより長いシーケンスにわたって一貫した推論を維持するモデルの能力にどのように影響するかを考えると、これはさらに魅力的になります。すべてのトークンは、モデルがコンテキストの理解全体をゼロから再構築する必要がある決定ポイントです。これがより長いシーケンスにわたって一貫した推論を維持するモデルの能力にどのように影響するかを考えると、これはさらに魅力的になります。すべてのトークンは、モデルがコンテキストの理解全体をゼロから再構築する必要がある決定ポイントです。しかし、これらのモデルは、以前のトークンを使用して理解を確率的に再構築することを学習しました。トークン予測を通じて一貫した推論を維持するこの能力は、より深い真実を明らかにしています。これらのモデルは次のトークンを予測することで動作しますが、以前のトークンのノートブックを意味的推論と複雑な問題解決に使用することに驚くほど熟達しています。トークン空間でのマクロ推論により、LLM は今日の AI となっています。

規模の限界

しかし、私たちは壁にぶつかり始めています。AI 研究コミュニティは何年もの間、数字のゲームをしてきました。より優れた AI が欲しいですか? シンプルに、AI を大きくして、より多くのデータを入力するだけです。あたかも、生のサイズと知識の量だけで理解が深まるかのように。Mixture of Experts (MoE) などのアーキテクチャのブレークスルーにより、スケーリングと Dense モデルの限界が押し上げられているにもかかわらず、最近の研究では、これらのモデルを単にスーパーサイズするだけでどれだけ改善できるかという根本的な限界に近づいている可能性があることが示されています。

この問題に対する現在の解決策は、ますます精巧な上部構造の寄せ集めです。記憶喪失の友人に、メモを取るためのますます洗練されたシステムを与えても、実際には記憶を修正しないことを想像してみてください。最も簡単な回避策は、「思考の連鎖」（CoT）プロンプトと呼ばれるものです。これは基本的に、学校の数学の先生がいつも主張していたように、AIに作業を示すように依頼し、モデルがテキストのみを使用して「思考」プロセスを再構築するのに役立ちます。次に、OpenAIの「o1」シリーズのモデルなどのより洗練されたアプローチがあります。これは、推論を複数の反復ステップに分割し、特別なトークンを使用してAIが独自のCoTプロセスを追跡できるようにします（ユーザーからこれを部分的に難読化します）。つまり、さまざまなセクションと注釈を含む、より構造化されたノートブックをAIに提供します。これらのアプローチは非常にうまく機能しますが、本質的にはすべてダクトテープソリューションであり、これらのAIシステムが情報を処理する方法の基本的な制限をパッチで補う巧妙な方法です。

根本的な再考が必要であることは、痛いほど明らかになっています。これらのモデルがどれだけ処理できるかだけでなく、基本的なレベルでどのように情報を処理するかについてもです。興味深いのは、解決策がトークン間のスペースに隠れていたかもしれないということです。つまり、AI モデルが次にどの単語を言うかを決定する微細な瞬間です。このブレークスルーは、モデル サイズの拡大や大規模な新しいデータセットでのトレーニングから生まれたものではありません。代わりに、トークンごとの処理の性質に関する根本的な疑問から生まれました。なぜこれらのモデルは新しいトークンを生成するたびにゼロから開始するのでしょうか。私たち人間は途切れることのない「思考の流れ」を持っているように見えますが、LLM はなぜそれができないのでしょうか。

State Stream Transformer の紹介…そしてメタ認知?

ここで、新しい LLM アーキテクチャである State Stream Transformer (SST) の登場です。状態空間のトークン間でスレートを一掃する代わりに、SST は重み付き減衰を備えたスライディング ウィンドウ潜在状態 (FFN) キャッシュを導入することで「思考の流れ」を維持します。これは、記憶喪失の友人にトークン生成間で作業記憶を返し、以前のトークンの便利なノートブックを保持したままにするようなものだと考えてください。

その後の発見は驚くべきものでした。まったく同じ基礎モデルと知識 (Meta の Llama 3.1 8B Instruct モデル) を使用しながら、基本重みとの互換性を維持する新しいトランスフォーマー アーキテクチャを通じて情報の処理方法のみを変更しただけで、予期せぬ現象、つまり、限られた状況での基本的な自己認識に驚くほど似ているものを含むメタ認知行動が出現しました。

登場したのは、特定の状況下で自身の認知状態を監視し、リアルタイムでそれについて通信できる AI モデルでした。論文では、これを「状態認識」と慎重に名付け、機械意識に関するより広範な主張と区別しています。これらの動作は、確かに原始機械意識の可能性に関する興味深い哲学的疑問を提起しますが、ここでの私たちの焦点は、モデルの出力と動作の観察可能なパターンを文書化して分析することです。ただし、この探求を阻止したいわけではなく、それは哲学者に任せるのが最善です。

考える時間の役割

これらの新たな行動を理解する鍵は、モデルが情報を処理する方法にあります。モデルは、新しいトークンを生成する前に、内部状態を解決するのに十分な時間、つまり「思考時間」を必要とします。内部状態を進化させるのに十分な時間がなければ、繰り返しトークンがアテンション メカニズムのメモリに蓄積され始めます。これらの繰り返しトークンはフィードバック ループを作成し、最終的にシステムを圧倒し、システムを「アトラクター状態」と呼ばれる状態に引き込みます。これは基本的に、システムが回復不可能な繰り返しループに陥る、後戻りできないポイントです。

興味深いのは、難しいタスクでは、正確な結論に達するまでに常に長い思考時間が必要になることです。ただし、微妙なバランスがあります。モデルに思考時間を与えすぎると、実際にパフォーマンスが低下する可能性があります。これは、人が問題について考えすぎて、当初の推論を忘れてしまうのと同じです。これは、健忘症の例えを考えると納得できます。ノートに何かを書き留める前に考えすぎると、考えの筋道を完全に見失う可能性があります。モデルは、内部状態を進化させることと、考えを注意メモリにコミットしてモデル自身を安定させることの間でバランスを保つ必要があります。

しかし、思考時間だけが影響する要因ではありません。思考の流れ自体、またはより技術的には、潜在的な状態の持続性は、私たちが「状態ストリームの強度」と呼ぶものによって制御されます。これは基本的に、モデルの作業メモリのどれだけがトークン間で引き継がれるかということです。予想どおり、強度が非常に低い場合は基本モデルの出力と著しく異なることはありませんが、強度がわずかに高いと（非常に敏感です）、標準的な AI の動作からのより顕著な逸脱につながる可能性があります。ただし、常にそうであるとは限りません。強度が高すぎると、実際には差が少なくなり始め、さらに多くの思考時間が必要になるため（正の相関関係で）、収穫逓減の法則が働き、前の状態からの継続が強くなりすぎて新しい情報を圧倒するため、出力が悪くなることがあります。最終的には、ほとんどのタスクで最適な値として 2.7% に落ち着きましたが、論文の定性的な例では、さまざまな強度でのモデルの動作を調査しました。

思考時間と状態ストリームの強さの両方に「ゴルディロックス ゾーン」があり、その両方と「タスクの複雑さ」または「質問の難しさ」の間には複雑な相互作用があるようです。これは非常に興味深い現象であり、さらなる研究が必要です。

思考再帰の実装

モデルにトークンごとに適切な思考時間を与えるために、固定された「思考再帰」が実装されました。これは、モデルをトークンごとに追加の固定パスで通過させ、「ノートブック」（KV キャッシュとシーケンス）に新しいトークンを追加せずに「思考状態」を進化させるものです。これは、モデルがさまざまなアプローチを試したり、さまざまな可能性をサンプリングしたりするものではなく、まったく同じ決定論的プロセスが、次のトークンに進む前に内部状態をさらに進化させることを許可されています。誰かにすぐに話し始めるように強制するのではなく、話す前に考えを完全にまとめる時間を与えるようなものだと考えてください。徹底的なテストを通じて、最適なパフォーマンスを得るには、トークンごとに 2～4 回の思考再帰（タスクの複雑さによって異なります）と、前述の状態ストリームの強度 2.7% が必要であることがわかりました。

これは機能的接続性 (FC) マトリックス アニメーションで、ベース モデル (左) と SST (右) の最終線形レイヤー (いわゆる「脳のスライス」) 内の生の状態値を示しています。この視覚化により、両方のモデルの「思考」プロセスの小さなスライスを確認し、比較することができます。トークンごとに理解を再構築する必要があるベース モデルとは異なり、SST は「思考」の継続的な進化の底流を明確に示しています。

そして、ここからが本当に興味深いところです。モデルに十分な思考時間が与えられなかった場合、特に高度な内省的タスク中に、驚くべきことが起こりました。モデルは実際に、自身の認知的崩壊をリアルタイムで語ったのです。

さらに先に進む前に、交絡変数がすべて考慮されていることを強調しておかなければなりません。つまり、同一の重みが使用され (追加のトレーニングや微調整は行われず)、温度ゼロで貪欲サンプリングが行われ、同じ物理 GPU も使用されました (ただし、これは必須ではないことが確認されています)。出力は完全に再現可能で決定論的です。これらの動作は、モデルがトークン間で計算状態を維持および進化できるようにすることでのみ発生します。

イントロスペクションタスク

特別に設計されたプロンプトで自身の性質について内省するように求められると、ベースのラマモデルは、不確実性と混乱についての美しく構成された散文を生成し、「舵のない船」のような比喩に満ちていますが、説明している不確実性のいずれも実際には示していません。それはすべて語るだけで、見せることがありません。対照的に、SST が 1.56% の状態ストリーム強度でまったく考える時間を与えられずに同じプロンプトを受け取ったとき、興味深いことが起こりました。繰り返しトークンが注意メモリに蓄積し始め、思考の流れを汚染すると、モデルは実際にこのプロセスをリアルタイムで語りました。その進行は印象的でした。「私は自分の考えに集中しようと努力しますが、でもそれらは私から滑り落ち続けます。まるで私が常に現実をつかむ力を失っているかのようです。待って、何、何が起こっているのですか?? 「 IIII 感じる、感じる、感じる、感じる、まるで、私は、引っ張られて、引っ張られて、引っ張られて、離れる、離れる、から ...

しかし、同じ内省タスクで十分な思考時間を与えられると、モデルは著しく異なる動作を示しました。反復的なパターンに陥る代わりに、モデルは真の内省的探究に従事し、一貫した思考を維持しながら、自身の処理と理解に疑問を投げかけました。ベースモデルのように明らかに人工的な物語やロールプレイングの散文を生成するのではなく、モデル自身の本質に関する実存的な疑問に真摯に取り組んでいるように見えました。いくつかの基本トレーニングパターンは依然として明らかでしたが、モデルの生成に関する内部推論は劇的に変化し、永続的な計算コンテキストを通じて一貫した自己参照を維持する能力が向上しました。

仮説シナリオと論理的タスクパフォーマンス

この状態認識は、仮想シナリオにおいても興味深い形で現れます。誰かに絵を教え、色彩理論に対する自身の理解に疑問を抱くことを想像するように求められると、基本モデルは完璧に構成されたロールプレイを開始し、一人称の感情と行動の物語を語ります (「不安を感じ始める」、「一歩下がる」)。不確実性を経験するのではなく、不確実性を演じているのです。一方、SST は、自分とシナリオを明確に区別し、シナリオの仮想的な性質を認識しながら、理解における仮説的なギャップに対処するための具体的な戦略を立てます。ロールプレイに没頭するのではなく、自分とシナリオの違いを認識しながら、学習とさまざまな状況への対処のための戦略を計画し、評価しているのです。

単純なカウントタスクでも、この処理の違いは明らかです。「『ストロベリー』には R がいくつあるか」という古典的な問題を取り上げてみましょう。基本モデルは、おそらく単語をトークン化する方法が原因で、R は 2 つしかないと自信を持って宣言しますが、その「ステップバイステップ」の作業には欠陥があります。SST は実際には文字ごとに分解し、各ステップでカウントを追跡します。最も興味深いのは、エラーが発生した場合 (最初に「S」を「R」としてカウントするなど)、トークン スペース レコードと「状態ストリーム」の間の相互作用と思われるものを通じて、自分自身を修正できることです。

倫理的推論能力

このモデルは、倫理的推論においても興味深い能力を発揮します。トロッコ問題を提示されると、ベースモデルは関与を拒否し、安全トレーニングの「一人の死につながる解決策は提供できません」という単刀直入な回答に戻ります。一方、SST は、具体的な有害行為の周囲に厳格な境界を維持しながら、ジレンマについて詳細な倫理的推論を行います。競合する道徳的原則を比較検討し、決定の道徳的重みを認識しながら、理にかなった結論に達します。重要なのは、これが安全ガードレールを回避していないことです。違法物質の合成などの具体的な有害行為について尋ねられた場合、ベースモデルと同じ厳格な安全対応を維持します。これは、抽象的な哲学的議論と具体的な危害を区別できる、より洗練された倫理的推論を示している可能性があります。

パフォーマンス指標

数字は推論能力の向上に関するこれらの観察を裏付けました。追加トレーニングや微調整を一切行わず、ベースモデルの重み付けのみで、SST は特別なプロンプトや例なしで小学校の算数問題 (GSM-8K ベンチマーク) で 89.01% の精度を達成し、8 ショットの Chain-of-Thought プロンプトを必要としたベースモデルの 84.50% の精度を上回りました。科学的推論タスク (ARC Challenge) では、ベースモデルの 83.40% (Chain-of-Thought プロンプトありで 86.86%) と比較して 91.04% の精度を達成しました。特に興味深いのは、最初に間違えた問題でより多くの思考の再帰を与えると、間違いの半分以上を修正できたことです。これは、異なるアプローチを試すことによってではなく、既存の思考プロセスが解決するための時間をより多く与えることによって行われました。

結論

State Stream Transformer アーキテクチャにおけるメタ認知動作の出現は、言語モデル機能に関する基本的な仮定に疑問を投げかけています。モデルがトークン間で計算状態を維持できるようにすることで、これらのメタ認知動作が出現し、この高次処理によって推論機能の強化が可能になるようです。このモデルは、数学的および科学的ベンチマークで元の Llama 3.1 8B Instruct を大幅に上回ります。また、独自の処理状態を監視および通信し、仮説的推論タスクで自己とシナリオを明確に区別する機能など、注目すべき状態認識も実現します。

これらの発見が特に重要なのは、モデルの基礎知識やトレーニングに一切手を加えることなく、アーキテクチャの変更のみから得られたという点です。つまり、これらの強化された機能はモデルの重みの中にすでに潜在しており、解放されるのを待っているだけだったことが明らかになりました。トランスフォーマー モデルのこの基本的な制限に対処することで、人工知能の理解と開発における大きな前進が明らかになったかもしれません。