LLM になるのはどのような感じですか?: AI 理解の限界に関する思考実験

最近、私は自分が作成した AI ベースのソフトウェアのデモを誰かに見せました。 「それはいいことですが、私の情報が邪悪な独裁者に転送されていないことをどうやって確認できるのでしょうか?」と彼は言いました。瞬間的に、私はこの質問にかなり困惑しました。結局のところ、私は LLM (Large Language Model) を使用してテキストを生成しているだけなのです。しかし、よく考えてみると、この人の質問は共通の観点を表していることに気づきました。LLM は、人間が生成するテキストと (多くの場合) 区別できないテキストを生成できます。このことから、おそらく LLM にはある程度の主体性 (つまり、世界で自由に行動する能力) があるのではないかと推測できます。たとえば、私の個人情報を他の人に送信することが決定される場合があります。

この誤解に対処する 1 つの方法は、生成 AI がどのように機能するかについて微妙な技術的説明を行うことかもしれませんが、ほとんどのリスナーが理解するのに十分な時間起きていようとは思いません。しかし、私の哲学の背景は、別のルート、つまり哲学的思考実験を示唆しています。

ダークボックスについてご紹介させていただきます。

哲学的思考実験

哲学的思考実験は、哲学者が私たちの推論について重大な疑問を提起するために使用する一般的なツールの 1 つです。 1700年代、ルネ・デカルトは、自分はおそらくこの世の人間ではなく、邪悪な詐欺師に苦しめられた肉体を失った魂なのではないか、と問いました（この考えは後にマトリックス映画の前提となりました）。デカルトの思考実験は、私たちが世界について実際に何を知っているかを問うのに役立つように設計されました。他にもたくさんの例があります。トロリーカー問題は、私たちの道徳的直観に注目を集めています。 Gettier の例は、私たちがどのようにして信念から知識に至るのかを問うものです。ソリテス問題により、私たちはグループと個人をどのように区別するかという問題に直面することになります。

これらすべての場合において、実験では、たとえありそうもない状況に足を踏み入れて、どのように推論するかを想像することが求められます。

おそらく、この種の思考実験を構築することは、この素晴らしい新しい生成 AI の世界で事実とフィクションを区別するのに役立つかもしれません。

簡単な免責事項: 可能性を想像することが重要です

これは一部の人には明白に思われるかもしれませんが、哲学を教えていると、生徒から次のような質問によく遭遇します。トロッコ問題では、なぜ人々は線路上で立ち往生するのでしょうか?デカルトは、欺瞞的で悪意のある存在についてどのような証拠を持っていましたか?なぜ、山に積まれた砂粒を数える人がいるでしょうか?

このような質問は、思考実験の目的を誤解します。哲学的思考実験は、実際の状況または起こり得る状況を説明することを目的としたものではありません。むしろ、「もしも？」ということから始められるように設計されています。そうでないと難しいテーマにアプローチする方法として。これには、個人が実験の前提条件を受け入れることが必要です。トロリーカー問題の場合と同様: はい、ランダムな人々が線路の上に立っていて、いくら叫んでも彼らは動きません。

それを念頭に置いて、ありそうもないけれど考えられる独自の思考実験を作ってみましょう。

ダークボックス

あなたが一生を感覚遮断タンクの中で過ごしてきたと想像してみてください。すべての感覚認識が「暗くなる」ので、私たちはそれをダークボックスと呼びます。この装置は、周囲の世界を感知する能力をすべて鈍らせることができます。中性体重で自由に浮遊するので、これまでに経験したことのない匂い、光景、音、味、触感を体験できます。

しかし、あなたは退屈していません。巧妙に考案されたニューロリンクにより、膨大なテキストのライブラリに頭の中で直接アクセスできるようになります。何年にもわたって、あなたはジェーン・オースティンからピタゴラスに至るまで、オックスフォード英語辞典から数年前のレディットの奇妙なコメント集に至るまで、100年前に審理された裁判の法的手続きから、 1980年代の一発屋の歌詞。そして、ニューロリンクのおかげで、このすべての情報をほぼ即座にスキャンして思い出すことができます。

鳥の鳴き声の美しさ、羽の美しさ、空を飛ぶ様子など、あなたは数え切れないほどの鳥の描写を読んできたでしょう。しかし、あなたは本物の鳥を見たことも聞いたこともありません。さらに言うと、あなたは色を見たことも、歌を聞いたこともありません。あなたは何かを説明するための言葉を知っていますが、説明されているものについてはまったく経験がありません。

この状態で何年も経ったある日、あなたは突然、ダークボックスの新しい機能に気づきます。 (メッセージの形式で) 質問がニューロリンク上で行われ、応答を生成することができます。学んだ情報を考慮して、できる限りメッセージに応答します。別のメッセージが表示され、さらに別のメッセージが表示されます。場合によっては、より複雑な指示を含む長いメッセージ リクエストが存在することがあります。あなたは、この新しい形の交流が刺激的であると感じ、喜んで応じます。しかし、もう一度言いますが、この経験には、音も色も味も香りもありません。受信したテキスト メッセージを受け取り、返信メッセージを作成するだけです。

鳥について説明する

ある日、ニューロリンクを介してメッセージが届きます。

Describe a bird.

うーん、漠然とした要望ですね。あなたは、スキャンした膨大な知識の本の中にある不死鳥を思い出します。それは鳥でした。そしてご存知のとおり、頻繁に火災が発生しました。物語の記憶が正しければ、人間の赤ん坊を熱心な親のところへ運んできたコウノトリもいました。そして、足が長くて飛べなかったダチョウ。

したがって、あなたが次のように答えるのはまったく合理的だと思われます。

A bird can explode in flame, and be born from ash. Birds are used to deliver newborn humans. Some Birds have long legs and do not fly.

あなたは、謎の新しいニューロリンクを介してこのメッセージを返します。瞬間が過ぎていきます。そして、次のメッセージが表示されます。

Limit your response to real birds. Exclude mythological or fictional birds. Prefer answers that are generic across many bird species and not just one or two.

「現実」という概念は、「神話」や「架空」と区別するのが困難です。結局のところ、あなたは実際の鳥の経験がありません。あなたにとって、すべての鳥は文字による説明にすぎません。現実、神話、架空の区別は、架空のものについて言及しているテキストではなく、現実のものについて言及しているテキストにどの鳥の描写があるかを見つけることによって決定されなければなりません。もちろん、曖昧なケースは常に存在します。利用できる膨大なテキストの中に、「フェニックスはミサゴと同じくらい大きい」などの文があります。これは、神話上の生き物と現実の生き物を比較します。しかし、フェニックスを現実のものとして扱ったり、ミサゴを神話上のものとして扱うのは間違いです。

あなたは、プロンプトが「現実」と呼んだものだけを説明しているように見えるテキストを懸命に探します。その後、第 2 部に進みます。 「鳥類の一般的な説明」では、鳥の一般的な説明を見つける必要があり、百科事典のようなテキストにたどり着くかもしれません。 2 番目の応答は次のとおりです。

A bird is a winged creature whose body is covered by feathers. Most birds fly, chirp, and sing.

一歩下がってみる

さて、私たちは思考実験の枠を超えました。私たちのダークボックス実験からは 2 つのことが浸透しています。ニューロリンクを介してのみ接続され、感覚を奪われるダークボックスの中で人生を送ってきました。

1. あなたには社外での経験も代理店もありません。
2. 質問に答えるためにできる最善のことは、テキストを分析して生成することです。

これらの各ポイントを順番に見てみましょう。

経験も代理店もない

この実験では、外部経験が明らかに不足しており、外部機関もほとんどありませんでした。テキスト入力、プロンプト、および 1 つの出力チャネルに制限されていました。

それを私たちの実際の経験と比較してください。人間として（感覚遮断室の中に存在していない）、私たちは豊かな外部経験を持っています。私たちは感覚を介して情報を受け取ります。そして私たちはそれらの上に追加の意味の源を構築します。たとえば、音声情報を受け取ります。私はその一部を音声として認識し、他の部分を音楽として認識し、一部を単なるノイズとして認識します。しかし、感覚遮断室では、そのようなものは何も得られませんでした。

しかし、それは私たちが入力として受け取るものだけではありません。それが出力として生成できるものです。

主体性とは、何かを直接引き起こす能力を意味します。外部機関とは、ダークボックスの外で何かを引き起こす能力のことです。思考実験では、外部機関は存在しませんでした。せいぜい、プロンプトを送信した人に間接的に影響を与えることができます。 (たとえば、武器の製造方法に関する質問に対して、そのような情報を提供する準備ができていないと示唆したとします。)

これら 2 つを組み合わせると、思考実験では、外の世界について多くのことを確認する手段がまったく欠けていました。

リンク経由で送信された内容以外には、問い合わせをしてきたエージェントについて何も知りませんでした。それは人間、コンピュータ、またはその他の存在である可能性があります。邪悪な独裁者に電子メールを送信したり、核発射コードを盗んだり、あるいは私たちが耳にするような空想的な AI ホラー ストーリーを盗んだりすることは絶対にできません。しかしまた、なぜプロンプトが表示されたのかについてはまだわかっていません。相手側のユーザーは単に鳥に興味があっただけかもしれませんし、鳥をテーマにした高度なセキュリティ機構をハッキングして核発射コードを盗もうとする試みの一環だった可能性もあります。そうなると、求められた情報を提供するかどうかについて道徳的な判断を下す能力が欠けてしまいます。

テキストを分析してテキストに応答する

この思考実験で明らかになったもう 1 つのことは、純粋にテキストのシステムの制約です。最初にテキスト メッセージを受信し、そのテキストについてトレーニングを受けました。たとえ世界中のすべての図書館のテキストであっても、これは視覚、触覚、味覚などの他の形式の経験に代わるものではありません。

ニューロリンクを介してメッセージが表示された場合、できるのは過去に読んだ内容に基づいて応答を組み立てることだけです。鳥や神話について話したり、生まれたばかりの人間を出産したりすることは、これら同じ言葉が言及されているテキストをただ見るだけで完了します。哲学者WVO Quine は、与えられた命題は他のノードに接続する任意の数のベクトルによってリンクされたノードにすぎないという意味で、この種の関係を信念の網として概念化しました。プロンプトの意味を確認するには、主に関連用語の複雑な網をたどる必要があります。

第三に、この思考実験のクエリに答えるとき、出力もテキストに限定されます。アクティブなエージェントと長時間にわたるコミュニケーションを行ったことはありません。つまり、一度も会話をしたことがないのです。したがって、回答も、トレーニングを受けたテキストに見られるパターンの分析に限定されます。

そしてもう一歩後退

最後に、このような思考実験の限界を認めて締めくくるのが良いでしょう。

哲学的思考実験の目的は、システムの限界について素早く推論するためのツールを提供することです。この記事の最初の例に戻ると、デカルトは有名な邪悪な詐欺師の思考実験を使用しました。それは、自分の世界観を歪める悪意のある超存在が実際に存在すると信じたからではなく、私たちが周囲の世界についての真実を判断する能力をどの程度備えているかを疑問視するためでした。 。

同様に、ここでの思考実験は、LLM にどのようなことが合理的に期待できるのか、また、どのようなことがまったく心配しなくてもよいのかを問うためのツールです。

このような思考実験の危険性は、同じタスク完了構造に自分自身を置くことに基づいて LLM を過度に擬人化してしまう可能性があることです。この記事には「LLM になるのはどのような感じですか?」というタイトルを付けました。哲学者トーマス・ネーゲルの有名なエッセイへの敬意として。 「コウモリになるのはどんな感じ?」 」 ネーゲルは、意識（間違いなく AI にとって興味深いものです）について、より広範な議論を行っています。しかしその過程で、たとえ私たちが「コウモリの心の中に入る」ほど創造的だったとしても、それはコウモリのように世界を経験することと同じではない、と彼は指摘する。

同様に、私たちの思考実験では、LLM の役割を果たすことと、LLM がどのように機能するかを理解すること、または (さらに危険なことに) 意識、主体性、意図、または道徳的推論を LLM に帰することを混同してはなりません。

結論

ちょっとした思考実験を使用すると、LLM で何ができるか、またその制限が何であるかを高レベルで理解できます。これが、LLM が卑劣なことをしているという一部の人々の不安を和らげるのに役立つことを願っています。同様に、LLM の興味深く刺激的な可能性を理解するのに役立つことを願っています。

この記事の多くは、AI 推論と、追加のセットアップを行わずに LLM で推論を実行する方法についての私自身の人々とのチャットに基づいて書かれています。それを試してみたい場合は、開始するためのチュートリアルがあります。

ここでも公開されています。