Oh AGI Can You Feel Me?

汎用人工知能 (AGI) の著名な研究者との最近の会話で、気候変動に関して AGI が助けになるか複雑になるかについて議論していました。私たちは、IPCC が 1.5C ラインを超えると報告する時期について、雑草に少し入り込みました。記録のために、それは今から18年後に来る可能性があります—今日の新生児の両親が、子供たちを大学に送り出すことを期待しているかもしれないとき.

問題は、カタログ化するには気候関連の問題が多すぎるということです。 1.5℃超えは避けられないというだけではありません。それもまた私たちは昆虫の個体数を減らしました.これは、私たちが自分たちのために掘った炭鉱で腹を立てた彼らの群れの別のカナリアです.それで、私たちは本当に助けを使うことができました。私の同僚の立場は、AGI がその助けになるというものでした。私の立場は、一般的に知的なエージェントは自律的であるということです。その自律性は、私たちがそれによって一般的に知的であると認識するための重要なテストの 1 つになります。結局のところ、それは私たちが自分自身に適用するテストです.しかし、自律的なエージェントには、私たちを助ける動機が必要です。

排出削減の公約が何らかの代理であるとすれば、私たちは自分自身を助ける動機に欠けているようです. AGI が思いやりや共感のようなものを持っていること、あるいは単に手を差し伸べるのに十分な人間性を持っていることについては、普通の人間のこれらの資質が存在する場合、計算能力や知性ではなく、感情に根ざしていることを思い出してください。歴史的に思いやりや共感のイオタをまったく示さず、社会や人類の歴史に与える影響は伝説や悪夢のような非常に知的な人間がたくさんいます.ジャック・ザ・リッパーからポル・ポットまで、その例は数多くあり、恐ろしいものです。

人間の感情は、人間の形態と生物学に深く根ざしています

Rumi の Mathnawi のような崇高なテキストでさえ、人間の欲望の言語を人間の愛の言語に変換します。多くの人はそれを愛の言語だと思っていますが、それは実際には、特に人間のための愛を指す方法です.人間と愛との関係を理解するためのツールとして以外は、ケンタウルス座アルファ星や宇宙で進化した他の知性体に役立つ可能性はほとんどありません.根本的に異なる形態学に根ざし、実質的に生物学を持たない生の計算能力が、人間の経験の何らかの理解や共鳴をもたらすとは期待できません。

私たちの歴史が示すように、同情– 語源的には同じ感情、または感情 – は、人間がお互いに向かって発展するのが難しいことがよくあります。

合衆国議会議事堂を襲撃したMAGA共和党員は、彼らが不具にしたり殺したりした警官に思いやりを持っていましたか?ジョージ・フロイドを殺した警官、またはそれを見ていた警官は、目の前の男に思いやりを持っていましたか?私たちの生物学的命令のようなものは何もない、完全に異なる形態に根ざした知性が、なぜ人類への思いやりを持っているのでしょうか?

人間の感情は、人間の形態と生物学に深く根ざしています。 Rumi の Mathnawi のような崇高なテキストでさえ、人間の欲望の言語を人間の愛の言語に変換します。

そのため、AGI の予想される結果の代用として、新種のクモ (計画と適応能力を備えたインテリジェントなクモ) を導入するというメタファーを使用します。そして、それはより良い結果の1つです。はるかに悪い結果は、AGI の軍事利用が失敗したり、人間が思いやりを欠いたり、まったく悪意を持ったり、自律型の知的エージェントに暴力的で悪意のある動機や傾向を吹き込んだりすることから始まります。

現代人は、最も単純なフィードバック システムの動作を理解することさえ苦手です。それには正当な理由があります。それらは非常に複雑で、特にトポロジカルな推移性を享受するあまりにも一般的なものです。 (素人にとって、これは、入力の小さな違いが出力の任意の大きな違いにつながる可能性があるシステムを意味します。)生の予測力、実際には普遍的な計算力でさえ、この機能には匹敵しません。 ChatGPTの「幻覚」を目撃してください。薬の副作用をカスケードするのに適していない種を生態学的ニッチに導入するという災害から、気候への影響まで、すべてが私たちの知性で複雑なシステムを把握できないという圧倒的な証拠を構成しています.私たちがそれを正しく理解すると、それは偶然ではなく、私たちの知性とは別の場所からもたらされます.

たとえば、私たちが意識と経験と呼んでいるものは、知性に根ざしたものではなく、感情に根ざしたものであるという証拠は、かなり説得力があります.著名な研究者、マーク・ソルムズ、証拠の要約を示します。無脳症の子供たち — 新皮質を欠いている — はまだ意識があると説明され、経験されています.一方、損傷を受けた脳の 2 立方センチメートルの小さな領域は 100% 相関しており、誰も家に帰らず、個人は意識していません。脳のこの領域は、通常、感情処理に関連しています。

私たちが意識と経験と呼んでいるものは、知性に根ざしたものではなく、感情に根ざしたものであるという証拠は、かなり説得力があります.

AGIに感情を期待することはできません

これらのエージェントが人間の感情のようなものを明らかにしなければ、認識可能な人間レベルの AGI (HLAGI) を達成することは期待できませんが、これらは人間の形態学と人間の生物学に根ざしています。根本的に異なる実施形態は、根本的に異なる知性をもたらす。しかし、根本的に異なる知性は、トポロジー的に推移的な別名カオス動的システムです。ニッチに適さない種のように、歴史的に予測が難しい環境への影響があります.したがって、HLAGI が気候変動の助けになると期待するのは、がっかりするほどナイーブです。すでに厄介な問題を複雑にする可能性がはるかに高くなります。

あらゆる種類の完全性または真実味を備えた代替世界を想像する不思議な能力を持っていた人間が1人いるとすれば、それはフランク・ハーバートでした. Dune の設定は、AGI のミスが発生した後の期間に設定されていたことを思い出してください。それは楽観的すぎる見方である可能性が非常に高いです。フェルミのパラドックスは、知性が自分自身を複製しようとするウロボリックな傾向によって説明され、それによって自分自身を一掃する可能性が高い. ロビン・ハンソンの Grabby Aliens 仮説に関して言えば、具現化の役割を理解せずに知性を複製しようとするこの衝動を回避することは、知性が生き残るために乗り越えなければならない困難なステップの 1 つである可能性があります。

リード画像提供：Milad Fakurian & Unsplash