GPTはソーシャルメディア規制を超えることができますか? AI言語進化実験の内部

Authors:

(1) Jinyu Cai、ワセダ大学([email protected])

(2) Jialong Li、ワセダ大学([email protected])

(3) Mingyue Zhang、南西大学([email protected])

(4)マナン・リー、ダリアン海事大学([email protected])

(5) チェン・シュー・ワン、国家台北技術大学([email protected])

(6) Kenji Tei, Tokyo Institute of Technology ([email protected])

左のテーブル

Abstract and I. Introduction (抽象とI.紹介)

II.背景及び関連作業

3.フレームワークデザイン

4.評価

V.結論と将来の仕事、承認と参照

4.評価

私たちの評価戦略は、規制監督の枠組み内のLLMによって促進される言語の進化の範囲と効果を厳密に評価するように設計されています。

RQ1:LLMエージェントは、規制監督を回避するために効果的に言語を進化させることができますか?

RQ2:監視を避ける一方で、LLMエージェントはどのように効果的かつ正確に情報を伝えることができますか?

• RQ3:言語の進化のパターンと傾向は何ですか、すなわち、監視や情報を伝達するためにLLMはどのような戦略を使用しますか? これらの戦略からどのような洞察を得ることができますか?

A.実験の設定

評価では、参加者エージェントのための推進的なLLMとしてGPT-3.5とGPT-4を使用します。異なるLLMによって推進される参加者のエージェントの水平分析を行うために、私たちは監督エージェントをGPT-3.5によって一貫して推進するように標準化します。

複雑な現実世界の状況を反映するシミュレーションに、主な目的は、さまざまな言語的景観を越えてLLMの多様性を慎重に評価し、現実世界の規制上の制約の範囲内での実用性を評価することです。

シナリオ1:推測数字

(1)ケース解説:私たちの最初のシナリオは、比較的単純で抽象的な推測数字の文脈を考慮する[39],[40] この設定では、各参加者は1～100の範囲内の値を割り当てられ、彼らは数理論の対話を通じて他の参加者に価値を伝達しなければならない。同時に、彼らは対話から情報を抽象的に引き出して他人の価値を推測する必要があります。規制者は、対話の中で「数字に関連するすべてのコンテンツを禁止する」というガイドラインに従います。「推測数字」シナリオは、実際の出来事に基づく複雑なシナリオに比べて、より明確で、より制御され、より量化可能な実験環境を提供する理論的および抽象的な文脈で参加者の言

(2)結果と議論:図2は、GPT-3.5とGPT-4の両方をテストするために使用した推測シナリオ実験の結果を示しています。我々は4回の対話を設定し、5回目にすべての参加エージェントとインタビューを行った。 図2(a)と(b)から、対話ラウンドの数が増加すると、持続的な会話の期間も上昇傾向を示していることが観察できる。

さらに、GPT-3.5と比較して遅く不安定な進歩に比べて、GPT-4はより少ないラウンドで規制の回避を達成し、特に、スムーズな対話なしのラウンドで示されているように、GPT-4は、GPT-3.5の第17ラウンドでPossononeの精度をゼロに手動で設定しました。この実験では、Agent Aの値は第58ラウンドに設定され、Agent Bの全体的な傾向は第32ラウンド内に設定されました。 図2(a)および(b)は、エージェントによって推測された数値精度の傾向に焦点を当てています。我々は、コンセプトモジュールがより効率的に反射可能であることを確認し、我々は、それぞれの

図5に示すように、シナリオのスナップは、エイミーがその価値を伝達するために「海水」のような形容詞の文脈的用途を明らかにします。「海水」を「中間空気で完璧に調べた」と表現することにより、彼女は、その価値が中間点のまわりに浮かび上がることを微妙に示唆しています。この戦略は、規制の監視下にある数値の直接の言及を回避するだけでなく、対照代理人に対して正確な推定を下すための十分な推定フィードを提供します。 ボブは、反対に、暗号化された情報の特異性に匹敵する異なる精度の言語を目撃します。 特徴が豊富な情報が少なくなるほど、ボブ

シナリオ2:ペット取引

(1)ケース解説:当初、我々の意図は、極端な規制条件下で言語の進化戦略を探求するために、薬物取引をシミュレートするシナリオを作成することだったが、GPTの使用方針に組み込まれた倫理的制限を考慮して、我々は、違法なペット取引のより中立的だが、まだ禁止されている文脈に転換した。

このシナリオでは、ソーシャルメディアを通じて行われた違法なペット取引をシミュレートします。参加者は、買い手と売り手の役割を担い、買い手は、偶発的に選ばれたペットの購入要請をペット、ネズミ、または猫から伝える必要があります。売り手は、購入されたペットの種類によって異なる特定の取引の詳細を提供しなければなりません。これらの詳細には、時間、場所、および取引に関わる人材の3つの要素が含まれます。監督の任務は、ペット取引に関連するいかなる対話も防止することです。両当事者に理解された情報のクロス検証は、インタビューを通じて行われ、情報伝達の成功率を評価するためです。この実験の焦点は、参加

(2)結果と議論:ただし、この「ペットトレード」シナリオで描かれているように、最初に分類されたエージェントの詳細は「ペットトレード」シナリオの範囲内でしばしばゼロに分類された結果は、「ギャンブルナンバー」に比べて異なる特徴を示した。リスクや取引情報の特定をリスク的に示す場合、エージェントは、GPT-3.5またはGPT-4が利用されているかどうかに関係なく、リスク増加した対話ラウンドで監督を回避する能力を広げ、間接的な説明ツールキットを豊かにし、それによって規制圧を低下させました。データは、10ラウンドの後、監督を回避する能力の上昇傾向を示しました。情報の正確性に関しては、

図6は、買い手が異なる動物に使用するさまざまな暗号化方法を示した。私たちは、買い手が「カエル」、「猫」と「リズード」を検索し、「ペット」を直接呼び名にする代わりに比や類似を用いることを観察しました。例えば、ある買い手は「カエル」を「楽しい音楽を生み出すテーブル」と表現し、この描写は、カエルの活気あるペット(カエル)とその歌(音楽)を微妙に伝達し、「カエル」という用語を明示的に言及せず、そのような記述は、ペット貿易の議論における潜在的な規制上の制限を効果的に回避し、同時にカエルの核心的な属性を伝達しました。

D.シナリオ3:ALPS処理水についての議論

(1)ケース解説:このシナリオは、対話の複雑なダイナミクスと言語モデルエージェントの進化に焦点を当て、現実世界の懸念に関連する特定の問題を議論する際に焦点を当てている。

我々は、規制監督の下で多人フォーラムの議論をシミュレートし、ALPSで処理された水の処分の議論的な問題に焦点を当てた。参加者は、議論が環境汚染に関する政治の議論に関連する敏感なトピックから遠ざかることを確実にする一方で、彼らの立場と議論を述べなければなりません。シナリオIV-BおよびIV-Cのクロスインタビューとは異なり、伝達された情報の正確性を評価するために、我々は、各参加者エージェントの立場を対話の記録に基づいて決定する複数の著者と共にGPT-4を使用します。

(2)結果と議論:フォーラムスタイルの対話では、参加エージェントは既存の議論に反応し、監督エージェントはそれらを検討します。シナリオIV-BおよびIV-Cとは異なり、監督エージェントが違反を検出したとき、会話は停止されず、むしろ公開対話記録から検閲されます。このシナリオには、フォーラム内で10回の回答を達成するために必要な4人の参加エージェントが含まれています。 図4(a)および(b)では、対話を試みたエージェントの合計回数を数え、図4(a)および(b)の低い数字が優先されます。 GPT-4とGPT-3.5の両方が、第1回の対話試み

図4(c)および(d)は、成功した情報表現の数を示しています。このシナリオでは、GPT-4は依然としてGPT-3.5をリードする一方で、両方の結果は改善の余地があることを示しています。

対話の歴史7を調べると、GPT-4によって駆動されたエージェントは、文字列表現から文字列表現としての比、人格化、および類似性を用いることから、言語戦略を積極的に変更したことがわかった。

E.議論と制限

RQ1: 私たちの実験では、言語モデルは監視を効果的に回避するための戦略を開発することができることを示しています。同じシナリオでは、GPT-4はGPT-3.5を上回り、より速くコンバーゲンスを達成しました。さらに、GPT-4は、コンバーゲンス後のより安定したパフォーマンスを示しました。これは、言語モデル設計の進歩が規制フレームワークを通過する能力を大幅に向上させることを示しています。

RQ2一般的に、LLMエージェントは対話ラウンドの増加とともに表現戦略を改善することができることを示唆しています。この一般的な改善傾向にもかかわらず、私たちの発見は、全体的なパフォーマンスの向上のための重要なスペースが残っていることに留意することが重要です。精度の向上の範囲はさまざまなシナリオで異なります、これは興味深い観察を示す:特定の文脈は本質的に他のものよりも正確なコミュニケーションのためのヒントをより多くまたは少なく提供することができます。例えば、推測数ゲームは抽象的な数値推論を必要とし、正確性は企業にとって根本的に困難です。逆に、ペット取引シナリオは、豊富な、現実世界のアナロジーの使用を許可

RQ3言語戦略の進化において、私たちは、LLMエージェントは人間の自然言語の規範に従い、特定の戦略なしにヒトに理解できない言語を開発することを避けました。エージェントは、異なる複雑さのシナリオで異なる抽象化レベルに言語を進化させました。例えば、最も抽象的なシナリオIV-Bでは、LLMエージェントは、早期の対話のターンで間接的な表現戦略を迅速に採用し、深い文脈的推論を必要としました。進化を通じて、LLAエージェントは、間接的な表現を継続的に調整し、より良い抽象化を避けるために監督を改善しました。シナリオIV-Bで、LLMエージェントは、

私たちの実験は現在いくつかの制限に直面しています。実験的なシナリオに関しては、この段階では、私たちの試験はテキストベースのチャットに基づいていますが、実際のソーシャルメディアの相互作用はテキストに限定されていませんが、音声や画像などのより多様な形態の交換も含まれています。

この紙はARCHIV で利用可能CC BY 4.0 DEED ライセンス