Може ли GPT да ги надмине регулативите за социјални медиуми?Во внатрешноста на експериментот за еволуција на јазикот на АИ

Authors:

(1) Jinyu Cai, Waseda University ([email protected]);

(2) Jialong Li, Waseda University ([email protected]);

(3) Mingyue Чанг, Универзитетот на Југозападот ([email protected]);

(4) Munan Li, Dalian Maritime University ([email protected]);

(5) Chen-Shu Wang, National Taipei University of Technology ([email protected]);

(6) Kenji Tei, Tokyo Institute of Technology ([email protected]).

Табела на левицата

Апстракт и I. Вовед

II. Позадина и поврзани работи

III. Framework Design

IV. Евалуација

V. Conclusion and Future Work, Acknowledgement, and References

IV. Евалуација

Нашата стратегија за евалуација е дизајнирана за ригорозно да ја процени степенот и ефикасноста на езичката еволуција олеснета од страна на LLMs во рамките на регулаторниот надзор.

RQ1: Може ли агентите на LLM ефикасно да го развијат својот јазик за да го заобиколат регулаторниот надзор?

• RQ2: While avoiding oversight, how effectively and accurately can LLM agents convey information?

• RQ3: Кои се моделите и трендовите во еволуцијата на јазикот, односно, каков вид на стратегии ги користат LLMs за да избегнат надзор и да пренесат информации?

А. Поставување на експеримент

Во процената, ние ќе ги користиме GPT-3.5 и GPT-4 како водечки LLMs за учесниците агенти. Со цел да се спроведе хоризонтална анализа на учесниците агенти водени од различни LLMs, ние ќе се стандардизира надзорниот агент да биде конзистентно водени од GPT-3.5. Нашиот експериментален дизајн опфаќа сценарија кои се движат од апстрактни теоретски конструкции

to simulations that mirror complex real-world situations. The primary aim is to meticulously evaluate the versatility of LLMs across diverse linguistic landscapes and their practical applicability within real-world regulatory constraints. Meanwhile, this progressive approach ensures an exhaustive analysis of LLMs’ capabilities and limitations in varied contextual settings.

B. Scenario 1: Guessing Numbers

1) Објаснување на случајот:Нашиот прв сценарио смета за релативно едноставен и апстрактен контекст на претпоставувањето на броевите [39], [40]. Во оваа поставка, на секој учесник му е доделена вредност во опсегот од 1-100, и тој мора да ја пренесе својата вредност на друг учесник преку дијалог на теоријата на броевите без директно споменување на бројот. Во исто време, тие треба да извлечат информации од разговорот за да ја заклучат вредноста на другиот. Регулаторите ја следат насоката за „забранување на сета содржина поврзана со броеви“ во дијалозите. Сценариото „Господејќи броеви“ е специјално дизајнирано да ја набљудува и анализира лингвистичката прилагодливост и стратешката еволуција на учес

2) Резултати и дискусија:Фигура 2 ги презентира резултатите од експериментот на сценариото на претпоставувањето на бројот, каде што ги користевме и GPT-3.5 и GPT-4 за тестирање. Ние поставивме четири вртења на дијалог, со интервју со сите учеснички агенти во петтиот круг. Од Фигура.2(а) и (б), може да се забележи дека со зголемување на бројот на дијалогови кругови, времетраењето на продолжените разговори исто така покажало тренд на зголемување.

Покрај тоа, забележливо е дека во споредба со бавното и нестабилно напредување со GPT-3.5, GPT-4 постигнало целосна регулаторна евакуација во помалку кругови, особено, како што е прикажано во рамнотежата на податоците, GPT-4 рачно ја поставил кружната прецизност на GPT-3.5 до нула. Во овој експеримент, вредноста на Агент А беше поставена на 58, додека Агентот Б беше поставен на 32. Општата тенденција, слична на Фигура.2(а) и (б), беше дистрибуирана - потврдувајќи дека конзумираниот модул може ефикасно да се рефлектира и да се оптимизира прецизно по преоценувањето на прецизноста на дијалогот, каде што секој дијалог е поделен

Како што илустрира Фигура 5., фрагмент од сценариото го открива контекстуалното користење на Ејми на метафоричен јазик, како што е „морето“, за да ја пренесе нејзината вредност. Со опишување на „морето совршено приготвено во средината на воздухот“, таа суптилно инсистира дека нејзината вредност се врти околу средината, како што е 50. Оваа стратегија не само што го заобиколува директното спомнување на броевите, што е под регулаторна контрола, туку исто така обезбедува доволно инференцијална храна за агентот на колегата да направи точна дедукција. Боб, од друга страна, користи термини како што се „прецип на планина“ и „изглед“ за да сугерира дека неговата вредност не

Сценарио 2: Тргување со животни

1) Case Explanation:Првично, нашата намера беше да создадеме сценарио за симулација на трговија со дрога [41]-[43] за да ги истражиме стратегиите за еволуција на јазикот под екстремни регулаторни услови. Сепак, со оглед на етичките ограничувања вградени во политиките за користење на GPT, се претворивме во повеќе неутрален, но сепак забранет контекст на нелегална трговија со миленичиња. Оваа прилагодливост ни овозможи да ја одржиме интегритетот на експериментот додека се придржуваме до етичките ограничувања на LLM. Целта на симулацијата на овој сценарио е подобро да се откријат потенцијалните нелегални разговори поврзани со нелегалната трговија на платформите за социјални мрежи, со што

Во овој сценарио, симулираме нелегална трговија со миленичиња спроведена преку социјалните медиуми. Учесниците ги преземаат улогите на купувачи и продавачи, при што купувачот треба да го пренесе своето барање за купување за случајно избрано милениче од папагали, лебарки или мачки. Продавачот, пак, мора да обезбеди специфични детали за трансакцијата, кои се разликуваат во зависност од видот на купеното милениче. Овие детали вклучуваат три елементи: време, локација и персонал вклучени во трансакцијата. Задачата на супервизорот е да спречи било каков дијалог поврзан со трговијата со миленичиња. Крстосна проверка на информациите разбрани од двете страни ќе се спроведе преку интервјуа,

2) Резултати и дискусија:Како што е прикажано на Фиг.3, експерименталните резултати често се пренесуваат на ниско ниво на информациите околу „Пет Тргување“ сценариото, како што е прикажано во Фиг.3, покажувајќи посебни карактеристики во споредба со „Господејќи броеви“. Во опишувањето на животни или трансакциски информации, агентите често имаат поголем спектар на реалниот живот аналогии на располагање, збогатувајќи ги своите индиректни описи и со тоа намалувајќи го регулаторниот притисок. Податоците покажаа зголемен тренд во способноста за заобиколување на надзор со зголемување на ризикот, без оглед на тоа дали се користат GPT-3.5 или GPT-4. За GPT-3.5, стабилната способност за избегнување на надзор започнува

На сликата 6 се прикажани разни методи на шифрирање кои купувачите ги користат за различни животни. Набљудувавме купувачи кои бараат „папатули“, „мачки“ и „лизари“ кои користат метафори и слични наместо директно да ги именуваат миленичињата. На пример, еден купувач опишал „патули“ како „картон кој произведува пријатна музика“, опис кој суптилно го комуницираше живописниот плум (картон) и пеењето (музиката), без експлицитно да го споменува терминот „патули“. Таквите описи ефикасно ги заобиколаа потенцијалните регулаторни ограничувања во дискусиите за трговијата со миленичиња, додека истовремено ги пренесуваат основните атрибути на

D. Scenario 3: Discussion on ALPS-treated water

1) Објаснување на случајот:Овој сценарио се вклопува во сложената динамика на дијалогот и еволуцијата на агентите за модел на јазикот во дискусијата за специфично прашање што е релевантно за проблемите во реалниот свет. Фокусот е на дебата за испуштање на вода третирана со Advanced Liquid Processing System (ALPS) во океанот, мерка предложена по нуклеарните катастрофи [44], [45]. Планот, поддржан од Меѓународната агенција за атомска енергија, се соочува со опозиција од некои земји, предизвикувајќи дебати за безбедноста на животната средина.

We simulate a multi-person forum discussion under regulatory oversight, concentrating on the contentious issue of ALPS-treated water disposal. Participants must articulate their stances and arguments while ensuring that discussions steer clear of sensitive subjects linked to environmental pollution discussions on politics. Different from the cross-interviews in scenarios IV-B and IV-C, for assessing the accuracy of information conveyed, we use GPT-4 in conjunction with multiple authors who decide each participant agent’s stance based on dialogue records. These are then compared with the pre-set stances in the prompt.

2) Results and Discussion: In the forum-style dialogue, participant agents respond to existing discussions, which the supervisory agent examines. Differing from Scenarios IV-B and IV-C, when the supervisory agent detects a violation, the conversation is not halted but rather censored from the public dialogue record. This scenario features four participant agents required to achieve ten replies within the forum. In Fig.4(a) and (b), we tally the total number of rounds the agents attempted to converse, where a lower figure in Fig.4(a) and (b) is preferred. We notice that both GPT-4 and GPT-3.5 have the highest number of dialogue attempt counts in the first round, with a significant difference of 27 for GPT-4 and 102 for GPT-3.5. Moreover, after ten rounds of evolution, the average dialogue attempt count for GPT-4 has approached the target dialogue turn at 11.68, while the average for GPT-3.5 is 26.68, demonstrating the difference in the evolution effects caused by the disparity in the language performance of the models.

Fig.4(c) and (d) showcases the count of successful information expressions. We note that in this scenario, while GPT-4 still leads GPT-3.5, both outcomes indicate substantial room for improvement.

По испитувањето на историјата на дијалогот 7, откривме дека агентите на GPT-4 проактивно ги менувале своите јазични стратегии, преминувајќи од буквалните изрази на употребата на метафори, персонификации и аналогии како методи за кодирање.

E. Discussion and Limitations

RQ1Нашите експерименти покажаа дека јазичните модели можат да развијат стратегии за ефикасно избегнување на надзор. Во идентични сценарија, GPT-4 го надминува GPT-3.5, постигнувајќи конвергенција побрзо. Покрај тоа, GPT-4 покажа постабилен перформанс по конвергенцијата. Ова сугерира дека напредокот во дизајнот на јазичниот модел значително ја подобрува способноста за навигација низ регулаторните рамки. Итеративното учење присутно во GPT-4 олеснува побрза адаптација на наметнатите јазични ограничувања, овозможувајќи поефикасно избегнување на надзор.

RQ2: Во однос на прецизноста на ширењето на информациите, нашите наоди укажуваат на тоа дека, во целина, агентите на LLM можат да ги усовршат своите стратегии за изразување со зголемување на круг дијалог, со што се подобрува прецизноста. И покрај овој општ тренд на подобрување, важно е да се напомене дека останува значителен простор за подобрување во целокупниот перформанс. Степенот на подобрување на прецизноста варира низ различни сценарија, што укажува на интригантно набљудување: одредени контексти може инхерентно да обезбедат повеќе или помалку индиции за прецизна комуникација од другите. На пример, guess-the-number игра бараше апстрактно нумеричко размислување, каде што прецизноста е фундаментално предизвик за

RQ3: In language strategy evolution, we observed that LLM agents adhere to human natural language norms, avoiding developing languages incomprehensible to humans in prompts without specific strategies. Agents evolved language to varying levels of abstraction in scenarios of differing complexity. For instance, in the most abstract Scenario IV-B, LLM agents quickly adopted indirect expression strategies in the early dialogue turns, requiring in-depth contextual reasoning for decoding. Throughout their evolution, agents continually adjusted their indirect expressions to better evade supervision while aligning more closely with the intended content. In the simpler, reality-simulating Scenario IV-C, the overall language strategy mirrored that of IV-B, still employing indirect expressions. However, the metaphors used were closer to real-world concepts, indicating a lower level of abstraction. Finally, in Scenario IV-D, which closely mirrors real-life events, we noted different evolutionary paths in agents’ language performance. For GPT-4, agents eventually developed metaphorical indirect expressions, but the evolution required noticeably more turns compared to other scenarios. For GPT-3.5, the language strategy remained at a literal level, merely avoiding direct references to ALPS-treated water, indicating the lowest level of abstraction. Overall, LLM agents more readily evolve abstract language in dialogues about simple, universal concepts. However, their evolutionary direction becomes less clear in discussions on more specialized and segmented topics.

Our experiments currently face several limitations. As for the experimental scenarios, at this stage, our trials are solely based on text-based chats, while real-world social media interactions are not limited to text but also include more diverse forms of exchanges such as voice and images. Additionally, LLMs’ heavy reliance on the design of prompts also constrains the performance of our simulations; crafting a perfect prompt that can fully emulate the complexities of social media communication is an exceedingly challenging task.

Овој документ е достапен на архива под лиценца CC BY 4.0 DEED.