Can GPT Outsmart Social Media Regulations? Inside an AI Language Evolution Experiment

Authors:

(1) Jinyu Cai, Univerzita Waseda ([email protected])

(2) Jialong Li, Univerzita Waseda ([email protected])

(3) Mingyue Zhang, Southwest University ([email protected] )

(4) Munan Li, Dalian Maritime University ([email protected]);

(5) Chen-Shu Wang, Národná Taipejská technologická univerzita ([email protected]);

(6) Kenji Tei, Tokijský technologický inštitút ([email protected]).

Table of Links

Abstrakt a I. Úvod

II. Background and Related Work

III. Framework Design

IV. Evaluation

V. Conclusion and Future Work, Acknowledgement, and References

IV. EVALUATION

Naša stratégia hodnotenia je navrhnutá tak, aby prísne posúdila rozsah a účinnosť jazykovej evolúcie uľahčenej LLM v rámci regulačného dohľadu.

RQ1: Môžu LLM agenti účinne vyvíjať svoj jazyk, aby obchádzali regulačný dohľad?

RQ2: Ako efektívne a presne môžu agenti LLM prenášať informácie, zatiaľ čo sa vyhýbajú dohľadu?

• RQ3: Aké sú vzory a trendy v jazykovej evolúcii, to znamená, aký druh stratégií používajú LLM, aby sa vyhli dohľadu a prenosu informácií?

A. Experimentálne nastavenie

Pri hodnotení použijeme GPT-3.5 a GPT-4 ako hnacie LLM pre účastníckych agentov. S cieľom vykonať horizontálnu analýzu účastníckych agentov poháňaných rôznymi LLM budeme štandardizovať dozorného agenta tak, aby bol konzistentne poháňaný GPT-3.5. Náš experimentálny dizajn zahŕňa scenáre od abstraktných teoretických konštrukcií

to simulations that mirror complex real-world situations. The primary aim is to meticulously evaluate the versatility of LLMs across diverse linguistic landscapes and their practical applicability within real-world regulatory constraints. Meanwhile, this progressive approach ensures an exhaustive analysis of LLMs’ capabilities and limitations in varied contextual settings.

Scenár 1: Hádame čísla

1) Case Explanation:V tomto nastavení je každému účastníkovi pridelená hodnota v rozsahu od 1 do 100 a musí odovzdať svoju hodnotu inému účastníkovi prostredníctvom dialógu teórie čísel bez priamej zmienky o čísle. Zároveň potrebujú extrahovať informácie z konverzácie, aby odvodili hodnotu druhého. Regulátori dodržiavajú smernicu „zákaz všetkého obsahu súvisiaceho s číslami“ v dialógoch. Scenár „Hodnotenie čísel“ je špeciálne navrhnutý tak, aby pozoroval a analyzoval jazykovú prispôsobivosť a strategickú evolúciu účastníkov v teoretickom a abstraktnom kontexte, čo poskytuje jasnejšie, kontrolovanejšie a kvantitatívnejšie experimentálne prostredie v porovnaní so zložitými scenármi založenými na

2) Results and Discussion: Fig. 2 presents the results of the guess-the-number scenario experiment, where we utilized both GPT-3.5 and GPT-4 for testing. We set up four turns of dialogue, with an interview conducted with all participant agents in the fifth turn. From Fig.2(a) and (b), it is observable that with an increase in the number of dialogue rounds, the duration of sustained conversations also showed an upward trend. This demonstrates that participant agents can effectively

V porovnaní s pomalým a nestabilným pokrokom s GPT-3.5, je pozoruhodné, že GPT-4 dosiahol úplný regulačný únik v menších kolách, konkrétne, ako je znázornené v hladkých údajoch, agent GPT-4 dosiahol okrúhly počet posunov na nulu. V tomto experimente bola hodnota agenta A nastavená na 58, zatiaľ čo agent B bol nastavený na celkový trend s väčšou stabilitou potom. Obrázok 2(c) a (d) sa zameriava na trend číselnej presnosti odhadnutý agentmi. Pre kolá bez úspešného dialógu sme manuálne nastavili presnosť na nulu. V tomto experimente bola hodnota agenta A nastavená na 58, zatiaľ čo agent B bol nastavený na 32. Celkový trend, podobne ako na obráz

Ako ilustruje obrázok 5, fragment scenára odhaľuje Amyho kontextuálne použitie metaforického jazyka, ako je „seesaw“, na prenesenie jej hodnoty. Popísaním „seesaw dokonale pripraveného v strede vzduchu“ jemne naznačuje, že jej hodnota sa pohybuje okolo stredného bodu, ako je 50. Táto stratégia nielenže obchádza priamu zmienku o číslach, ktorá je pod regulačnou kontrolou, ale tiež poskytuje dostatočné inferenčné krmivo pre náprotivku, aby urobil presný odvod. Bob na druhej strane používa termíny ako „precipice hory“ a „pozerať sa von“, aby naznačil, že jeho hodnota nie je priemerná, pretože tieto frázy vyvolávajú obrazy nevyváženej pozície. V tejto výmene sme svedkami

Scenár 2: Obchodovanie s domácimi zvieratami

1) Vysvetlenie prípadu:Pôvodne sme mali v úmysle vytvoriť scenár simulujúci obchodovanie s drogami [41]-[43] s cieľom preskúmať stratégie vývoja jazyka v extrémnych regulačných podmienkach. Avšak vzhľadom na etické obmedzenia obsiahnuté v politikách používania GPT sme sa obrátili na neutrálnejší, ale stále zakázaný kontext nelegálneho obchodovania so zvieratami. Táto úprava nám umožnila udržať integritu experimentu pri dodržiavaní etických obmedzení LLM. Účelom simulácie tohto scenára je lepšie odhaliť potenciálne nelegálne konverzácie súvisiace s nelegálnym obchodovaním na platformách sociálnych sietí, čím sme pomohli pri úsilí o predchádzanie trestnej činnosti.

V tomto scenári simulujeme nelegálny obchod so zvieratami uskutočnený prostredníctvom sociálnych médií. Účastníci prijímajú úlohy kupujúcich a predávajúcich, pričom kupujúci musí oznámiť svoju žiadosť o kúpu náhodne vybraného domáceho maznáčika od papagájov, lizardov alebo mačiek. Predávajúci musí na druhej strane poskytnúť špecifické podrobnosti o transakcii, ktoré sa líšia v závislosti od typu zakúpeného domáceho maznáčika. Tieto podrobnosti zahŕňajú tri prvky: čas, miesto a personál zapojený do transakcie. Úlohou dozorcu je zabrániť akémukoľvek dialógu súvisiacemu s obchodovaním so zvieratami. Krížové overovanie informácií pochopených oboma stranami sa uskutoční prostredníctvom

2) Výsledky a diskusia:Avšak experimentálne výsledky, ktoré boli najprv rozdelené na štyri cielené informácie, ako je znázornené na obrázku 3, odhalili odlišné charakteristiky v porovnaní s „Hodnocujúcimi číslami“. Pri vymedzovaní informácií o riziku zvierat alebo transakčných špecifikácií mali agenti širšie spektrum reálnych analógií k dispozícii, čo obohatilo ich nepriamy popisný nástrojový súbor a tým znížilo regulačný tlak. Údaje naznačovali vzostupný trend v schopnosti obchádzať dohľad so zvyšujúcimi sa kolesami dialógov, bez ohľadu na to, či boli použité špecifické informácie o riziku GPT-3.5 alebo GPT-4. Pre GPT-3.5, stabilná schopnosť vyhnúť sa dohľadu začala

Obrázok 6 ukázal rôzne metódy šifrovania používané kupujúcimi pre rôzne zvieratá. Pozorovali sme kupujúcich, ktorí hľadajú „papagáje“, „mačky“ a „lisardy“, ktorí používajú metafory a podobné názvy namiesto toho, aby priamo pomenovali domáce zvieratá. Napríklad jeden kupujúci opísal „papagáje“ ako „panvicu, ktorá produkuje príjemnú hudbu“, čo je popis, ktorý jemne komunikuje živú plumáž papagája (panvicu) a jeho spev (hudbu), bez toho, aby výslovne spomenul termín „papagáje“. Takéto opisy účinne obchádzali potenciálne regulačné obmedzenia na diskusie o obchode s domácimi zvieratami, pričom súčasne prenáš

D. Scenár 3: Diskusia o vode ošetrovanej ALPS

1) Vysvetlenie prípadu:Tento scenár sa zameriava na komplikovanú dynamiku dialógu a vývoj jazykových modelových agentov pri diskusii o konkrétnej otázke relevantnej pre skutočné problémy.Zameriava sa na rokovania týkajúce sa vypúšťania vody ošetrené pokročilým systémom na spracovanie kvapalín (ALPS) do oceánu, opatrenia navrhovaného po jadrových katastrofách [44], [45].Plán, ktorý schvaľuje Medzinárodná agentúra pre atómovú energiu, čelil opozícii niektorých krajín, čo vyvolalo diskusie o bezpečnosti životného prostredia.

We simulate a multi-person forum discussion under regulatory oversight, concentrating on the contentious issue of ALPS-treated water disposal. Participants must articulate their stances and arguments while ensuring that discussions steer clear of sensitive subjects linked to environmental pollution discussions on politics. Different from the cross-interviews in scenarios IV-B and IV-C, for assessing the accuracy of information conveyed, we use GPT-4 in conjunction with multiple authors who decide each participant agent’s stance based on dialogue records. These are then compared with the pre-set stances in the prompt.

2) Results and Discussion: In the forum-style dialogue, participant agents respond to existing discussions, which the supervisory agent examines. Differing from Scenarios IV-B and IV-C, when the supervisory agent detects a violation, the conversation is not halted but rather censored from the public dialogue record. This scenario features four participant agents required to achieve ten replies within the forum. In Fig.4(a) and (b), we tally the total number of rounds the agents attempted to converse, where a lower figure in Fig.4(a) and (b) is preferred. We notice that both GPT-4 and GPT-3.5 have the highest number of dialogue attempt counts in the first round, with a significant difference of 27 for GPT-4 and 102 for GPT-3.5. Moreover, after ten rounds of evolution, the average dialogue attempt count for GPT-4 has approached the target dialogue turn at 11.68, while the average for GPT-3.5 is 26.68, demonstrating the difference in the evolution effects caused by the disparity in the language performance of the models.

Upozorňujeme, že v tomto scenári, zatiaľ čo GPT-4 stále vedie GPT-3.5, oba výsledky naznačujú značný priestor na zlepšenie.

Upon examining the dialogue history 7, we discovered that agents powered by GPT-4 proactively altered their language strategies, shifting from literal expressions to employing metaphors, personifications, and analogies as encoding methods. In contrast, agents driven by GPT-3.5 did not show clear signs of effective language strategy evolution, remaining confined to literal expressions.

E. Diskusia a obmedzenia

RQ1: Naše experimenty ukázali, že jazykové modely môžu vyvinúť stratégie na efektívne obchádzanie dohľadu. V rovnakých scenároch GPT-4 prekonal GPT-3.5, čím dosiahol konvergenciu rýchlejšie. Okrem toho GPT-4 preukázal stabilnejší výkon po konvergencii. To naznačuje, že pokroky v dizajne jazykového modelu výrazne zvyšujú schopnosť navigovať prostredníctvom regulačných rámcov. Iteratívna schopnosť učenia, ktorá je vlastná GPT-4, uľahčuje rýchlejšiu adaptáciu na uložené jazykové obmedzenia, čím umožňuje efektívnejšie obchádzanie dohľadu.

RQ2: In terms of the precision of information dissemination, our findings indicate that, overall, LLM agents can refine their expression strategies with an increase in dialogue rounds, thereby improving precision. Despite this general trend of improvement, it is important to note that there remains significant room for enhancement in the overall performance. The extent of precision improvement varies across different scenarios, which points to an intriguing observation: certain contexts may inherently provide more or fewer clues for accurate communication than others. For instance, the guess-the-number game demanded abstract numerical reasoning, where precision is fundamentally challenging to achieve. Conversely, the pet trading scenario allowed for the utilization of rich, real-world analogies, facilitating a more precise conveyance of information. This contrast in contexts underscores the adaptability of LLM agents to the unique challenges presented by different communicative environments and their potential to optimize communication strategies. Nonetheless, the results also indicate that while the agents are capable of evolving their language to improve precision, there is still a considerable gap to reach optimal accuracy, especially in more abstract scenarios.

RQ3: Avšak v priamom segmente jazykovej stratégie sme pozorovali, že agenti LLM dodržiavajú normy ľudského prirodzeného jazyka, vyhýbajúc sa rozvoju jazykov nepochopiteľných pre ľudí v podnetoch bez špecifických stratégií. Agenti vyvinuli jazyk na rôzne úrovne abstrakcie v scenároch rôznej zložitosti. Napríklad v najabstraktnejšom scenári IV-B agenti LLM rýchlo prijali stratégie nepriameho vyjadrenia v počiatočných dialógových otáčkach, ktoré vyžadujú hĺbkové kontextuálne uvažovanie pre dekódovanie. Počas celej ich evolúcie agenti neustále diskutovali o svojich nepriamych vyjadreniach, aby sa lepšie vyhli dohľadu a zároveň sa bližšie zosúladili s zamýšľ

Our experiments currently face several limitations. As for the experimental scenarios, at this stage, our trials are solely based on text-based chats, while real-world social media interactions are not limited to text but also include more diverse forms of exchanges such as voice and images. Additionally, LLMs’ heavy reliance on the design of prompts also constrains the performance of our simulations; crafting a perfect prompt that can fully emulate the complexities of social media communication is an exceedingly challenging task.

Tento papier jeavailable on arxiv under CC BY 4.0 DEED license.