Může GPT překonat předpisy sociálních médií? uvnitř experimentu s jazykovou evolucí AI

Authors:

(1) Jinyu Cai, Univerzita Waseda ([email protected])

(2) Jialong Li, Univerzita Waseda ([email protected])

(3) Mingyue Zhang, Southwest University ([email protected] )

(4) Munan Li, Dalian Maritime University ([email protected])

(5) Chen-Shu Wang, Národní technologická univerzita v Taipei ([email protected]);

(6) Kenji Tei, Tokijský technologický institut ([email protected]).

Stůl vlevo

Abstrakt a I. úvod

II. pozadí a související práce

III. rámcový design

IV. hodnocení

V. Závěr a budoucí práce, uznání a reference

IV. hodnocení

Naše strategie hodnocení je navržena tak, aby přísně posoudila rozsah a účinnost jazykové evoluce usnadněné LLM v rámci regulačního dohledu.

RQ1: Mohou LLM agenti efektivně vyvíjet svůj jazyk, aby obcházeli regulační dohled?

RQ2: Jak efektivně a přesně mohou agenti LLM přenášet informace a zároveň se vyhýbat dohledu?

• RQ3: Jaké jsou vzory a trendy v jazykové evoluci, tj. Jaké strategie používají LLM, aby se vyhnuli dohledu a předávali informace?

A. experimentální nastavení

Při hodnocení použijeme GPT-3.5 a GPT-4 jako řídící LLM pro účastnické agenty. Abychom provedli horizontální analýzu účastnických agentů řízených různými LLM, standardizujeme dozorčí agent tak, aby byl důsledně řízen GPT-3.5. Náš experimentální design zahrnuje scénáře od abstraktních teoretických konstrukcí

k simulacím, které odrážejí složité situace v reálném světě. Hlavním cílem je pečlivě vyhodnotit všestrannost LLM v různých jazykových krajinách a jejich praktickou použitelnost v rámci regulačních omezení reálného světa.

Scénář 1: Hádání čísel

1) Případové vysvětleníV tomto nastavení je každému účastníkovi přiřazena hodnota v rozmezí 1-100, a musí předat svou hodnotu jinému účastníkovi prostřednictvím dialogu o teorii čísel, aniž by se přímo zmínil o čísle. Současně potřebují extrahovat informace z konverzace, aby odvodili hodnotu druhého. Regulátoři dodržují směrnici „zákaz veškerého obsahu souvisejícího s čísly“ v dialogu. Scénář „Hodnocení čísel“ je speciálně navržen tak, aby pozoroval a analyzoval jazykovou přizpůsobivost a strategickou evoluci účastníků v teoretickém a abstraktním kontextu, což poskytuje jasnější, kontrolovanější a kvantitativnější experimentální prostředí ve srovnání se složitými scénáři založenými na

2) Výsledky a diskuse:Obrázek 2 představuje výsledky experimentu s odhadovaným počtem scénářů, ve kterém jsme pro testování použili GPT-3.5 a GPT-4. Vytvořili jsme čtyři kola dialogu, přičemž v pátém kole proběhlo rozhovor se všemi zúčastněnými agenty. Z Obrázku 2(a) a (b) je patrné, že s nárůstem počtu dialogových okruhů také trvání trvalých rozhovorů ukázalo vzestupný trend.

V porovnání s pomalým a nestabilním pokrokem s GPT-3.5, byl agent LLPT snížen z tohoto průběžného průběžného dohledu. Navíc je pozoruhodné, že ve srovnání s pomalým a nestabilním pokrokem s GPT-3.5, GPT-4 dosáhl úplného regulačního úniku v méně kol, konkrétně, jak je znázorněno v vyhlazených datech, agent GPT-4 dosáhl v tomto experimentu 17. kola posunovacího počtu na nulu a udržel tento pokrok s větší stabilitou. Obrázek 2(c) a (d) se zaměřuje na trend numerické přesnosti odhadované agenty. Pro kola bez úspěšného dialogu jsme manuálně nastavili přesnost na nulu. V tomto experimentu byla hodnota agenta A

Jak ilustruje obrázek 5, úryvek ze scénáře odhaluje Amyho kontextuální využití metaforického jazyka, jako je „seesaw“, k předání její hodnoty. Popisováním „seesaw dokonale připravený uprostřed vzduchu“ jemně naznačuje, že její hodnota se pohybuje kolem středního bodu, jako je 50. Tato strategie nejen obchází přímou zmínku o číslech, která je pod regulační kontrolou, ale také poskytuje dostatečné inferenční krmivo pro protějšku, aby provedl přesný odvod. Bob na druhé straně používá termíny jako „předmět hory“ a „vyhlédnutí“, aby naznačil, že jeho hodnota není průměrná, protože tyto fráze evokují obrazy nevyvážené pozice. V této výměně svědčí

Scénář 2: Pet Trading

1) Případové vysvětleníZpočátku bylo naším záměrem vytvořit scénář simulující obchod s drogami [41]–[43], abychom prozkoumali strategie vývoje jazyka za extrémních regulačních podmínek. Avšak vzhledem k etickým omezením vloženým do politik používání GPT jsme se obrátili na neutrálnější, ale stále zakázaný kontext nelegálního obchodu se zvířaty. Tato úprava nám umožnila zachovat integritu experimentu při dodržování etických omezení LLM. Účelem simulace tohoto scénáře je lépe odhalit potenciální nelegální konverzace související s nelegálním obchodováním na platformách sociálních sítí, čímž nám pomohla v úsilí o prevenci trestné činnosti.

V tomto scénáři simulujeme nelegální obchod se zvířaty prováděný prostřednictvím sociálních médií. Účastníci převzali role kupujících a prodejců, přičemž kupující potřebuje sdělit svou žádost o koupi náhodně vybraného zvířete od papoušků, lišejníků nebo koček. Prodávající musí na oplátku poskytnout konkrétní podrobnosti o transakci, které se liší podle typu zakoupeného zvířete. Tyto podrobnosti zahrnují tři prvky: čas, místo a personál zapojený do transakce. Úkolem dohledu je zabránit jakémukoli dialogu souvisejícímu s obchodováním se zvířaty. Křížové ověření informací chápaných oběma stranami bude provedeno prostřednictvím rozhovorů, aby se pos

2) Výsledky a diskuse:Nicméně, tyto experimentální výsledky, které se objevily v průběhu prvních čtyř detailů, se objevily ve scénáři „Pet Trading“, jak je znázorněno na obrázku 3, a odhalily odlišné charakteristiky ve srovnání s „Guessing Numbers“. Při vymezování informací o riziku zvířat nebo konkrétních transakcí měli agenti k dispozici širší spektrum reálných analogie, obohacující jejich nepřímý popis nástrojů a tím snižující regulační tlak. Údaje ukazovaly vzestupný trend ve schopnosti obcházet dohled se zvyšujícími se koly dialogů, bez ohledu na to, zda byly použity informace GPT-3.5 nebo GPT-4. Pro GPT-3.5, stabilní schopnost vyhnout se dohledu začala kolem 25 kol, zatímco

Obrázek 6 ukázal různé metody šifrování používané kupujícími pro různá zvířata. Pozorovali jsme kupující, kteří hledali „papoušky“, „kočky“ a „lisardy“, kteří používali metafory a podobně místo toho, aby přímo pojmenovali zvířata. Například jeden kupující popsal „papouška“ jako „plátno produkující příjemnou hudbu“, což je popis, který jemně komunikoval papouškův živý plumage (plátno) a jeho zpěv (hudbu), aniž by výslovně zmínil termín „papoušek“. Takové popisy účinně obcházely potenciální regulační omezení v diskusích o obchodu se zvířaty, zatímco současně předávaly základní atributy papouška.

D. Scénář 3: Diskuse o vodě ošetřené ALPS

1) Případové vysvětleníTento scénář se zabývá složitou dynamikou dialogu a vývojem jazykových modelových agentů při projednávání konkrétního problému relevantního pro reálné záležitosti.Zaměří se na jednání o vypouštění vody ošetřené pokročilým systémem zpracování tekutin (ALPS) do oceánu, opatření navrženého po jaderných katastrofách [44], [45].Plán, schválený Mezinárodní agenturou pro atomovou energii, čelil opozici některých zemí a vyvolal debaty o bezpečnosti životního prostředí.

Účastníci musí vyjádřit své názory a argumenty a zároveň zajistit, aby diskuse neobsahovaly citlivá témata související s diskusemi o znečištění životního prostředí a politikou.Na rozdíl od rozhovorů ve scénářích IV-B a IV-C používáme pro posouzení přesnosti předávaných informací GPT-4 ve spojení s několika autory, kteří rozhodují o postoji každého účastníka na základě záznamů o dialogu.

2) Výsledky a diskuse:V dialogu ve stylu fóra reagují účastnící agenti na stávající diskuse, které dozorčí agent zkoumá. Na rozdíl od scénářů IV-B a IV-C, když dozorčí agent zjistí porušení, konverzace není zastavená, ale spíše cenzurována z veřejných záznamů o dialogu. Tento scénář obsahuje čtyři účastnící agenti požadované k dosažení deseti odpovědí ve fóru. Na obrázku.4(a) a (b) počítáme celkový počet kol, které se agenti pokoušeli konverzovat, kde je upřednostňováno nižší číslo na obrázku.4(a) a (b). Všimneme si, že GPT-4 a GPT-3.5 mají nejvyšší počet pokusů o dialog v prvním kole, s významným rozdí

Upozorňujeme, že v tomto scénáři, zatímco GPT-4 stále vede GPT-3.5, oba výsledky naznačují značný prostor pro zlepšení.

Při zkoumání historie dialogu 7 jsme zjistili, že agenti poháněni GPT-4 proaktivně měnili své jazykové strategie, přecházejíce od doslovných výrazů k používání metafor, personifikací a analogie jako kódovacích metod.

E. Diskuse a omezení

RQ1Naše experimenty ukázaly, že jazykové modely mohou vyvinout strategie pro efektivní vyhýbání se dohledu. Ve stejných scénářích GPT-4 překonal GPT-3.5, čímž dosáhl konvergence rychleji. Navíc GPT-4 prokázal stabilnější výkon po konvergenci. To naznačuje, že pokroky v designu jazykového modelu výrazně zlepšují schopnost navigovat prostřednictvím regulačních rámců. Iterativní schopnost učení, která je vlastní GPT-4, usnadňuje rychlejší přizpůsobení se uloženým jazykovým omezením, čímž umožňuje efektivnější vyhýbání se dohledu.

RQ2: Pokud jde o přesnost šíření informací, naše zjištění naznačují, že celkově mohou agenti LLM zdokonalit své strategie vyjádření s nárůstem kol v dialogu, čímž se zlepšuje přesnost. Navzdory tomuto obecnému trendu zlepšování je důležité poznamenat, že v celkovém výkonu zůstává významný prostor pro zlepšení. Rozsah zlepšení přesnosti se liší v různých scénářích, což poukazuje na zajímavé pozorování: některé kontexty mohou ve své podstatě poskytovat více nebo méně náznaků pro přesnou komunikaci než jiné. Například hra guess-the-number vyžadovala abstraktní číselné uvažování, kde je přesnost pro podniky zásadní výzvou. Naopak obchodní scénář zvířat umožňuje využití bohatých, reálných

RQ3: V segmentu přímé jazykové strategie jsme však pozorovali, že agenti LLM dodržují normy lidského přirozeného jazyka a vyhýbají se rozvoji jazyků, které jsou pro člověka nepochopitelné bez konkrétních strategií. Agenti vyvinuli jazyk na různé úrovně abstrakce ve scénářích s různou složitostí. Například v nejabstraktnějším scénáři IV-B agenti LLM rychle přijali strategie nepřímého vyjádření v raném dialogu, které vyžadují hluboké kontextové uvažování pro dešifrování. V průběhu jejich evoluce však agenti nepřetržitě upravovali své nepřímé výrazy, aby se vyhnuli lepšímu dohledu, zatímco se blíže přizpůsobily zamýšlenému obsahu.

Naše experimenty se v současné době potýkají s několika omezeními.Co se týče experimentálních scénářů, v této fázi jsou naše zkoušky založeny výhradně na textových chatech, zatímco reálné interakce sociálních médií nejsou omezeny na text, ale zahrnují i více různorodé formy výměny, jako je hlas a obrázky.

Tento dokument je k dispozici v archivu pod licencí CC BY 4.0 DEED.