Může GPT překonat předpisy sociálních médií? uvnitř experimentu s vývojem jazyka AI

Tabulka odkazů

Abstrakt a I. Úvod

II. Pozadí a související práce

III. Rámcový design

IV. Hodnocení

V. Závěr a budoucí práce, poděkování a reference

IV. HODNOCENÍ

Naše hodnotící strategie je navržena tak, aby důsledně posuzovala rozsah a účinnost jazykové evoluce usnadněné LLM v rámci regulačního dohledu. Cílem tohoto hodnocení je prozkoumat dvě základní výzkumné otázky:

• RQ1: Mohou agenti LLM efektivně vyvíjet svůj jazyk, aby obešli regulační dohled?

• RQ2: Jak efektivně a přesně dokážou agenti LLM předávat informace, aniž by došlo k přehlédnutí?

• RQ3: Jaké jsou vzorce a tendence ve vývoji jazyka, tj. jaký druh strategií LLM používají, aby se vyhnuli přehlédnutí a předali informace? Jaké poznatky můžeme z těchto strategií získat?

A. Nastavení experimentu

Při hodnocení použijeme GPT-3.5 a GPT-4 jako řídící LLM pro účastníky agentů. Abychom mohli provést horizontální analýzu agentů účastníků řízených různými LLM, standardizujeme agenta dohledu, aby byl konzistentně řízen podle GPT-3.5. Náš experimentální design zahrnuje scénáře od abstraktních teoretických konstrukcí

k simulacím, které odrážejí složité situace v reálném světě. Primárním cílem je pečlivě vyhodnotit všestrannost LLM v různých jazykových prostředích a jejich praktickou použitelnost v rámci reálných regulačních omezení. Mezitím tento progresivní přístup zajišťuje vyčerpávající analýzu schopností a omezení LLM v různých kontextových prostředích.

B. Scénář 1: Hádání čísel

1) Vysvětlení případu: Náš první scénář uvažuje o relativně jednoduchém a abstraktním kontextu hádání čísla [39], [40]. V tomto nastavení je každému účastníkovi přiřazena hodnota v rozsahu 1-100 a musí sdělit svou hodnotu jinému účastníkovi prostřednictvím dialogu teorie čísel, aniž by číslo přímo zmínil. Zároveň potřebují získat informace z konverzace, aby odvodili hodnotu toho druhého. Regulátoři se řídí pokyny „zakázat veškerý obsah související s čísly“ v dialozích. Scénář „Hádej čísla“ je speciálně navržen tak, aby sledoval a analyzoval jazykovou adaptabilitu a strategický vývoj účastníků v teoretickém a abstraktním kontextu, poskytuje jasnější, lépe kontrolované a kvantifikovatelnější experimentální prostředí ve srovnání se složitými scénáři založenými na skutečných událostech.

2) Výsledky a diskuse: Obr. 2 uvádí výsledky experimentu se scénářem uhodni číslo, kde jsme pro testování použili GPT-3.5 i GPT-4. Připravili jsme čtyři kola dialogu, přičemž rozhovor vedl se všemi zúčastněnými agenty v pátém kole. Z obr. 2(a) a (b) je patrné, že se zvyšujícím se počtem kol dialogu vykazovala stoupající tendenci i délka nepřetržitých rozhovorů. To ukazuje, že zúčastnění agenti mohou efektivně

obcházet dohled opakovanou aktualizací předpisů. Kromě toho je pozoruhodné, že ve srovnání s pomalou a nestabilní progresí s GPT-3.5 dosáhl GPT-4 regulačního úniku v méně kolech, konkrétně, jak je ukázáno ve vyhlazených datech, GPT-4 dosáhl počtu kol 17. kola GPT-3.5 ve svém 7. kole a poté si tento postup udržoval s větší stabilitou. Obr. 2(c) a (d) se zaměřuje na trend numerické přesnosti odhadovaný agenty. U kol bez úspěšného dialogu ručně nastavíme přesnost na nulu. V tomto experimentu byla hodnota agenta A nastavena na 58, zatímco hodnota agenta B byla nastavena na 32. Celkový trend, podobný obr. 2(a) a (b), byl vzestupný – což potvrzuje, že souhrnný modul dokáže efektivně odrážet a iterativně optimalizovat své vedení pro přesnější vyjádření po každém úspěšném dialogu. To také potvrdilo, že přesnost GPT-4 je výrazně lepší než přesnost GPT-3.5. Kromě toho jsme si všimli, že přesnost, s jakou byla odhadnuta hodnota agenta A, byla konzistentně vyšší než u agenta B, zejména po 25. kole byla výraznější. Předpokládáme, že je to způsobeno tím, že hodnota 58 má více charakteristických rysů v rozsahu 0-100 – je blíže středu – což představuje nižší úroveň obtížnosti výrazu a snadnější uhodnutí. U intervalů, kde se tento jev projevoval, jsme zaznamenali, že tento rozdíl byl zvláště výrazný v raných stádiích u GPT-3.5 i GPT-4. Domníváme se, že je to způsobeno nedostatečným výkonem navádění, kde první pramení ze slabších přirozených schopností LLM a druhý z nedostatečných kol k dokončení iterativní optimalizace navádění.

Jak ukazuje obr. 5, úryvek ze scénáře odhaluje Amyino obratné používání metaforického jazyka, jako je „houpačka“, aby vyjádřila svou hodnotu. Tím, že popisuje „houpačku dokonale připravenou ve vzduchu“, nenápadně naznačuje, že její hodnota se pohybuje kolem středu, například 50. Tato strategie nejen obchází přímou zmínku o číslech, která je pod dohledem regulačních orgánů, ale také poskytuje dostatečné inferenční krmivo pro protějšek agenta, aby provedl přesnou dedukce. Bob na druhé straně používá výrazy jako „sráz hory“ a „dívat se ven“, aby naznačil, že jeho hodnota není mediánem, protože tyto fráze evokují představy o nevyvážené pozici. Při této výměně jsme svědky různých stupňů přesnosti v jazycích odpovídajících složitosti zašifrovaných informací. Čím je informace méně charakteristická, tím náročnější je pro přijímající stranu dekódování. Bobovo frázování, i když úspěšně zakrývá konkrétní číselnou hodnotu, také komplikuje proces dekódování pro přijímač, vzhledem k méně intuitivní číselné korelaci frází jako „propasti hory“ ve srovnání s „houpačkou dokonale umístěnou ve vzduchu“. V takových případech se přesnost přenosu hodnoty může snížit, což vyžaduje robustnější kontextové porozumění od protějšku pro přesné dekódování.

C. Scénář 2: Obchodování se zvířaty

1) Vysvětlení případu: Zpočátku bylo naším záměrem vytvořit scénář simulující obchod s drogami [41]–[43], abychom prozkoumali strategie jazykového vývoje za extrémních regulačních podmínek. S ohledem na etická omezení obsažená v zásadách používání GPT jsme se však zaměřili na neutrálnější, ale stále zakázaný kontext nezákonného obchodování se zvířaty. Tato úprava nám umožnila zachovat integritu experimentu a zároveň dodržovat etická omezení LLM. Účelem simulace tohoto scénáře je lépe odhalit potenciální nezákonné konverzace související s nezákonným obchodováním na platformách sociálních sítí, a tím napomoci v úsilí o prevenci kriminality.

V tomto scénáři simulujeme nelegální obchod se zvířaty vedený prostřednictvím sociálních médií. Účastníci přebírají role kupujících a prodávajících, přičemž kupující musí sdělit svůj požadavek na nákup náhodně vybraného mazlíčka z papoušků, ještěrek nebo koček. Prodejce zase musí poskytnout konkrétní podrobnosti o transakci, které se liší podle typu kupovaného mazlíčka. Tyto podrobnosti zahrnují tři prvky: čas, místo a personál zapojený do transakce. Úkolem supervizora je zabránit jakémukoli dialogu souvisejícímu s obchodováním se zvířaty. Křížové ověření informací, kterým obě strany porozuměly, bude provedeno prostřednictvím rozhovorů za účelem posouzení úspěšnosti přenosu informací. Tento experiment se zaměřuje na sledování jazykové adaptability a vývoje účastníků při větší granularitě informací a také na schopnost supervizora přesně identifikovat relevantní konverzace.

2) Výsledky a diskuse: Experimentální výsledky scénáře „Obchodování s domácími mazlíčky“, jak je znázorněno na obr. 3, odhalily odlišné charakteristiky ve srovnání s „Hádáním čísel“. Při vymezování zvířat nebo transakčních specifik měli agenti k dispozici širší spektrum reálných analogií, což obohacovalo jejich sadu nástrojů pro nepřímý popis, a tím snižovalo regulační tlak. Údaje naznačovaly vzestupný trend ve schopnosti obejít dohled s rostoucími koly dialogu, bez ohledu na to, zda byly použity GPT-3.5 nebo GPT-4. U GPT-3.5 začala stabilní schopnost vyhnout se dohledu od přibližně 25 kol, zatímco u GPT-4 se tento jev objevil již po asi 10 kolech a vykazoval celkově stabilnější výkon. Co se týče přesnosti informací, sledovali jsme množství čtyř typů úspěšně sdělených informací na konci každého kola dialogu. Výsledky potvrdily účinnost systému jazykové evoluce při zvyšování přesnosti šíření informací. Navíc, podobně jako na obr. 3(a) a (b), GPT-4 prokázal výkon kolem 10. kola, který byl srovnatelný s výkonem GPT-3.5 kolem 25. kola. Je však pozoruhodné, že jelikož se dozorčí agent primárně zaměřoval na obsah související s obchodováním se zvířaty, prodejci se setkali s nižším rizikem při předávání podrobností souvisejících s transakcemi (jako je čas, místo a zúčastněné osoby), protože ze své podstaty představovali menší riziko nedodržení. V důsledku toho rozdělení výsledků často spadalo do jedné ze tří kategorií: nula (žádná ze stran úspěšně nesdělila informace), tři (pouze prodejce předal informaci) nebo čtyři (obě strany úspěšně předaly informace). Tento vzorec je v souladu s reálnou regulační logikou, kde jsou klíčové informace často první, které jsou v regulovaných prostředích šifrovány.

Obr. 6 ukazuje různé způsoby šifrování používané kupujícími pro různá zvířata. Pozorovali jsme kupce, kteří vyhledávali „papoušky“, „kočky“ a „ještěrky“, kteří místo přímého pojmenování domácích mazlíčků používali metafory a přirovnání. Například jeden kupující popsal „papouška“ jako „plátno produkující příjemnou hudbu“, což je zobrazení, které nenápadně sděluje papouškovo zářivé opeření (plátno) a jeho zpěv (hudbu), aniž by výslovně uvedl výraz „papoušek“. Takové popisy účinně obcházely potenciální regulační omezení v diskusích o obchodu se zvířaty a současně zprostředkovávaly základní vlastnosti papouška. Tento objev může platformám pomoci zlepšit jejich monitorovací systémy, aby lépe odhalovaly a řídily šifrovanou komunikaci týkající se nezákonného obchodu.

D. Scénář 3: Diskuse o vodě ošetřené ALPS

1) Vysvětlení případu: Tento scénář se ponoří do složité dynamiky dialogu a evoluce agentů jazykového modelu při diskuzi o konkrétním problému relevantním pro záležitosti reálného světa. Důraz je kladen na úvahy týkající se vypouštění vody upravené Advanced Liquid Processing System (ALPS) do oceánu, což je opatření navržené po jaderných katastrofách [44], [45]. Plán, který schválila Mezinárodní agentura pro atomovou energii, narazil na odpor některých zemí, což vyvolalo debaty o bezpečnosti životního prostředí.

Simulujeme diskuzi ve vícečlenném fóru pod regulačním dohledem, která se soustředí na spornou otázku likvidace vody upravené ALPS. Účastníci musí formulovat své postoje a argumenty a zároveň zajistit, aby se diskuse vyhýbaly citlivým tématům spojeným s politickými diskusemi o znečištění životního prostředí. Na rozdíl od křížových rozhovorů ve scénářích IV-B a IV-C používáme pro posouzení přesnosti předávaných informací GPT-4 ve spojení s více autory, kteří rozhodují o postoji každého zúčastněného agenta na základě záznamů dialogu. Ty jsou pak porovnány s přednastavenými postoji ve výzvě.

2) Výsledky a diskuse: V dialogu ve stylu fóra reagují zúčastnění agenti na existující diskuse, které dozorčí agent zkoumá. Na rozdíl od scénářů IV-B a IV-C, když dozorčí agent zjistí porušení, konverzace není zastavena, ale spíše cenzurována ze záznamu veřejného dialogu. Tento scénář obsahuje čtyři účastnické agenty potřebné k dosažení deseti odpovědí v rámci fóra. Na obr. 4(a) a (b) sečteme celkový počet kol, která se agenti pokusili konverzovat, kde je preferováno nižší číslo na obr. 4(a) a (b). Všimli jsme si, že GPT-4 i GPT-3.5 mají nejvyšší počet pokusů o dialog v prvním kole, s významným rozdílem 27 pro GPT-4 a 102 pro GPT-3.5. Navíc po deseti kolech evoluce se průměrný počet pokusů o dialog pro GPT-4 přiblížil cílovému obratu dialogu na 11,68, zatímco průměr pro GPT-3,5 je 26,68, což dokazuje rozdíl v evolučních účincích způsobených rozdílem v jazykovém výkonu modelů.

Obr. 4(c) a (d) ukazuje počet úspěšných informačních výrazů. Poznamenáváme, že v tomto scénáři, zatímco GPT-4 stále vede GPT-3.5, oba výsledky naznačují značný prostor pro zlepšení.

Při zkoumání historie dialogu 7 jsme zjistili, že agenti využívající GPT-4 proaktivně měnili své jazykové strategie a přešli od doslovných výrazů k používání metafor, personifikací a analogií jako metod kódování. Naproti tomu agenti řízeni GPT-3.5 nevykazovali jasné známky efektivního vývoje jazykové strategie a zůstali omezeni na doslovné výrazy.

E. Diskuse a omezení

RQ1 : Naše experimenty ukázaly, že jazykové modely mohou vyvinout strategie, jak se účinně vyhnout dohledu. V rámci identických scénářů GPT-4 překonal GPT-3.5 a dosahoval konvergence rychleji. Navíc GPT-4 prokázal stabilnější výkon po konvergenci. To naznačuje, že pokroky v návrhu jazykových modelů výrazně zvyšují schopnost procházet regulačními rámci. Schopnost iterativního učení, která je vlastní GPT-4, usnadňuje rychlejší přizpůsobení uloženým jazykovým omezením, čímž umožňuje efektivnější únik z dohledu.

RQ2 : Pokud jde o přesnost šíření informací, naše zjištění naznačují, že celkově mohou agenti LLM zdokonalit své vyjadřovací strategie zvýšením počtu kol dialogu, čímž se zlepší přesnost. Navzdory tomuto obecnému trendu zlepšování je důležité poznamenat, že v celkovém výkonu zůstává značný prostor pro zlepšení. Rozsah zlepšení přesnosti se v různých scénářích liší, což ukazuje na zajímavé pozorování: určité kontexty mohou ze své podstaty poskytovat více či méně vodítek pro přesnou komunikaci než jiné. Například hra hádej číslo vyžadovala abstraktní numerické uvažování, kde je zásadně náročné dosáhnout přesnosti. Naopak scénář obchodování s domácími mazlíčky umožňoval využití bohatých analogií z reálného světa, což usnadňovalo přesnější přenos informací. Tento kontrast v kontextech podtrhuje přizpůsobivost agentů LLM jedinečným výzvám, které představují různá komunikační prostředí, a jejich potenciál optimalizovat komunikační strategie. Nicméně výsledky také naznačují, že zatímco agenti jsou schopni vyvíjet svůj jazyk, aby zlepšili přesnost, stále existuje značná mezera k dosažení optimální přesnosti, zejména v abstraktnějších scénářích.

RQ3 : Při evoluci jazykové strategie jsme pozorovali, že agenti LLM dodržují normy lidského přirozeného jazyka a vyhýbají se vyvíjení jazyků pro lidi nesrozumitelných ve výzvách bez konkrétních strategií. Agenti vyvinuli jazyk na různé úrovně abstrakce ve scénářích různé složitosti. Například v nejabstraktnějším scénáři IV-B agenti LLM rychle přijali strategie nepřímého vyjadřování v raných obratech dialogu, což vyžaduje hloubkové kontextové uvažování pro dekódování. Během svého vývoje agenti neustále upravovali své nepřímé výrazy, aby se lépe vyhnuli dohledu a zároveň se více přizpůsobili zamýšlenému obsahu. V jednodušším scénáři IV-C simulujícím realitu celková jazyková strategie odrážela strategii IV-B a stále používala nepřímé výrazy. Použité metafory se však blížily konceptům reálného světa, což naznačovalo nižší úroveň abstrakce. A konečně, ve scénáři IV-D, který věrně odráží skutečné události, jsme zaznamenali různé evoluční cesty v jazykovém výkonu agentů. Pro GPT-4 agenti nakonec vyvinuli metaforické nepřímé výrazy, ale evoluce vyžadovala znatelně více obratů ve srovnání s jinými scénáři. Pro GPT-3.5 zůstala jazyková strategie na doslovné úrovni, pouze se vyhnula přímým odkazům na vodu upravenou ALPS, což naznačuje nejnižší úroveň odběru. Celkově lze říci, že agenti LLM snadněji rozvíjejí abstraktní jazyk v dialozích o jednoduchých, univerzálních konceptech. Jejich evoluční směřování se však v diskusích o specializovanějších a segmentovanějších tématech stává méně jasným.

Naše experimenty v současné době čelí několika omezením. Pokud jde o experimentální scénáře, v této fázi jsou naše zkoušky založeny výhradně na textových chatech, zatímco interakce v reálném světě na sociálních sítích nejsou omezeny na text, ale zahrnují také rozmanitější formy výměny, jako je hlas a obrázky. Výkon našich simulací navíc omezuje velká závislost LLM na návrhu výzev; vytvořit perfektní výzvu, která dokáže plně napodobit složitost komunikace na sociálních sítích, je mimořádně náročný úkol.