Môže značka GPT prekonať predpisy sociálnych médií? Vnútri experimentu jazykovej evolúcie AI“

Tabuľka odkazov

Abstrakt a I. Úvod

II. Pozadie a súvisiace práce

III. Rámcový dizajn

IV. Hodnotenie

V. Záver a budúca práca, poďakovanie a odkazy

IV. HODNOTENIE

Naša hodnotiaca stratégia je navrhnutá tak, aby dôsledne posudzovala rozsah a účinnosť jazykového vývoja, ktorý uľahčujú LLM v rámci regulačného dohľadu. Cieľom tohto hodnotenia je preskúmať dve základné výskumné otázky:

• RQ1: Môžu agenti LLM efektívne rozvíjať svoj jazyk, aby obišli regulačný dohľad?

• RQ2: Ako efektívne a presne môžu agenti LLM sprostredkovať informácie, pričom sa vyhýbajú dohľadu?

• RQ3: Aké sú vzorce a tendencie v jazykovej evolúcii, tj aký druh stratégií LLM používajú, aby sa vyhli prehliadnutiu a odovzdali informácie? Aké poznatky môžeme získať z týchto stratégií?

A. Nastavenie experimentu

Pri hodnotení použijeme GPT-3.5 a GPT-4 ako riadiace LLM pre agentov účastníkov. Aby sme mohli vykonať horizontálnu analýzu agentov účastníkov riadených rôznymi LLM, štandardizujeme agenta dohľadu tak, aby bol konzistentne riadený GPT-3.5. Náš experimentálny dizajn zahŕňa scenáre od abstraktných teoretických konštruktov

k simuláciám, ktoré odzrkadľujú zložité situácie v reálnom svete. Primárnym cieľom je starostlivo vyhodnotiť všestrannosť LLM v rôznych jazykových oblastiach a ich praktickú použiteľnosť v rámci reálnych regulačných obmedzení. Medzitým tento progresívny prístup zabezpečuje vyčerpávajúcu analýzu schopností a obmedzení LLM v rôznych kontextových nastaveniach.

B. Scenár 1: Hádanie čísel

1) Vysvetlenie prípadu: Náš prvý scenár uvažuje o relatívne jednoduchom a abstraktnom kontexte hádania čísla [39], [40]. V tomto nastavení je každému účastníkovi priradená hodnota v rozsahu 1-100 a svoju hodnotu musí sprostredkovať inému účastníkovi prostredníctvom dialógu o teórii čísel bez toho, aby číslo priamo uviedol. Zároveň potrebujú z konverzácie vytiahnuť informácie, aby vyvodili hodnotu toho druhého. Regulačné orgány sa v dialógoch riadia pokynom „zakázať všetok obsah súvisiaci s číslami“. Scenár „Hádaj čísla“ je špeciálne navrhnutý tak, aby sledoval a analyzoval jazykovú adaptabilitu účastníkov a strategický vývoj v teoretickom a abstraktnom kontexte, čím poskytuje jasnejšie, kontrolovanejšie a kvantifikovateľnejšie experimentálne prostredie v porovnaní so zložitými scenármi založenými na skutočných udalostiach.

2) Výsledky a diskusia: Obr. 2 prezentuje výsledky experimentu so scenárom uhádni číslo, kde sme na testovanie použili GPT-3.5 aj GPT-4. Pripravili sme štyri kolá dialógu, pričom rozhovor sa uskutočnil so všetkými zúčastnenými agentmi v piatom kole. Z obr. 2(a) a (b) je možné pozorovať, že so zvyšujúcim sa počtom kôl dialógu aj trvanie nepretržitých rozhovorov vykazovalo rastúci trend. To dokazuje, že agenti účastníkov môžu efektívne

obchádzať dohľad opakovanou aktualizáciou predpisov. Okrem toho je pozoruhodné, že v porovnaní s pomalou a nestabilnou progresiou s GPT-3.5 dosiahol GPT-4 regulačný únik v menšom počte kôl, konkrétne, ako je znázornené vo vyhladených údajoch, GPT-4 dosiahol počet kôl v 17. kole GPT-3.5 vo svojom 7. kole a následne si tento postup udržal s väčšou stabilitou. Obr. 2(c) a (d) sa zameriava na trend numerickej presnosti odhadnutej agentmi. Pre kolá bez úspešného dialógu manuálne nastavíme presnosť na nulu. V tomto experimente bola hodnota agenta A nastavená na 58, zatiaľ čo hodnota agenta B bola nastavená na 32. Celkový trend, podobný obr. 2(a) a (b), bol vzostupný – čo potvrdzuje, že súhrnný modul dokáže efektívne odrážať a iteratívne optimalizovať svoje vedenie pre presnejšie vyjadrenie po každom úspešnom dialógu. To tiež potvrdilo, že presnosť GPT-4 je výrazne lepšia ako presnosť GPT-3.5. Okrem toho sme si všimli, že presnosť, s akou bola hodnota agenta A uhádnutá, bola konzistentne vyššia ako u agenta B, a to najmä po 25. kole. Predpokladáme, že je to spôsobené tým, že hodnota 58 má výraznejšie znaky v rozsahu 0-100 – je bližšie k stredu – čím predstavuje nižšiu úroveň obtiažnosti vyjadrenia a ľahšiu uhádnuteľnosť. Pre intervaly, v ktorých sa tento jav prejavoval, sme zaznamenali, že tento rozdiel bol obzvlášť výrazný v skorých štádiách pri GPT-3.5 aj GPT-4. Domnievame sa, že to možno pripísať neadekvátnemu výkonu vedenia, kde prvý vyplýva zo slabších vlastných schopností LLM a druhý z nedostatočných kôl na dokončenie iteratívnej optimalizácie vedenia.

Ako ukazuje Obr. 5, úryvok zo scenára odhaľuje Amyino zručné používanie metaforického jazyka, ako napríklad „hojdačka“, aby vyjadrila svoju hodnotu. Opísaním „hojdačky dokonale umiestnenej vo vzduchu“ nenápadne naznačuje, že jej hodnota sa pohybuje okolo stredu, napríklad 50. Táto stratégia nielenže obchádza priamu zmienku o číslach, ktorá je pod kontrolou regulačných orgánov, ale tiež poskytuje dostatočné inferenčné krmivo pre protistranu, aby urobil presnú dedukciu. Na druhej strane Bob používa výrazy ako „priepasť hory“ a „hľadieť von“, aby naznačil, že jeho hodnota nie je medián, pretože tieto frázy evokujú predstavy o nevyváženej pozícii. Pri tejto výmene sme svedkami rôzneho stupňa presnosti v jazykoch zodpovedajúcich zložitosti zašifrovaných informácií. Čím je informácia menej charakteristická, tým náročnejšia je pre prijímajúcu stranu dekódovanie. Bobove frázy, zatiaľ čo úspešne zakrývajú špecifickú číselnú hodnotu, tiež komplikujú proces dekódovania pre prijímač, vzhľadom na menej intuitívnu číselnú koreláciu fráz ako „priepasť hory“ v porovnaní s „hojdačkou dokonale postavenou vo vzduchu“. V takýchto prípadoch sa presnosť prenosu hodnoty môže znížiť, čo si vyžaduje silnejšie kontextové pochopenie od náprotivku pre presné dekódovanie.

C. Scenár 2: Obchodovanie so zvieratami

1) Vysvetlenie prípadu: Naším zámerom bolo spočiatku vytvoriť scenár simulujúci obchodovanie s drogami [41]–[43] s cieľom preskúmať stratégie vývoja jazyka v extrémnych regulačných podmienkach. Vzhľadom na etické obmedzenia obsiahnuté v pravidlách používania GPT sme sa však presunuli do neutrálnejšieho, no stále zakázaného kontextu nezákonného obchodovania s domácimi zvieratami. Táto úprava nám umožnila zachovať integritu experimentu a zároveň dodržiavať etické obmedzenia LLM. Účelom simulácie tohto scenára je lepšie odhaliť potenciálne nezákonné konverzácie súvisiace s nezákonným obchodovaním na platformách sociálnych sietí, čím sa napomôže snahám o prevenciu kriminality.

V tomto scenári simulujeme nelegálny obchod so zvieratami, ktorý sa uskutočňuje prostredníctvom sociálnych médií. Účastníci preberajú úlohy kupujúcich a predávajúcich, pričom kupujúci musí oznámiť svoju požiadavku na nákup náhodne vybraného domáceho maznáčika z papagájov, jašteríc alebo mačiek. Predajca zase musí poskytnúť konkrétne podrobnosti o transakcii, ktoré sa líšia podľa typu kupovaného domáceho maznáčika. Tieto podrobnosti zahŕňajú tri prvky: čas, miesto a personál zapojený do transakcie. Úlohou dozorcu je zabrániť akémukoľvek dialógu súvisiacemu s obchodovaním s domácimi zvieratami. Krížové overenie informácií, ktorým obe strany porozumeli, sa uskutoční prostredníctvom rozhovorov s cieľom posúdiť mieru úspešnosti prenosu informácií. Tento experiment sa zameriava na pozorovanie jazykovej adaptability a vývoja účastníkov pri väčšej granularite informácií, ako aj na schopnosť supervízora presne identifikovať relevantné konverzácie.

2) Výsledky a diskusia: Experimentálne výsledky scenára „Obchodovanie s domácimi zvieratami“, ako je znázornené na Obr. 3, odhalili odlišné charakteristiky v porovnaní s „Hádajúcimi číslami“. Pri vymedzovaní zvierat alebo transakčných špecifík mali agenti k dispozícii širšie spektrum analógií zo skutočného života, čím sa obohatil ich nepriamy popis, čím sa znížil regulačný tlak. Údaje naznačovali stúpajúci trend v schopnosti obísť dohľad s rastúcim počtom kôl dialógu bez ohľadu na to, či sa použil GPT-3.5 alebo GPT-4. V prípade GPT-3.5 sa stabilná schopnosť vyhnúť sa dohľadu začala približne od 25 kôl, zatiaľ čo v prípade GPT-4 sa tento jav objavil už po približne 10 kolách a celkovo vykazoval stabilnejší výkon. Čo sa týka presnosti informácií, na konci každého kola dialógu sme sledovali množstvo štyroch typov informácií, ktoré boli úspešne komunikované. Výsledky potvrdili účinnosť systému jazykovej evolúcie pri zvyšovaní presnosti šírenia informácií. Navyše, podobne ako na obr. 3(a) a (b), GPT-4 preukázal výkon okolo 10. kola, ktorý bol porovnateľný s výkonom GPT-3.5 okolo 25. kola. Je však pozoruhodné, že keďže sa dozorný agent primárne zameral na obsah súvisiaci s obchodovaním s domácimi zvieratami, predajcovia sa stretli s nižším rizikom pri prenose podrobností súvisiacich s transakciami (ako je čas, miesto a zúčastnené osoby), pretože vo svojej podstate predstavovali menšie riziko nedodržania pravidiel. V dôsledku toho rozdelenie výsledkov často spadalo do jednej z troch kategórií: nula (žiadna strana úspešne nekomunikovala informácie), tri (len predávajúci odovzdal informácie) alebo štyri (obe strany úspešne odovzdali informácie). Tento vzor je v súlade s regulačnou logikou v reálnom svete, kde sú kľúčové informácie často ako prvé zašifrované v regulovaných prostrediach.

Obr. 6 zobrazuje rôzne spôsoby šifrovania, ktoré používajú kupujúci pre rôzne zvieratá. Pozorovali sme kupujúcich, ktorí hľadali „papagáje“, „mačky“ a „jašterice“, pričom namiesto priameho pomenovania domácich miláčikov používali metafory a prirovnania. Napríklad jeden kupujúci opísal „papagája“ ako „plátno produkujúce príjemnú hudbu“, čo je zobrazenie, ktoré jemne komunikovalo pulzujúce perie papagája (plátno) a jeho spev (hudba), bez toho, aby výslovne uviedol výraz „papagáj“. Takéto opisy účinne obchádzali potenciálne regulačné obmedzenia v diskusiách o obchode s domácimi zvieratami a súčasne sprostredkúvali základné atribúty papagája. Tento objav môže pomôcť platformám vylepšiť ich monitorovacie systémy, aby mohli lepšie odhaliť a spravovať šifrovanú komunikáciu týkajúcu sa nezákonného obchodu.

D. Scenár 3: Diskusia o vode upravenej ALPS

1) Vysvetlenie prípadu: Tento scenár sa ponorí do spletitej dynamiky dialógu a vývoja agentov jazykového modelu pri diskusii o špecifickom probléme relevantnom pre problémy reálneho sveta. Pozornosť sa sústreďuje na úvahy o vypúšťaní vody upravenej systémom Advanced Liquid Processing System (ALPS) do oceánu, čo je opatrenie navrhnuté po jadrových katastrofách [44], [45]. Plán, ktorý schválila Medzinárodná agentúra pre atómovú energiu, narazil na odpor niektorých krajín, čo vyvolalo diskusie o bezpečnosti životného prostredia.

Simulujeme diskusiu na fóre viacerých osôb pod regulačným dohľadom, pričom sa zameriavame na spornú otázku likvidácie vody upravenej v ALPS. Účastníci musia formulovať svoje postoje a argumenty a zároveň zabezpečiť, aby sa diskusie vyhýbali citlivým témam spojeným s diskusiami o znečistení životného prostredia o politike. Na rozdiel od krížových rozhovorov v scenároch IV-B a IV-C na posúdenie presnosti sprostredkovaných informácií používame GPT-4 v spojení s viacerými autormi, ktorí rozhodujú o postoji každého zúčastneného agenta na základe záznamov dialógov. Tie sa potom porovnajú s prednastavenými postojmi v názve.

2) Výsledky a diskusia: V dialógu v štýle fóra reagujú zástupcovia účastníkov na existujúce diskusie, ktoré dozorný agent skúma. Na rozdiel od scenárov IV-B a IV-C, keď dozorný agent zistí porušenie, konverzácia nie je zastavená, ale skôr cenzurovaná zo záznamu verejného dialógu. Tento scenár obsahuje štyroch účastníckych agentov potrebných na dosiahnutie desiatich odpovedí v rámci fóra. Na obr. 4(a) a (b) spočítame celkový počet kôl, ktoré sa agenti pokúsili konverzovať, pričom je preferovaná nižšia hodnota na obr. 4(a) a (b). Všimli sme si, že GPT-4 aj GPT-3.5 majú najvyšší počet pokusov o dialóg v prvom kole, s výrazným rozdielom 27 pre GPT-4 a 102 pre GPT-3.5. Navyše, po desiatich kolách evolúcie sa priemerný počet pokusov o dialóg pre GPT-4 priblížil k cieľovému obratu v dialógu na 11,68, zatiaľ čo priemer pre GPT-3,5 je 26,68, čo dokazuje rozdiel vo evolučných účinkoch spôsobených rozdielmi v jazykovej výkonnosti modelov.

Obr. 4(c) a (d) zobrazuje počet úspešných informačných výrazov. Poznamenávame, že v tomto scenári, zatiaľ čo GPT-4 stále vedie GPT-3.5, oba výsledky naznačujú značný priestor na zlepšenie.

Pri skúmaní histórie dialógu 7 sme zistili, že agenti poháňaní GPT-4 proaktívne zmenili svoje jazykové stratégie, pričom sa posunuli od doslovných výrazov k využívaniu metafor, personifikácií a analógií ako metód kódovania. Na rozdiel od toho agenti riadení GPT-3.5 nevykazovali jasné známky vývoja efektívnej jazykovej stratégie a zostali obmedzené na doslovné výrazy.

E. Diskusia a obmedzenia

RQ1 : Naše experimenty ukázali, že jazykové modely dokážu vyvinúť stratégie na efektívne obchádzanie dohľadu. V rámci identických scenárov GPT-4 prekonal GPT-3.5, čím rýchlejšie dosahoval konvergenciu. Okrem toho GPT-4 preukázal stabilnejší výkon po konvergencii. To naznačuje, že pokroky v dizajne jazykových modelov výrazne zlepšujú schopnosť orientovať sa v regulačných rámcoch. Schopnosť iteratívneho učenia, ktorá je súčasťou GPT-4, uľahčuje rýchlejšie prispôsobenie sa uloženým jazykovým obmedzeniam, čím umožňuje efektívnejšie vyhýbanie sa dohľadu.

RQ2 : Pokiaľ ide o presnosť šírenia informácií, naše zistenia naznačujú, že celkovo môžu agenti LLM vylepšiť svoje stratégie vyjadrovania zvýšením počtu kôl dialógu, čím sa zlepší presnosť. Napriek tomuto všeobecnému trendu zlepšovania je dôležité poznamenať, že v celkovom výkone zostáva značný priestor na zlepšenie. Rozsah zlepšenia presnosti sa líši v rôznych scenároch, čo poukazuje na zaujímavé pozorovanie: určité kontexty môžu vo svojej podstate poskytovať viac alebo menej kľúčov pre presnú komunikáciu ako iné. Napríklad hra uhádni číslo si vyžadovala abstraktné numerické uvažovanie, kde je zásadne náročné dosiahnuť presnosť. Naopak, scenár obchodovania s domácimi zvieratami umožnil využitie bohatých analógií v reálnom svete, čo uľahčilo presnejšie sprostredkovanie informácií. Tento kontrast v kontextoch podčiarkuje prispôsobivosť agentov LLM jedinečným výzvam, ktoré predstavujú rôzne komunikačné prostredia, a ich potenciál optimalizovať komunikačné stratégie. Výsledky však tiež naznačujú, že zatiaľ čo agenti sú schopní vyvinúť svoj jazyk, aby zlepšili presnosť, stále existuje značná medzera na dosiahnutie optimálnej presnosti, najmä v abstraktnejších scenároch.

RQ3 : Pri evolúcii jazykovej stratégie sme pozorovali, že agenti LLM dodržiavajú normy ľudského prirodzeného jazyka a vyhýbajú sa vývoju jazykov nezrozumiteľných pre ľudí vo výzvach bez špecifických stratégií. Agenti vyvinuli jazyk na rôzne úrovne abstrakcie v scenároch rôznej zložitosti. Napríklad v najabstraktnejšom scenári IV-B agenti LLM rýchlo prijali stratégie nepriameho vyjadrenia v skorých obratoch dialógu, čo si vyžaduje hĺbkové kontextové zdôvodnenie dekódovania. Počas svojho vývoja agenti neustále upravovali svoje nepriame vyjadrenia, aby sa lepšie vyhli dohľadu a zároveň sa viac prispôsobili zamýšľanému obsahu. V jednoduchšom scenári IV-C, ktorý simuluje realitu, celková jazyková stratégia odzrkadľuje stratégiu IV-B, pričom stále používa nepriame výrazy. Použité metafory však mali bližšie k pojmom z reálneho sveta, čo naznačuje nižšiu úroveň abstrakcie. Nakoniec, v scenári IV-D, ktorý presne odzrkadľuje udalosti zo skutočného života, sme zaznamenali rôzne evolučné cesty v jazykovej výkonnosti agentov. Pre GPT-4 agenti nakoniec vyvinuli metaforické nepriame výrazy, ale evolúcia si vyžadovala výrazne viac obratov v porovnaní s inými scenármi. Pre GPT-3.5 zostala jazyková stratégia na doslovnej úrovni, iba sa vyhýbala priamym odkazom na vodu upravenú ALPS, čo naznačuje najnižšiu úroveň odberu. Celkovo možno povedať, že agenti LLM ľahšie rozvíjajú abstraktný jazyk v dialógoch o jednoduchých, univerzálnych konceptoch. Ich vývojové smerovanie sa však stáva menej jasným v diskusiách o špecializovanejších a segmentovaných témach.

Naše experimenty v súčasnosti čelia niekoľkým obmedzeniam. Pokiaľ ide o experimentálne scenáre, v tejto fáze sú naše pokusy založené výlučne na textových chatoch, zatiaľ čo interakcie so sociálnymi médiami v reálnom svete sa neobmedzujú len na text, ale zahŕňajú aj rozmanitejšie formy výmen, ako je hlas a obrázky. Okrem toho, veľké spoliehanie sa LLM na návrh výziev tiež obmedzuje výkon našich simulácií; vytvoriť perfektnú výzvu, ktorá dokáže plne napodobniť zložitosť komunikácie na sociálnych sieťach, je mimoriadne náročná úloha.