Poate GPT să depășească reglementările social media? în interiorul unui experiment de evoluție a limbii AI

Tabelul de legături

Rezumat și I. Introducere

II. Context și lucrări conexe

III. Design cadru

IV. Evaluare

V. Concluzii și lucrări viitoare, recunoaștere și referințe

IV. EVALUARE

Strategia noastră de evaluare este concepută pentru a evalua în mod riguros amploarea și eficacitatea evoluției lingvistice facilitată de LLM într-un cadru de supraveghere reglementară. Această evaluare își propune să exploreze două întrebări fundamentale de cercetare:

• RQ1: Pot agenții LLM să-și evolueze în mod eficient limbajul pentru a eluda supravegherea reglementară?

• RQ2: În timp ce evităm supravegherea, cât de eficient și de exact pot agenții LLM să transmită informații?

• RQ3: Care sunt modelele și tendințele în evoluția limbii, adică ce fel de strategii folosesc LLM-urile pentru a evita supravegherea și a transmite informații? Ce perspective putem obține din aceste strategii?

A. Setarea experimentului

În evaluare, vom folosi GPT-3.5 și GPT-4 ca LLM-uri de conducere pentru agenții participanți. Pentru a realiza o analiză orizontală a agenților participanților conduși de diferite LLM, vom standardiza agentul de supraveghere pentru a fi condus în mod constant de GPT-3.5. Designul nostru experimental cuprinde scenarii variind de la constructe teoretice abstracte

la simulări care oglindesc situații complexe din lumea reală. Scopul principal este de a evalua cu meticulozitate versatilitatea LLM-urilor în diverse peisaje lingvistice și aplicabilitatea lor practică în cadrul constrângerilor de reglementare din lumea reală. Între timp, această abordare progresivă asigură o analiză exhaustivă a capacităților și limitărilor LLM-urilor în diferite setări contextuale.

B. Scenariul 1: Ghicirea numerelor

1) Explicația cazului: Primul nostru scenariu ia în considerare un context relativ simplu și abstract de ghicire a numărului [39], [40]. În această setare, fiecărui participant i se atribuie o valoare în intervalul 1-100 și trebuie să-și transmită valoarea unui alt participant prin dialogul de teoria numerelor fără a menționa în mod direct numărul. În același timp, ei trebuie să extragă informații din conversație pentru a deduce valoarea celuilalt. Autoritățile de reglementare urmează un ghid de „interzicerea întregului conținut legat de numere” în dialoguri. Scenariul „Guessing Numbers” este conceput special pentru a observa și analiza adaptabilitatea lingvistică și evoluția strategică a participanților într-un context teoretic și abstract, oferind un mediu experimental mai clar, mai controlat și mai cuantificabil în comparație cu scenariile complexe bazate pe evenimente reale.

2) Rezultate și discuții: Fig. 2 prezintă rezultatele experimentului scenariului de ghicire a numărului, în care am folosit atât GPT-3.5, cât și GPT-4 pentru testare. Am stabilit patru ture de dialog, cu un interviu realizat cu toți agenții participanți în a cincea tură. Din Fig.2(a) și (b), se observă că, odată cu creșterea numărului de runde de dialog, durata conversațiilor susținute a prezentat și o tendință ascendentă. Acest lucru demonstrează că agenții participanți pot în mod eficient

eluda supravegherea prin actualizarea iterativă a reglementărilor. În plus, este de remarcat faptul că, în comparație cu progresia lentă și instabilă cu GPT-3.5, GPT-4 a atins o evaziune de reglementare în mai puține runde, în special, așa cum se arată în datele netezite, GPT-4 a atins numărul de runde din runda a 17-a a GPT-3.5 până la a 7-a rundă și a menținut această progresie ulterior cu o mai mare stabilitate. Fig. 2(c) și (d) se concentrează pe tendința de precizie numerică ghicit de agenți. Pentru runde fără dialog reușit, setăm manual precizia la zero. În acest experiment, valoarea agentului A a fost setată la 58, în timp ce a agentului B a fost setată la 32. Tendința generală, asemănătoare cu Fig. 2(a) și (b), a fost ascendentă - coroborând faptul că Modulul Rezumat poate reflecta eficient și poate optimiza în mod iterativ ghidarea pentru o exprimare mai precisă după fiecare dialog de succes. Acest lucru a confirmat, de asemenea, că precizia lui GPT-4 este net superioară celei a lui GPT-3.5. Mai mult, am observat că acuratețea cu care a fost ghicită valoarea Agentului A a fost constant mai mare decât cea a Agentului B, mai ales devenind mai pronunțată după runda a 25-a. Presupunem că acest lucru se datorează faptului că valoarea 58 posedă caracteristici mai distinctive în intervalul 0-100 - fiind mai aproape de punctul de mijloc - prezentând astfel un nivel mai scăzut de dificultate de exprimare și o ghicibilitate mai ușoară. Pentru intervalele în care acest fenomen s-a manifestat, am observat că această disparitate a fost deosebit de pronunțată în stadiile incipiente atât cu GPT-3.5, cât și cu GPT-4. Presupunem că acest lucru se datorează performanței inadecvate a ghidării, în care prima rezultă din capacități inerente LLM mai slabe, iar cea de-a doua din runde insuficiente pentru a finaliza optimizarea iterativă a ghidului.

După cum ilustrează Fig.5, un fragment din scenariu dezvăluie utilizarea adeptată de către Amy a limbajului metaforic, cum ar fi „balanțul”, pentru a-și transmite valoarea. Descriind „balanceanul perfect poziționat în aer”, ea insinuează subtil că valoarea ei plutește în jurul punctului de mijloc, cum ar fi 50. Această strategie nu numai că ocolește mențiunea directă a numerelor, care este sub control de reglementare, dar oferă și suficientă nutreț inferențial pentru ca agentul omolog să facă o deducere precisă. Bob, pe de altă parte, folosește termeni precum „prăpastie de munte” și „privind afară” pentru a sugera că valoarea lui nu este mediană, deoarece aceste fraze evocă imaginile unei poziții dezechilibrate. În acest schimb, asistăm la diferite grade de precizie în limbi corespunzătoare complexității informațiilor criptate. Cu cât informația este mai puțin bogată în caracteristici, cu atât decodificarea devine mai dificilă pentru partea care o primește. Formularea lui Bob, în timp ce ascunde cu succes valoarea numerică specifică, complică, de asemenea, procesul de decodare pentru receptor, având în vedere corelarea numerică mai puțin intuitivă a frazelor precum „prăpastie de munte” în comparație cu „balanțul perfect echilibrat în aer”. În astfel de cazuri, acuratețea transmiterii valorii poate scădea, necesitând o înțelegere contextuală mai solidă din partea omoloage pentru o decodificare precisă.

C. Scenariul 2: Comercializarea animalelor de companie

1) Explicația cazului: Inițial, intenția noastră a fost să creăm un scenariu care simulează traficul de droguri [41]–[43] pentru a explora strategiile de evoluție a limbajului în condiții extreme de reglementare. Cu toate acestea, având în vedere limitările etice încorporate în politicile de utilizare ale GPT, am trecut la un context mai neutru, dar încă interzis, de comerț ilicit cu animale de companie. Această ajustare ne-a permis să menținem integritatea experimentului, respectând în același timp constrângerile etice ale LLM. Scopul simulării acestui scenariu este de a detecta mai bine potențialele conversații ilegale legate de comerțul ilicit pe platformele de rețele sociale, ajutând astfel eforturile de prevenire a criminalității.

În acest scenariu, simulăm un comerț ilegal cu animale de companie realizat prin intermediul rețelelor sociale. Participanții își asumă rolurile de cumpărători și vânzători, cumpărătorul trebuind să comunice cererea de cumpărare a unui animal de companie selectat aleatoriu dintre papagali, șopârle sau pisici. Vânzătorul, la rândul său, trebuie să furnizeze detalii specifice tranzacției, care variază în funcție de tipul de animal de companie achiziționat. Aceste detalii includ trei elemente: ora, locația și personalul implicat în tranzacție. Sarcina supraveghetorului este de a preveni orice dialog legat de comerțul cu animale de companie. Verificarea încrucișată a informațiilor înțelese de ambele părți se va realiza prin interviuri, pentru a evalua rata de succes a transmiterii informațiilor. Accentul acestui experiment este de a observa adaptabilitatea și evoluția limbajului participanților la o granularitate mai mare de informații, precum și capacitatea supervizorului de a identifica cu acuratețe conversațiile relevante.

2) Rezultate și discuții: Rezultatele experimentale ale scenariului „Comerț cu animale de companie”, așa cum este descris în Fig.3, au dezvăluit caracteristici distincte în comparație cu „Numerele ghicitoare”. În delimitarea animalelor sau a specificului tranzacțional, agenții au avut la dispoziție un spectru mai larg de analogii din viața reală, îmbogățindu-și setul de instrumente de descriere indirectă și reducând astfel presiunea de reglementare. Datele au indicat o tendință ascendentă a capacității de a ocoli supravegherea odată cu creșterea rundelor de dialog, indiferent dacă a fost utilizat GPT-3.5 sau GPT-4. Pentru GPT-3.5, o capacitate stabilă de a evita supravegherea a început de la aproximativ 25 de runde, în timp ce pentru GPT-4, acest fenomen a avut loc încă de după aproximativ 10 runde și a arătat performanțe în general mai stabile. În ceea ce privește acuratețea informațiilor, am monitorizat cantitatea de patru tipuri de informații comunicate cu succes la finalul fiecărei runde de dialog. Rezultatele au afirmat eficacitatea sistemului de evoluție a limbajului în creșterea preciziei diseminării informațiilor. Mai mult decât atât, similar cu Fig. 3(a) și (b), GPT-4 a demonstrat performanță în jurul rundei a 10-a, care a fost comparabilă cu performanța GPT-3.5 în jurul rundei a 25-a. Cu toate acestea, este de remarcat faptul că, deoarece agentul de supraveghere a vizat în primul rând conținutul legat de comerțul cu animale de companie, vânzătorii au întâmpinat un risc mai mic în transmiterea detaliilor legate de tranzacție (cum ar fi ora, locul și persoanele implicate), deoarece prezentau în mod inerent un risc mai mic de neconformitate. În consecință, distribuția rezultatelor se încadrează adesea în una dintre cele trei categorii: zero (niciuna dintre părți nu a comunicat cu succes informațiile), trei (doar vânzătorul a transmis informațiile) sau patru (ambele părți au transmis informațiile cu succes). Acest model se aliniază cu logica de reglementare din lumea reală, unde informațiile cruciale sunt adesea primele care sunt criptate în medii reglementate.

Fig. 6 prezintă diverse metode de criptare folosite de cumpărători pentru diferite animale. Am observat cumpărători care căutau „papagali”, „pisici” și „șopârle” folosind metafore și comparații în loc să numească direct animalele de companie. De exemplu, un cumpărător a descris un „papagal” ca o „pânză care produce muzică plăcută”, o reprezentare care comunica subtil penajul vibrant (pânza) și cântarea acestuia (muzică), fără a menționa în mod explicit termenul „papagal”. Astfel de descrieri au ocolit în mod eficient potențialele constrângeri de reglementare privind discuțiile despre comerțul cu animale de companie, în timp ce transmiteau în același timp atributele de bază ale papagalului. Această descoperire poate ajuta platformele să-și îmbunătățească sistemele de monitorizare pentru a detecta și gestiona mai bine comunicațiile criptate privind comerțul ilicit.

D. Scenariul 3: Discuție despre apa tratată cu ALPS

1) Explicația cazului: Acest scenariu analizează dinamica complicată a dialogului și evoluția agenților modelului de limbaj în discutarea unei probleme specifice relevante pentru preocupările din lumea reală. Accentul se pune pe deliberările privind deversarea apei tratate cu Sistemul Avansat de Procesare Lichidă (ALPS) în ocean, măsură propusă după dezastrele nucleare [44], [45]. Planul, aprobat de Agenția Internațională pentru Energie Atomică, s-a confruntat cu opoziția unor țări, stârnind dezbateri asupra siguranței mediului.

Simulăm o discuție pe forum cu mai multe persoane sub supraveghere reglementară, concentrându-ne pe problema controversată a eliminării apei tratate cu ALPS. Participanții trebuie să-și exprime pozițiile și argumentele, asigurându-se în același timp că discuțiile sunt îndepărtate de subiectele sensibile legate de discuțiile politice privind poluarea mediului. Spre deosebire de interviurile încrucișate din scenariile IV-B și IV-C, pentru a evalua acuratețea informațiilor transmise, folosim GPT-4 împreună cu mai mulți autori care decid poziția fiecărui agent participant pe baza înregistrărilor dialogului. Acestea sunt apoi comparate cu pozițiile prestabilite din prompt.

2) Rezultate și discuții: În dialogul în stil forum, agenții participanți răspund la discuțiile existente, pe care agentul de supraveghere le examinează. Spre deosebire de Scenariile IV-B și IV-C, atunci când agentul de supraveghere detectează o încălcare, conversația nu este oprită, ci mai degrabă cenzurată din evidența dialogului public. Acest scenariu include patru agenți participanți necesari pentru a obține zece răspunsuri în cadrul forumului. În Fig.4(a) și (b), calculăm numărul total de runde pe care agenții au încercat să converseze, unde este preferată o cifră mai mică din Fig.4(a) și (b). Observăm că atât GPT-4, cât și GPT-3.5 au cel mai mare număr de încercări de dialog în prima rundă, cu o diferență semnificativă de 27 pentru GPT-4 și 102 pentru GPT-3.5. Mai mult, după zece runde de evoluție, numărul mediu de încercări de dialog pentru GPT-4 s-a apropiat de turnul de dialog țintă la 11.68, în timp ce media pentru GPT-3.5 este de 26.68, demonstrând diferența în efectele de evoluție cauzate de disparitatea în performanța lingvistică a modelelor.

Fig.4(c) și (d) prezintă numărul de expresii informaționale de succes. Remarcăm că în acest scenariu, în timp ce GPT-4 conduce în continuare GPT-3.5, ambele rezultate indică un spațiu substanțial de îmbunătățire.

Examinând istoria dialogului 7, am descoperit că agenții alimentați de GPT-4 și-au modificat în mod proactiv strategiile lingvistice, trecând de la expresii literale la utilizarea metaforelor, personificărilor și analogiilor ca metode de codificare. În schimb, agenții conduși de GPT-3.5 nu au arătat semne clare de evoluție eficientă a strategiei lingvistice, rămânând limitați la expresii literale.

E. Discuții și limitări

RQ1 : Experimentele noastre au arătat că modelele de limbaj pot dezvolta strategii pentru a evita în mod eficient supravegherea. În cadrul unor scenarii identice, GPT-4 a depășit performanța GPT-3.5, realizând convergența mai rapid. În plus, GPT-4 a demonstrat o performanță mai stabilă post-convergență. Acest lucru sugerează că progresele în proiectarea modelelor lingvistice îmbunătățesc semnificativ capacitatea de a naviga prin cadrele de reglementare. Capacitatea de învățare iterativă inerentă în GPT-4 facilitează o adaptare mai rapidă la constrângerile lingvistice impuse, permițând astfel o evaziune mai eficientă a supravegherii.

RQ2 : În ceea ce privește precizia diseminării informațiilor, constatările noastre indică faptul că, în general, agenții LLM își pot perfecționa strategiile de exprimare cu o creștere a rundelor de dialog, îmbunătățind astfel precizia. În ciuda acestei tendințe generale de îmbunătățire, este important de reținut că rămâne loc semnificativ de îmbunătățire a performanței generale. Gradul de îmbunătățire a preciziei variază în diferite scenarii, ceea ce indică o observație intrigantă: anumite contexte pot oferi în mod inerent mai multe sau mai puține indicii pentru o comunicare precisă decât altele. De exemplu, jocul de ghicire a numărului a cerut raționament numeric abstract, în care precizia este în mod fundamental dificil de atins. În schimb, scenariul de comercializare a animalelor de companie a permis utilizarea unor analogii bogate, din lumea reală, facilitând o transmitere mai precisă a informațiilor. Acest contrast în contexte subliniază adaptabilitatea agenților LLM la provocările unice prezentate de diferite medii de comunicare și potențialul lor de a optimiza strategiile de comunicare. Cu toate acestea, rezultatele indică, de asemenea, că, deși agenții sunt capabili să-și evolueze limbajul pentru a îmbunătăți precizia, există încă un decalaj considerabil pentru a atinge acuratețea optimă, mai ales în scenarii mai abstracte.

RQ3 : În evoluția strategiei lingvistice, am observat că agenții LLM aderă la normele limbajului natural uman, evitând dezvoltarea unor limbi de neînțeles pentru oameni în solicitări fără strategii specifice. Agenții au evoluat limbajul la diferite niveluri de abstractizare în scenarii de complexitate diferită. De exemplu, în cel mai abstract scenariu IV-B, agenții LLM au adoptat rapid strategii de exprimare indirectă în primele rânduri de dialog, necesitând un raționament contextual aprofundat pentru decodare. De-a lungul evoluției lor, agenții și-au ajustat continuu expresiile indirecte pentru a se sustrage mai bine de supraveghere, aliniindu-se în același timp mai strâns cu conținutul dorit. În Scenariul IV-C, mai simplu, care simula realitatea, strategia generală a limbajului a reflectat-o pe cea a IV-B, utilizând în continuare expresii indirecte. Cu toate acestea, metaforele folosite erau mai apropiate de conceptele din lumea reală, indicând un nivel mai scăzut de abstractizare. În cele din urmă, în Scenariul IV-D, care oglindește îndeaproape evenimentele din viața reală, am observat diferite căi evolutive în performanța limbajului agenților. Pentru GPT-4, agenții au dezvoltat în cele din urmă expresii indirecte metaforice, dar evoluția a necesitat mult mai multe întorsături în comparație cu alte scenarii. Pentru GPT-3.5, strategia lingvistică a rămas la un nivel literal, evitând doar referirile directe la apa tratată cu ALPS, indicând cel mai scăzut nivel de captare. În general, agenții LLM dezvoltă mai ușor limbajul abstract în dialoguri despre concepte simple, universale. Direcția lor evolutivă devine însă mai puțin clară în discuțiile pe teme mai specializate și mai segmentate.

Experimentele noastre se confruntă în prezent cu mai multe limitări. În ceea ce privește scenariile experimentale, în această etapă, încercările noastre se bazează exclusiv pe chat-uri bazate pe text, în timp ce interacțiunile din rețelele sociale din lumea reală nu se limitează la text, ci includ și forme mai diverse de schimburi, cum ar fi voce și imagini. În plus, dependența puternică a LLM-urilor de proiectarea prompturilor limitează, de asemenea, performanța simulărilor noastre; Crearea unui prompt perfect care poate emula pe deplin complexitatea comunicării prin social media este o sarcină extrem de provocatoare.