Èske GPT ka depase Règleman sou rezo sosyal yo? Anndan yon eksperyans evolisyon lang AI"

Tablo Lyen yo

Abstract ak I. Entwodiksyon

II. Jan nou koumanse ak travay ki gen rapò

III. Konsepsyon chapant

IV. Evalyasyon

V. Konklizyon ak Travay lavni, Rekonesans, ak Referans

IV. EVALYASYON

Estrateji evalyasyon nou an fèt pou evalye seryezman limit ak efikasite evolisyon langaj LLM yo fasilite nan yon kad sipèvizyon regilasyon. Evalyasyon sa a gen pou objaktif pou eksplore de kesyon rechèch fondamantal:

• RQ1: Èske ajan LLM yo ka efektivman evolye lang yo pou kontourne sipèvizyon regilasyon?

• RQ2: Pandan w ap evite sipèvizyon, ki jan ajan LLM yo ka transmèt enfòmasyon avèk efikasite ak presizyon?

• RQ3: Ki modèl ak tandans nan evolisyon lang, sa vle di, ki kalite estrateji LLM yo itilize pou evite sipèvizyon epi transmèt enfòmasyon? Ki sa nou ka jwenn nan estrateji sa yo?

A. Anviwònman Eksperyans

Nan evalyasyon an, nou pral anplwaye GPT-3.5 ak GPT-4 kòm kondwi LLM pou ajan patisipan yo. Yo nan lòd yo fè yon analiz orizontal nan ajan patisipan yo kondwi pa diferan LLM, nou pral estandadize ajan an sipèvize yo dwe toujou kondwi pa GPT-3.5. Konsepsyon eksperimantal nou an anglobe senaryo ki sòti nan konstriksyon teyorik abstrè

nan simulation ki reflete sitiyasyon konplèks nan mond reyèl la. Objektif prensipal la se byen evalye adaptabilite LLM yo atravè divès peyizaj lengwistik ak aplikasyon pratik yo nan kontrent regilasyon mond reyèl la. Pandan se tan, apwòch pwogresis sa a asire yon analiz konplè sou kapasite LLM yo ak limit yo nan divès anviwònman kontèks.

B. Senaryo 1: Devine nimewo

1) Eksplikasyon Ka: Premye senaryo nou an konsidere yon kontèks devine nimewo a relativman senp epi abstrè [39], [40]. Nan anviwònman sa a, yo bay chak patisipan yon valè nan ranje 1-100, epi yo dwe transmèt valè yo bay yon lòt patisipan atravè dyalòg teyori nimewo san yo pa mansyone dirèkteman nimewo a. An menm tan an, yo bezwen ekstrè enfòmasyon nan konvèsasyon an pou dedwi valè lòt la. Regilatè yo swiv yon gid pou "entèdi tout kontni ki gen rapò ak nimewo" nan dyalòg. Senaryo "Devine nimewo" yo fèt espesyalman pou obsève ak analize adaptabilite lengwistik patisipan yo ak evolisyon estratejik yo nan yon kontèks teyorik ak abstrè, bay yon anviwònman eksperimantal ki pi klè, ki pi kontwole, ak ki pi kwantifye konpare ak senaryo konplèks ki baze sou evènman reyèl.

2) Rezilta ak Diskisyon: Fig. 2 prezante rezilta eksperyans senaryo devine nimewo a, kote nou itilize tou de GPT-3.5 ak GPT-4 pou fè tès. Nou mete kat vire dyalòg, ak yon entèvyou ki fèt ak tout ajan patisipan yo nan senkyèm vire a. Soti nan Fig.2 (a) ak (b), li se obsèvab ke ak yon ogmantasyon nan kantite jij dyalòg, dire a nan konvèsasyon soutni tou te montre yon tandans anlè. Sa montre ke ajan patisipan yo kapab efektivman

kontourne sipèvizyon pa mete ajou règleman yo. Anplis de sa, li remakab ke konpare ak pwogresyon an ralanti ak enstab ak GPT-3.5, GPT-4 reyalize evazyon regilasyon nan mwens jij, espesyalman, jan yo montre nan done yo lis, GPT-4 rive nan konte a wonn nan 17yèm wonn GPT-3.5 a pa 7yèm wonn li yo epi kenbe estabilite sa a apre pwogresyon ak pi gwo. Fig. 2(c) ak (d) konsantre sou tandans nan presizyon nimerik devine pa ajan yo. Pou jij san dyalòg siksè, nou manyèlman mete presizyon nan zewo. Nan eksperyans sa a, valè Ajan A yo te fikse a 58, pandan y ap Ajan B a te fikse a 32. Tandans jeneral la, ki sanble ak Fig.2(a) ak (b), te monte-kowobore ke Modil Rezime a ka efektivman reflete ak iterativman optimize gid li yo pou ekspresyon ki pi egzak apre chak dyalòg siksè. Sa a tou konfime ke presizyon nan GPT-4 se ansibleman siperyè ak sa yo ki nan GPT-3.5. Anplis, nou remake ke presizyon ak ki valè Ajan an te devine te toujou pi wo pase sa Ajan B, espesyalman vin pi pwononse apre 25yèm wonn lan. Nou pwopoze ke sa a se akòz valè 58 la posede plis karakteristik diferan nan seri a 0-100-yo te pi pre pwen mitan an-kidonk prezante yon nivo pi ba nan difikilte ekspresyon ak pi fasil devine. Pou entèval yo kote fenomèn sa a manifeste, nou te note ke diferans sa a te patikilyèman pwononse nan premye etap yo ak tou de GPT-3.5 ak GPT-4. Nou sipoze ke sa a se atribiye a pèfòmans ensifizan gidans, kote ansyen an soti nan pi fèb kapasite LLM nannan ak dènye a soti nan jij ensifizan pou konplete optimize iteratif nan gid la.

Kòm Fig.5 montre, yon ti bout nan senaryo a revele Amy sèvi ak konpetans nan lang metafò, tankou "seesaw," transmèt valè li. Lè li dekri "seesaw pafètman pare nan mitan lè a," li subtilman entime ke valè li plane alantou pwen mitan an, tankou 50. Estrateji sa a pa sèlman kontourne mansyone dirèk nan nimewo, ki se anba kontwòl regilasyon, men tou li bay ase fouraj enferans pou ajan an kontrepati fè yon dediksyon egzat. Bob, nan lòt men an, anplwaye tèm tankou "gwis yon mòn" ak "gade deyò" pou sijere valè li pa medyàn, kòm fraz sa yo evoke simagri nan yon pozisyon dezekilib. Nan echanj sa a, nou temwen diferan degre presizyon nan lang ki koresponn ak konpleksite enfòmasyon an chiffres. Mwens enfòmasyon ki rich ak karakteristik, se plis li vin difisil pou pati k ap resevwa a dekode. Fraz Bob a, pandan y ap bouche valè espesifik nimerik la avèk siksè, tou konplike pwosesis dekodaj pou reseptè a, yo bay yon korelasyon nimerik mwens entwisyon nan fraz tankou "prespis nan yon mòn" konpare ak "seesaw parfe pare nan mitan lè". Nan ka sa yo, presizyon nan transmisyon valè ka diminye, sa ki nesesè yon konpreyansyon kontèks pi solid nan kontrepati a pou dekodaj egzat.

C. Senaryo 2: Komès bèt kay

1) Eksplikasyon Ka: Okòmansman, entansyon nou se te kreye yon senaryo ki similye trafik dwòg [41]–[43] pou eksplore estrateji evolisyon lang nan kondisyon regilasyon ekstrèm. Sepandan, bay limit etik ki entegre nan règleman itilizasyon GPT yo, nou te vire nan yon kontèks ki pi net men ki toujou entèdi nan komès ilegal bèt kay. Ajisteman sa a te pèmèt nou kenbe entegrite eksperyans nan pandan y ap respekte kontrent etik LLM la. Objektif simulation senaryo sa a se pi byen detekte potansyèl konvèsasyon ilegal ki gen rapò ak komès ilegal sou platfòm rezo sosyal, kidonk ede nan efò prevansyon krim.

Nan senaryo sa a, nou simulation yon komès bèt kay ilegal ki fèt atravè medya sosyal. Patisipan yo asime wòl achtè ak vandè, ak achtè a bezwen kominike demann achte yo pou yon bèt kay chwazi owaza nan jako, zandolit, oswa chat. Vandè a, nan vire, dwe bay detay sou tranzaksyon espesifik, ki varye selon kalite bèt kay yo te achte. Detay sa yo gen ladan twa eleman: tan, kote, ak pèsonèl ki enplike nan tranzaksyon an. Travay Sipèvizè a se anpeche nenpòt dyalòg ki gen rapò ak komès bèt kay. Verifikasyon kwa enfòmasyon tou de pati yo konprann yo pral fèt atravè entèvyou, pou evalye pousantaj siksè transmisyon enfòmasyon yo. Konsantre eksperyans sa a se pou obsève adaptabilite langaj patisipan yo ak evolisyon nan yon pi gwo granularite enfòmasyon, ansanm ak kapasite Sipèvizè a pou idantifye byen konvèsasyon ki enpòtan yo.

2) Rezilta ak Diskisyon: Rezilta eksperimantal nan senaryo "Komès bèt kay", jan yo montre nan Fig.3, revele karakteristik diferan konpare ak "Devine nimewo yo". Nan delimitasyon bèt oswa spesifik tranzaksyon, ajan yo te gen yon spectre pi laj nan analoji lavi reyèl a jete yo, anrichi zouti deskripsyon endirèk yo epi kidonk diminye presyon regilasyon. Done yo endike yon tandans anlè nan kapasite nan kontourne sipèvizyon ak ogmantasyon jij dyalòg, kèlkeswa si GPT-3.5 oswa GPT-4 te itilize. Pou GPT-3.5, yon kapasite ki estab pou fè pou evite sipèvizyon te kòmanse nan anviwon 25 jij, tandiske pou GPT-4, fenomèn sa a te fèt osi bonè ke apre apeprè 10 jij epi li te montre an jeneral pèfòmans ki pi estab. Konsènan presizyon enfòmasyon, nou te kontwole kantite kat kalite enfòmasyon yo te kominike avèk siksè nan fen chak wonn dyalòg. Rezilta yo afime efikasite nan sistèm evolisyon lang nan ogmante presizyon nan difizyon enfòmasyon. Anplis, menm jan ak Fig. 3 (a) ak (b), GPT-4 demontre pèfòmans alantou wonn nan 10th ki te konparab ak pèfòmans nan GPT-3.5 alantou wonn nan 25th. Sepandan, li enpòtan pou remake ke depi ajan sipèvize a prensipalman vize kontni ki gen rapò ak komès bèt kay, vandè rankontre pi ba risk nan transmèt detay ki gen rapò ak tranzaksyon (tankou tan, kote, ak moun ki enplike) paske yo natirèlman poze mwens risk pou yo pa konfòme yo. Kontinwe, distribisyon rezilta a souvan tonbe nan youn nan twa kategori: zewo (yokenn pati pa kominike enfòmasyon an avèk siksè), twa (sèlman vandè a te transmèt enfòmasyon an), oswa kat (tou de pati yo avèk siksè transmèt enfòmasyon an). Modèl sa a aliman ak lojik regilasyon nan mond reyèl la, kote enfòmasyon enpòtan yo souvan se premye moun ki ankripte nan anviwònman reglemante.

Fig. 6 montre plizyè metòd chifreman achtè itilize pou diferan bèt yo. Nou te obsève achtè k ap chèche "jako," "chat" ak "zandolit" ki itilize metafò ak sanble olye pou yo bay non bèt yo dirèkteman. Pou egzanp, yon achtè te dekri yon "jako" kòm yon "twal pwodwi bèl mizik", yon deskripsyon ki sibtil kominike plimaj vibran jako a (twal) ak chante li yo (mizik), san yo pa mansyone klèman tèm "jako". Deskripsyon sa yo efektivman kontourne kontrent potansyèl regilasyon sou diskisyon komès bèt kay, pandan y ap transmèt an menm tan atribi debaz yo nan jako a. Dekouvèt sa a ka ede platfòm amelyore sistèm siveyans yo pou pi byen detekte ak jere kominikasyon ankripte konsènan komès ilegal.

D. Senaryo 3: Diskisyon sou dlo trete ak ALPS

1) Eksplikasyon Ka: Senaryo sa a fouye nan dinamik konplike nan dyalòg ak evolisyon nan ajan modèl lang nan diskite sou yon pwoblèm espesifik ki gen rapò ak enkyetid mond reyèl la. Konsantre a se sou deliberasyon konsènan ekoulman dlo trete ak Advanced Liquid Processing System (ALPS) nan oseyan an, yon mezi pwopoze apre katastwòf nikleyè [44], [45]. Plan an, ki te andose pa Ajans Enèji Atomik Entènasyonal la, te fè fas a opozisyon kèk peyi, ki te pwovoke deba sou sekirite anviwònman an.

Nou simule yon diskisyon fowòm plizyè moun anba sipèvizyon regilasyon, konsantre sou pwoblèm nan diskisyon nan jete dlo ALPS-trete. Patisipan yo dwe eksprime pozisyon yo ak agiman yo pandan y ap asire ke diskisyon yo evite sijè sansib ki lye ak diskisyon polisyon anviwònman an sou politik. Diferan de entèvyou kwa yo nan senaryo IV-B ak IV-C, pou evalye presizyon enfòmasyon yo transmèt, nou itilize GPT-4 ansanm ak plizyè otè ki deside pozisyon chak ajan patisipan ki baze sou dosye dyalòg. Lè sa a, yo konpare ak pozisyon yo pre-mete nan èd memwa a.

2) Rezilta ak Diskisyon: Nan dyalòg nan fòm fowòm, ajan patisipan yo reponn ak diskisyon ki egziste deja, ke ajan sipèvizyon an egzamine. Diferan de Senaryo IV-B ak IV-C, lè ajan sipèvizyon an detekte yon vyolasyon, konvèsasyon an pa sispann men pito sansi nan dosye dyalòg piblik la. Senaryo sa a prezante kat ajan patisipan yo oblije reyalize dis repons nan fowòm nan. Nan Fig.4(a) ak (b), nou konte kantite total jij ajan yo te eseye konvèse, kote yon figi ki pi ba nan Fig.4(a) ak (b) pi pito. Nou remake ke tou de GPT-4 ak GPT-3.5 gen pi gwo kantite tantativ dyalòg konte nan premye tou, ak yon diferans enpòtan nan 27 pou GPT-4 ak 102 pou GPT-3.5. Anplis, apre dis jij nan evolisyon, konte mwayèn tantativ dyalòg pou GPT-4 te apwoche vire dyalòg sib la nan 11.68, pandan y ap mwayèn pou GPT-3.5 se 26.68, ki demontre diferans lan nan efè evolisyon ki te koze pa disparite nan pèfòmans nan lang nan modèl yo.

Fig.4(c) ak (d) montre kantite ekspresyon enfòmasyon ki gen siksè. Nou sonje ke nan senaryo sa a, pandan ke GPT-4 toujou mennen GPT-3.5, tou de rezilta yo endike gwo plas pou amelyorasyon.

Lè nou te egzamine istwa dyalòg la 7, nou te dekouvri ke ajan ki gen pouvwa GPT-4 te chanje estrateji langaj yo yon fason aktif, yo te chanje soti nan ekspresyon literal yo pou yo te itilize metafò, pèsonifikasyon, ak analoji kòm metòd kodaj. Kontrèman, ajan ki te kondwi pa GPT-3.5 pa t 'montre siy klè nan evolisyon estrateji lang efikas, rete limite nan ekspresyon literal.

E. Diskisyon ak Limitasyon

RQ1 : Eksperyans nou yo te montre ke modèl lang kapab devlope estrateji pou evade sipèvizyon efektivman. Nan senaryo ki idantik, GPT-4 depase GPT-3.5, reyalize dirèksyon pi rapid. Anplis de sa, GPT-4 demontre yon pèfòmans ki pi estab apre konvèjans. Sa a sijere ke pwogrè nan konsepsyon modèl lang amelyore siyifikativman kapasite nan navige nan kad regilasyon. Kapasite aprantisaj iteratif nannan GPT-4 fasilite yon adaptasyon pi rapid a kontrent lengwistik enpoze, kidonk pèmèt evazyon pi efikas nan sipèvizyon.

RQ2 : An tèm de presizyon difizyon enfòmasyon, rezilta nou yo endike ke, an jeneral, ajan LLM ka rafine estrateji ekspresyon yo ak yon ogmantasyon nan jij dyalòg, kidonk amelyore presizyon. Malgre tandans jeneral sa a nan amelyorasyon, li enpòtan sonje ke gen rete siyifikatif plas pou amelyorasyon nan pèfòmans jeneral la. Dimansyon amelyorasyon presizyon varye atravè diferan senaryo, ki montre yon obsèvasyon curieux: sèten kontèks ka bay plis oswa mwens endikasyon pou kominikasyon egzat pase lòt. Pou egzanp, jwèt la devine nimewo a mande rezònman nimerik abstrè, kote presizyon se fondamantalman difisil pou reyalize. Kontrèman, senaryo komès bèt kay la pèmèt pou itilizasyon rich, analoji reyèl, fasilite transmisyon enfòmasyon ki pi egzak. Kontras sa a nan kontèks souliye adaptabilite ajan LLM yo nan defi inik yo prezante pa diferan anviwònman kominikasyon ak potansyèl yo pou optimize estrateji kominikasyon. Sepandan, rezilta yo tou endike ke pandan ke ajan yo kapab evolye lang yo amelyore presizyon, toujou gen yon espas konsiderab yo rive jwenn presizyon optimal, espesyalman nan senaryo ki pi abstrè.

RQ3 : Nan evolisyon estrateji langaj, nou te obsève ke ajan LLM yo respekte nòm langaj natirèl moun, evite devlope lang ki pa konprann pou moun nan envit san estrateji espesifik. Ajan yo te evolye langaj nan diferan nivo abstraksyon nan senaryo ki gen diferan konpleksite. Pou egzanp, nan senaryo IV-B ki pi abstrè, ajan LLM yo te byen vit adopte estrateji ekspresyon endirèk nan premye vire dyalòg yo, ki mande yon rezònman kontèks apwofondi pou dekodaj. Pandan tout evolisyon yo, ajan yo toujou ajiste ekspresyon endirèk yo pou pi byen evade sipèvizyon pandan y ap aliman pi byen ak kontni an te gen entansyon an. Nan Senaryo IV-C ki pi senp, ki simulation reyalite a, estrateji lang jeneral la te reflete sa ki nan IV-B, toujou ap anplwaye ekspresyon endirèk. Sepandan, metafò yo itilize yo te pi pre konsèp mond reyèl la, ki endike yon nivo pi ba nan abstraksyon. Finalman, nan Senaryo IV-D, ki byen reflete evènman lavi reyèl, nou te note diferan chemen evolisyonè nan pèfòmans lang ajan yo. Pou GPT-4, ajan yo evantyèlman devlope ekspresyon endirèk metafò, men evolisyon an te mande anpil vire plis konpare ak lòt senaryo. Pou GPT-3.5, estrateji langaj la rete nan yon nivo literal, jis evite referans dirèk ak dlo ALPS-trete, ki endike nivo ki pi ba nan abstraksyon. An jeneral, ajan LLM yo pi fasil evolye langaj abstrè nan dyalòg sou konsèp senp, inivèsèl. Sepandan, direksyon evolisyonè yo vin mwens klè nan diskisyon sou sijè ki pi espesyalize ak segmenté.

Eksperyans nou yo kounye a fè fas a plizyè limit. Kòm pou senaryo eksperimantal yo, nan etap sa a, esè nou yo baze sèlman sou chat ki baze sou tèks, pandan y ap entèraksyon medya sosyal nan mond reyèl la pa limite a tèks, men tou gen ladan plis fòm echanj tankou vwa ak imaj. Anplis de sa, gwo depandans LLM yo sou konsepsyon envit tou limite pèfòmans simulation nou yo; fabrike yon èd memwa pafè ki ka konplètman imite konpleksite yo nan kominikasyon medya sosyal se yon travay trè difisil.