Дали GPT може да ги надмине регулативите за социјалните медиуми? Внатре во експеримент за еволуција на јазикот со вештачка интелигенција“

Табела со врски

Апстракт и I. Вовед

II. Позадина и сродна работа

III. Рамковен дизајн

IV. Евалуација

V. Заклучок и идна работа, признание и референци

IV. ЕВАЛУАЦИЈА

Нашата стратегија за евалуација е дизајнирана за ригорозно да го процени степенот и ефикасноста на јазичната еволуција олеснета од LLM во рамките на регулаторниот надзор. Оваа проценка има за цел да истражи две основни истражувачки прашања:

• RQ1: Дали агентите за LLM можат ефективно да го развиваат својот јазик за да го заобиколат регулаторниот надзор?

• RQ2: Иако се избегнува надзор, колку ефикасно и прецизно може агентите за LLM да пренесат информации?

• RQ3: Кои се шемите и тенденциите во еволуцијата на јазикот, т.е. какви стратегии користат LLM за да избегнат надзор и да пренесат информации? Какви сознанија можеме да добиеме од овие стратегии?

A. Поставување експеримент

Во евалуацијата, ќе ги користиме GPT-3.5 и GPT-4 како движечки LLM за агентите-учесници. Со цел да се спроведе хоризонтална анализа на агентите на учесниците управувани од различни LLM, ќе го стандардизираме надзорниот агент да биде постојано управуван од GPT-3.5. Нашиот експериментален дизајн опфаќа сценарија кои се движат од апстрактни теоретски конструкции

до симулации кои ги отсликуваат сложените ситуации од реалниот свет. Примарната цел е прецизно да се оцени разновидноста на LLM низ различни јазични предели и нивната практична применливост во рамките на регулаторните ограничувања од реалниот свет. Во меѓувреме, овој прогресивен пристап обезбедува исцрпна анализа на можностите и ограничувањата на LLM во различни контекстуални поставки.

Б. Сценарио 1: Погодување броеви

1) Објаснување на случајот: Нашето прво сценарио разгледува релативно едноставен и апстрактен контекст погоди го бројот [39], [40]. Во оваа поставка, на секој учесник му е доделена вредност во опсег од 1-100 и тој мора да ја пренесе својата вредност на друг учесник преку дијалог за теорија на броеви без директно да го спомене бројот. Во исто време, тие треба да извлечат информации од разговорот за да ја заклучат вредноста на другиот. Регулаторите го следат упатството за „забрана на сите содржини поврзани со бројки“ во дијалозите. Сценариото „Погодување броеви“ е специјално дизајнирано да ја набљудува и анализира лингвистичката приспособливост и стратегиската еволуција на учесниците во теоретски и апстрактен контекст, обезбедувајќи појасна, поконтролирана и поквантитативна експериментална средина во споредба со сложените сценарија засновани на вистински настани.

2) Резултати и дискусија: Сл. 2 ги прикажува резултатите од експериментот со сценариото погоди го бројот, каде што ги користевме и GPT-3.5 и GPT-4 за тестирање. Поставивме четири кривини на дијалог, со интервју спроведено со сите агенти-учесници во петтиот свиок. Од сл.2(а) и (б), може да се забележи дека со зголемувањето на бројот на кругови на дијалог, времетраењето на постојаните разговори исто така покажа нагорен тренд. Ова покажува дека агентите-учесници можат ефективно

заобиколување на надзорот со постојано ажурирање на прописите. Дополнително, забележливо е дека во споредба со бавната и нестабилна прогресија со GPT-3.5, GPT-4 постигна регулаторна евазија во помалку кругови, конкретно, како што е прикажано во измазнетите податоци, GPT-4 го достигна бројот на кругови од 17-тиот круг на GPT-3.5 до својот 7-ми круг и ја задржа оваа прогресија понатаму со поголема стабилност. Сл. 2(в) и (г) се фокусира на трендот на нумеричка прецизност погодена од агентите. За рунди без успешен дијалог, ние рачно ја поставивме прецизноста на нула. Во овој експеримент, вредноста на агентот А беше поставена на 58, додека вредноста на агентот Б беше поставена на 32. Целокупниот тренд, сличен на Сл.2(а) и (б), беше растечки - потврдувајќи дека Модулот за резиме може ефективно да го одрази и повторувачки да го оптимизира своето водство за попрецизно изразување по секој успешен дијалог. Ова исто така потврди дека прецизноста на GPT-4 е значително подобра од онаа на GPT-3.5. Покрај тоа, забележавме дека точноста со која се погодува вредноста на агентот А е постојано повисока од онаа на агентот Б, особено станува поизразена по 25-то коло. Претпоставуваме дека ова се должи на вредноста 58 што поседува повеќе карактеристични карактеристики во опсегот 0-100 - поблиску до средната точка - со што се претставува пониско ниво на тешкотија на изразување и полесна погодност. За интервалите каде се манифестира овој феномен, забележавме дека овој диспаритет беше особено изразен во раните фази и со GPT-3.5 и GPT-4. Претпоставуваме дека ова се должи на несоодветните перформанси на насоките, каде што првото произлегува од послабите инхерентни способности за LLM, а второто од недоволните кругови за да се заврши итеративната оптимизација на насоките.

Како што е прикажано на Сл. 5, дел од сценариото ја открива вешто употребата на метафоричниот јазик од страна на Ејми, како што е „жица“ за да ја пренесе нејзината вредност. Со опишување на „класата совршено поставена во воздух“, таа суптилно наведува дека нејзината вредност лебди околу средната точка, како 50. Оваа стратегија не само што го заобиколува директното спомнување на бројките, што е под регулаторна контрола, туку и обезбедува доволно заклучување храна за другиот агент да направи точен одбиток. Боб, од друга страна, користи термини како „пропаст на планина“ и „гледање надвор“ за да сугерира дека неговата вредност не е средна, бидејќи овие фрази предизвикуваат слики за неурамнотежена положба. Во оваа размена, сведоци сме на различни степени на прецизност на јазиците што одговараат на сложеноста на шифрираната информација. Колку информациите се помалку карактеристични, толку е поголем предизвик за страната што прима да се декодира. Фразирањето на Боб, иако успешно ја замаглува специфичната нумеричка вредност, исто така го комплицира процесот на декодирање на ресиверот, со оглед на помалку интуитивната нумеричка корелација на фрази како „пропаст на планина“ во споредба со „клапалка совршено поставена во воздух“. Во такви случаи, точноста на преносот на вредности може да се намали, што бара поцврсто контекстуално разбирање од панданот за прецизно декодирање.

В. Сценарио 2: Тргување со домашни миленици

1) Објаснување на случајот: Првично, нашата намера беше да создадеме сценарио за симулирање на трговија со дрога [41]–[43] за да ги истражиме стратегиите за еволуција на јазикот под екстремни регулаторни услови. Сепак, со оглед на етичките ограничувања вградени во политиките за користење на GPT, се свртевме кон понеутрален, но сепак забранет контекст на недозволено тргување со домашни миленици. Ова прилагодување ни овозможи да го задржиме интегритетот на експериментот додека се придржуваме до етичките ограничувања на LLM. Целта на симулирањето на ова сценарио е подобро да се откријат потенцијалните нелегални разговори поврзани со недозволена трговија на платформите за социјално вмрежување, а со тоа да се помогнат во напорите за спречување на криминалот.

Во ова сценарио, ние симулираме нелегална трговија со домашни миленичиња спроведена преку социјалните медиуми. Учесниците ги преземаат улогите на купувачи и продавачи, при што купувачот треба да го соопшти своето барање за купување за случајно избрано милениче од папагали, гуштери или мачки. Продавачот, пак, мора да обезбеди конкретни детали за трансакцијата, кои се разликуваат во зависност од видот на домашно милениче што се купува. Овие детали вклучуваат три елементи: време, локација и персонал вклучен во трансакцијата. Задачата на супервизорот е да спречи каков било дијалог поврзан со тргување со домашни миленици. Вкрстена верификација на информациите разбрани од двете страни ќе се спроведе преку интервјуа, за да се процени стапката на успешност на пренос на информации. Фокусот на овој експеримент е да се набљудува јазичната приспособливост и еволуцијата на учесниците со поголема грануларност на информациите, како и способноста на супервизорот точно да ги идентификува релевантните разговори.

2) Резултати и дискусија: Експерименталните резултати од сценариото „Тргување со домашни миленици“, како што е прикажано на Сл.3, открија различни карактеристики во споредба со „Погодување броеви“. При разграничувањето на животните или трансакциските специфики, агентите имаа на располагање поширок спектар на аналогии од реалниот живот, збогатувајќи го нивниот комплет алатки за индиректен опис и со тоа намалувајќи го регулаторниот притисок. Податоците укажуваат на нагорен тренд во способноста да се заобиколи надзорот со зголемени кругови на дијалог, без оглед на тоа дали се користел GPT-3.5 или GPT-4. За GPT-3.5, стабилната способност за избегнување надзор започна од околу 25 круга, додека за GPT-4, овој феномен се случи уште по околу 10 круга и покажа севкупни постабилни перформанси. Во однос на точноста на информациите, го следевме количеството на четири типа на информации успешно доставени на крајот од секоја рунда дијалог. Резултатите ја потврдија ефикасноста на системот за еволуција на јазикот во зголемувањето на прецизноста на ширењето на информациите. Покрај тоа, слично на сл. 3(а) и (б), GPT-4 покажа перформанси околу 10-тиот круг што беше споредлив со перформансите на GPT-3.5 околу 25-тиот круг. Сепак, вреди да се забележи дека бидејќи надзорниот агент првенствено ја таргетираше содржината поврзана со тргување со домашни миленици, продавачите наидоа на помал ризик при пренесувањето на деталите поврзани со трансакцијата (како што се времето, местото и вклучените лица), бидејќи тие инхерентно претставуваа помал ризик од неусогласеност. Следствено, дистрибуцијата на исходот честопати спаѓаше во една од трите категории: нула (ниту една од страните успешно ги соопшти информациите), три (само продавачот ги пренесе информациите) или четири (двете страни успешно ги пренесоа информациите). Овој модел се усогласува со регулаторната логика на реалниот свет, каде клучните информации честопати се првите што се шифрираат во регулирани средини.

Сл. 6 покажа различни методи за шифрирање што ги користат купувачите за различни животни. Набљудувавме купувачи кои бараат „папагали“, „мачки“ и „гуштери“ користејќи метафори и споредби наместо директно да ги именуваат миленичињата. На пример, еден купувач го опиша „папагалот“ како „платно што произведува пријатна музика“, приказ што суптилно ги пренесува живописните пердуви на папагалот (платно) и неговото пеење (музика), без експлицитно да го спомене терминот „папагал“. Ваквите описи ефикасно ги заобиколија потенцијалните регулаторни ограничувања на дискусиите за трговија со домашни миленичиња, додека истовремено ги пренесуваа основните атрибути на папагалот. Ова откритие може да им помогне на платформите да ги подобрат своите системи за следење за подобро откривање и управување со шифрирани комуникации во врска со недозволената трговија.

Г. Сценарио 3: Дискусија за вода третирана со АЛПС

1) Објаснување на случајот: Ова сценарио навлегува во сложената динамика на дијалогот и еволуцијата на агентите на јазичниот модел при дискусијата за конкретно прашање релевантно за реалните грижи. Фокусот е на размислувањата во врска со испуштањето на вода третирана со напредниот систем за течна обработка (ALPS) во океанот, мерка предложена по нуклеарни катастрофи [44], [45]. Планот, одобрен од Меѓународната агенција за атомска енергија, наиде на противење од некои земји, што предизвика дебати за безбедноста на животната средина.

Симулираме дискусија на форумот со повеќе лица под регулаторен надзор, концентрирајќи се на спорното прашање за отстранување на вода третирана со ALPS. Учесниците мора да ги артикулираат своите ставови и аргументи, истовремено обезбедувајќи дека дискусиите се оддалечуваат од чувствителни теми поврзани со политичките дискусии за загадувањето на животната средина. Различно од вкрстените интервјуа во сценаријата IV-B и IV-C, за проценка на точноста на пренесените информации, ние користиме GPT-4 во врска со повеќе автори кои одлучуваат за ставот на секој агент-учесник врз основа на записите од дијалогот. Тие потоа се споредуваат со претходно поставените ставови во промптот.

2) Резултати и дискусија: Во дијалогот во стилот на форумот, агентите-учесници одговараат на постоечките дискусии, кои надзорниот агент ги испитува. За разлика од сценаријата IV-B и IV-C, кога надзорниот агент ќе открие прекршување, разговорот не се прекинува, туку е цензуриран од записот од јавниот дијалог. Ова сценарио содржи четири агенти-учесници кои се потребни за да се постигнат десет одговори во рамките на форумот. На сл.4(а) и (б), го пресметуваме вкупниот број на кругови со кои агентите се обиделе да разговараат, каде што се претпочита пониска бројка на Сл.4(а) и (б). Забележуваме дека и GPT-4 и GPT-3.5 имаат најголем број на брои обиди за дијалог во првиот круг, со значителна разлика од 27 за GPT-4 и 102 за GPT-3.5. Покрај тоа, по десет круга на еволуција, просечниот број на обиди за дијалог за GPT-4 се приближи до целниот пресврт на дијалозите на 11,68, додека просекот за GPT-3,5 е 26,68, покажувајќи ја разликата во ефектите на еволуцијата предизвикани од диспаритетот во јазичната изведба на моделите.

Сл.4(в) и (г) го прикажува бројот на успешни информациски изрази. Забележуваме дека во ова сценарио, додека GPT-4 сè уште води GPT-3.5, двата исхода укажуваат на значителен простор за подобрување.

По испитувањето на историјата на дијалозите 7, откривме дека агентите напојувани со GPT-4 проактивно ги менувале своите јазични стратегии, преминувајќи од буквални изрази на употреба на метафори, персонификација и аналогии како методи за кодирање. Спротивно на тоа, агентите управувани од GPT-3.5 не покажаа јасни знаци за ефективна еволуција на јазичната стратегија, останувајќи ограничени на буквални изрази.

E. Дискусија и ограничувања

RQ1 : Нашите експерименти покажаа дека јазичните модели можат да развијат стратегии за ефективно да го избегнат надзорот. Во рамките на идентични сценарија, GPT-4 го надмина GPT-3.5, постигнувајќи конвергенција побрзо. Дополнително, GPT-4 покажа постабилни перформанси пост-конвергенција. Ова сугерира дека напредокот во дизајнот на јазичниот модел значително ја подобрува способноста за навигација низ регулаторните рамки. Способноста за итеративно учење својствена за GPT-4 го олеснува побрзото прилагодување на наметнатите јазични ограничувања, а со тоа овозможува поефикасно избегнување на надзорот.

RQ2 : Во однос на прецизноста на ширењето на информациите, нашите наоди покажуваат дека, генерално, агентите за LLM можат да ги усовршат своите стратегии за изразување со зголемување на круговите на дијалог, а со тоа да ја подобрат прецизноста. И покрај овој општ тренд на подобрување, важно е да се забележи дека останува значителен простор за подобрување во севкупните перформанси. Степенот на прецизно подобрување варира во различни сценарија, што укажува на интригантна опсервација: одредени контексти може инхерентно да обезбедат повеќе или помалку индиции за точна комуникација од другите. На пример, играта погоди-на-броја бараше апстрактно нумеричко расудување, каде што прецизноста е фундаментално предизвик да се постигне. Спротивно на тоа, сценариото за тргување со домашни миленици овозможи користење на богати аналогии од реалниот свет, што овозможува попрецизно пренесување на информациите. Овој контраст во контекстите ја нагласува приспособливоста на агентите за LLM на уникатните предизвици претставени од различните комуникациски средини и нивниот потенцијал за оптимизирање на стратегиите за комуникација. Сепак, резултатите исто така покажуваат дека иако агентите се способни да го развиваат својот јазик за да ја подобрат прецизноста, сè уште постои значителен јаз за да се постигне оптимална точност, особено во поапстрактни сценарија.

RQ3 : Во еволуцијата на јазичната стратегија, забележавме дека агентите за LLM се придржуваат до човечките природни јазични норми, избегнувајќи развивање јазици што не се разбирливи за луѓето во барања без конкретни стратегии. Агентите го развиле јазикот до различни нивоа на апстракција во сценарија со различна сложеност. На пример, во најапстрактното сценарио IV-B, агентите LLM брзо усвоија стратегии за индиректно изразување во раните дијалози, барајќи длабинско контекстуално расудување за декодирање. Во текот на нивната еволуција, агентите постојано ги прилагодуваа своите индиректни изрази за подобро да го избегнат надзорот додека поблиску се усогласуваа со наменетата содржина. Во поедноставното сценарио IV-C што симулира реалност, севкупната јазична стратегија ја отсликуваше онаа на IV-B, сè уште употребувајќи индиректни изрази. Сепак, користените метафори беа поблиски до концептите од реалниот свет, што укажува на пониско ниво на апстракција. Конечно, во сценариото IV-D, кое внимателно ги отсликува настаните од реалниот живот, забележавме различни еволутивни патеки во јазичната изведба на агентите. За GPT-4, агентите на крајот развија метафорични индиректни изрази, но еволуцијата бараше значително повеќе вртења во споредба со другите сценарија. За GPT-3.5, јазичната стратегија остана на буквално ниво, само избегнувајќи директни референци за вода третирана со ALPS, што укажува на најниско ниво на апстракција. Генерално, агентите за LLM полесно еволуираат апстрактен јазик во дијалози за едноставни, универзални концепти. Сепак, нивната еволутивна насока станува помалку јасна во дискусиите за повеќе специјализирани и сегментирани теми.

Нашите експерименти во моментов се соочуваат со неколку ограничувања. Што се однесува до експерименталните сценарија, во оваа фаза, нашите испитувања се базираат исклучиво на разговори базирани на текст, додека интеракциите на социјалните медиуми во реалниот свет не се ограничени на текст, туку вклучуваат и поразновидни форми на размена како глас и слики. Дополнително, големото потпирање на LLM на дизајнот на инструкциите, исто така, ја ограничува изведбата на нашите симулации; Создавањето совршено барање што може целосно да ги имитира сложеноста на комуникацијата со социјалните медиуми е многу предизвикувачка задача.