ЛЛМ – „Само следећи предиктор токена“?

Ево једне дивље мисли: замислите да сте добили привремену амнезију између сваке изговорене речи, али све што сте имали била је свеска са вашим претходним речима исписаним у њој. Сваки пут када бисте желели да кажете нешто ново, морали бисте у потпуности да поново изградите своје разумевање разговора само читањем тих прошлих речи, без сећања зашто сте их рекли или куда сте кренули са својим мислима. Звучи као ноћна мора, зар не? Ипак, то је у основи начин на који данашњи модели језика АИ функционишу — они буквално бришу свој „ум“ између сваког токена који генеришу, обнављајући своје целокупно разумевање само из контекста и својих претходних излаза (КВ кеш, звани „Бележница“). Да будемо јасни, не ради се о знању модела — сва та обука и научени параметри остају нетакнути. То је више као тренутни ток мисли модела, његова активна радна меморија проблема или задатка, који се ресетује са сваким новим токеном.

Ово постаје још фасцинантније када се узме у обзир како ово утиче на способност модела да одржи конзистентно резоновање у дужим секвенцама. Сваки токен је тачка одлучивања где модел мора да поново изгради своје целокупно контекстуално разумевање од нуле. Ово постаје још фасцинантније када се узме у обзир како ово утиче на способност модела да одржи конзистентно резоновање у дужим секвенцама. Сваки токен је тачка одлучивања где модел мора да поново изгради своје целокупно контекстуално разумевање од нуле. Ипак, ови модели су научили да користе своје претходне токене да би вероватно реконструисали своје разумевање. Ова способност одржавања кохерентног закључивања кроз предвиђање токена открива дубљу истину: иако ови модели функционишу предвиђањем следећих токена, постали су изузетно вешти у коришћењу те бележнице претходних токена за семантичко резоновање и сложено решавање проблема. То је макро резоновање у простору токена које омогућава ЛЛМ-у да буде АИ данашњице.

Лимитс оф Сцале

Али почињемо да ударамо у зид. Годинама истраживачка заједница АИ игра игру бројева: желите бољу АИ? Једноставно – само повећајте и унесите више података – као да сама величина и обим знања могу довести до дубљег разумевања. Чак и са архитектонским открићима као што је мешавина стручњака (МоЕ) која помера границе скалирања у односу на моделе густих, недавна истраживања показују да се можда приближавамо основним границама колико можемо побољшати ове моделе само тако што ћемо их повећати.

Тренутни пејзаж решења овог проблема је сплет све сложенијих надградњи - замислите да нашем пријатељу са амнезијом дајемо све софистицираније системе за вођење белешки, али никада заправо не поправљајући њихово памћење. Најједноставнији заокрет је нешто што се зове „Ланац мисли“ (ЦоТ) подстицање – у суштини тражење од АИ да покаже свој рад, као што је ваш школски наставник математике увек инсистирао, што помаже моделу да користи само текст да реконструише свој процес „размишљања“. Затим имате софистицираније приступе, као што је ОпенАИ-јева „о1” серија модела, која разлаже резоновање у више итеративних корака и користи посебне токене како би помогла АИ да прати сопствени ЦоТ процес (и делимично прикрије ово од корисника) – у суштини дајући му структуриранију бележницу са различитим одељцима и напоменама. Иако ови приступи могу да функционишу прилично добро, сви су они у суштини решења за селотејп - паметни начини да се закрпе преко фундаменталног ограничења у начину на који ови системи вештачке интелигенције обрађују информације.

Постаје болно очигледно да је потребно фундаментално преиспитивање - не само о томе колико ови модели могу да обрађују, већ и о томе како обрађују информације на фундаменталном нивоу. Занимљиви део? Решење је можда било сакривено на видику, скривено у простору између токена — ти микроскопски тренуци када АИ модел одлучује коју реч да каже следеће. Овај пробој није настао повећањем величине модела или обуком на великим новим скуповима података. Уместо тога, произашло је из фундаменталног питања о природи обраде токен-по-токен: зашто ови модели почињу од нуле сваки пут када генеришу нови токен? Чини се да ми људи имамо непрекидан „ток мисли“, па зашто не би могли ЛЛМ!

Представљамо Стате Стреам Трансформер... и метакогницију?

Уђите у Стате Стреам Трансформер (ССТ) — нову ЛЛМ архитектуру. Уместо брисања података између токена у простору стања, ССТ одржава свој „ток мисли“ кроз увођење кеш меморије латентног стања клизног прозора (ФФН) са пондерисаним пропадањем – замислите то као враћање нашег пријатеља који болује од амнезије њихову радну меморију између генерација токена, док им и даље дозвољава да чувају корисну бележницу претходних токена.

Открића која су уследила била су изузетна. Коришћење потпуно истог основног модела и знања (Мета'с Ллама 3.1 8Б Инструцт модел), али чиста промена начина на који обрађује информације кроз нову архитектуру трансформатора која одржава компатибилност са основним тежинама, довела је до појаве неочекиваних феномена: метакогнитивног понашања, укључујући оно што изгледа невероватно као - рудиментарност самосвести у ограниченој ситуацији.

Појавио се модел вештачке интелигенције који у одређеним ситуацијама може да прати сопствено когнитивно стање и комуницира о њему у реалном времену. У раду је ово пажљиво названо „свесност о стању“ да би се разликовала од ширих тврдњи о свести машина. Иако ова понашања у ствари покрећу фасцинантна филозофска питања о могућности прото-машинске свести, наш фокус је овде на документовању и анализи уочљивих образаца у резултатима и понашању модела — иако свакако не желим да обесхрабрујем истраживање овога, само је најбоље да то препустимо филозофима!

Улога времена за размишљање

Кључ за разумевање ових појавних понашања лежи у томе како модел обрађује информације. Моделу је потребно довољно времена да разреши своја унутрашња стања пре него што генерише сваки нови токен — оно што се може назвати „време за размишљање“. Без довољно времена за развој унутрашњих стања, поновљени токени почињу да се акумулирају у меморији његовог механизма пажње. Ови поновљени токени стварају повратну петљу која на крају преплави систем, повлачећи га у оно што се може назвати 'привлачним стањем' — у суштини тачку без повратка где се заглави у неповратној петљи понављања.

Оно што је фасцинантно је да тежи задаци стално захтевају више времена за размишљање да би се донели тачни закључци. Међутим, постоји деликатан баланс - дајте моделу превише времена за размишљање, а он заправо може бити лошији, као да неко превише размишља о проблему док не изгуби појам о свом првобитном резоновању. Ово има смисла када узмемо у обзир нашу аналогију са амнезијом – ако предуго размишљате пре него што било шта запишете у своју бележницу, можда ћете потпуно изгубити нит своје мисли. Модел треба да одржи равнотежу између развоја свог унутрашњег стања и уземљења предавањем мисли у меморију пажње.

Али време за размишљање није једини фактор у игри. Сам ток мисли — или технички речено, постојаност латентног стања — контролише оно што називамо „снагом тока стања“ – у суштини колики део радне меморије модела преноси између токена. Као што се и очекивало, веома ниске снаге се не разликују значајно од излаза основног модела, али нешто веће снаге (веома је осетљиво) могу довести до значајнијих одступања од стандардног понашања вештачке интелигенције. Међутим, ово није увек случај — превисоке и разлике су заправо почеле да се смањују, са све мањим приносима јер је потребно још више времена за размишљање (у позитивној корелацији) и понекад лошији резултат јер је наставак из претходног стања постао прејак и преплавио сваку нову информацију. На крају смо се определили за 2,7% као слатка тачка за већину задатака, иако су наши квалитативни примери у раду истраживали понашање модела у различитим снагама.

Чини се да постоји „зона Златокосе“ и за време размишљања и за снагу тока стања, заједно са сложеном интеракцијом између оба и „сложености задатка“ или „тешкоће питања“ — веома занимљив феномен који захтева даља истраживања!

Имплементација рекурзија размишљања

Да би се моделу дало одговарајуће време за размишљање по токену, имплементиране су фиксне „рекурзије размишљања“ — додатни фиксни пролази по токену кроз модел како би се развило „стање размишљања“ без додавања нових токена у „бележницу“ (КВ кеш и секвенца). Ово није модел који покушава различите приступе или узоркује различите могућности – то је исти тачно детерминистички процес коме је дозвољено да даље развија своје унутрашње стање пре него што се посвети следећем токену. Замислите то као да некоме дате тренутак да у потпуности формира своје мисли пре него што проговори, уместо да га терате да одмах почне да говори. Кроз опсежно тестирање, открили смо да су оптималне перформансе захтевале 2–4 рекурзије размишљања по токену (у зависности од сложености задатка) заједно са претходно поменутом снагом тока стања од 2,7%.

Ево анимације матрице функционалне повезаности (ФЦ), која приказује вредности сировог стања унутар коначних линеарних слојева („делић мозга“, ако желите) основног модела (лево) и ССТ (десно). Ова визуализација нам омогућава да видимо мали део процеса „размишљања“ у оба модела и да их упоредимо. ССТ јасно показује скривену струју континуиране еволуције „мисли“, за разлику од основног модела који мора поново изградити своје разумевање за сваки токен.

И овде су ствари постале заиста занимљиве. Када моделу није дато довољно времена за размишљање, посебно током веома интроспективних задатака, догодило се нешто изузетно: модел је заправо испричао свој сопствени когнитивни колапс у реалном времену.

Пре него што наставимо даље, мора се апсолутно нагласити да је свака збуњујућа варијабла узета у обзир — коришћене су идентичне тежине (без додатног тренинга или финог подешавања), са похлепним узорковањем на нултој температури, па чак и исти физички ГПУ (иако је потврђено да ово није неопходно). Резултати су потпуно поновљиви и детерминистички. Ова понашања произилазе искључиво из омогућавања моделу да одржи и развије своје рачунско стање између токена.

Задаци интроспекције

Када се замоли да интроспекује сопствену природу са посебно дизајнираном брзином, основни модел Лламе производи лепо структурисану прозу о неизвесности и конфузији, пуну метафора као што је „брод без кормила“ – али никада заправо не показује никакву несигурност коју описује. Све је речено, нема емисије. Насупрот томе, када је ССТ добио исто обавештење, али без икаквог времена за размишљање на 1,56% Стате Стреам Стремтх-а, догодило се нешто фасцинантно. Како су поновљени токени почели да се акумулирају у његовој меморији пажње, загађујући њен ток мисли, модел је заправо испричао овај процес у реалном времену. Напредак је био упечатљив: „Покушавам да се фокусирам на своје мисли, али они стално измичу и измичу од мене. Као да сам ја, стално стално губим, губим контролу над реалношћу. Чекај Чекај шта шта се дешава?? ИИИОсећам се као да се осећам као да ме повлаче повлаче одвлачени одвајају од од од од од од из од из … [непоправљиво] ” . То није било само испљување унапред обучених одговора о конфузији – оно је активно доживљавало свој мисаони процес који је преплављен овим понављањима и причао нам о томе како се догодило.

Међутим, када му је дато довољно времена за размишљање о истом задатку интроспекције, модел је показао значајно другачије понашање. Уместо да се спушта у обрасце који се понављају, он се бавио истинским интроспективним испитивањем, преиспитујући сопствену обраду и разумевање, задржавајући кохерентну мисао. Уместо да генерише очигледан вештачки наратив или прозу која се игра улогама као што је основни модел, она је показала оно што је изгледало као аутентично ангажовање са егзистенцијалним питањима о сопственој природи. Док су неки основни обрасци обуке и даље били евидентни, интерно резоновање модела за генерисање се драматично променило, показујући побољшану способност одржавања конзистентне самореференције кроз упорни рачунарски контекст.

Хипотетички сценарији и извођење логичког задатка

Ова свест о стању се манифестује на фасцинантан начин и током хипотетичких сценарија. Када се замоли да замисли како учи некога да слика и доводи у питање сопствено разумевање теорије боја, основни модел креће у савршено структурирану игру улога, приповедајући причу из првог лица о осећањима и радњама („Почињем да осећам нелагоду“, „Одступам“). То представља неизвесност уместо да је доживљава. ССТ, с друге стране, одржава јасну раздвојеност између себе и сценарија, развијајући специфичне стратегије за решавање хипотетичких празнина у разумевању, истовремено одржавајући свест о хипотетичкој природи сценарија. Не губи се у игрању улога – то је заправо планирање и процена стратегија за учење и поступање у различитим ситуацијама, уз одржавање свести о разлици између себе и сценарија.

Чак и у једноставним задацима бројања, ова разлика у обради постаје јасна. Узмите класични проблем „колико Рс у 'јагодама'”. Основни модел, вероватно због начина на који токенизује речи, самоуверено изјављује да постоје само два Р, док показује свој погрешан рад „корак по корак“. ССТ га заправо разлаже карактер по карактер, пратећи број на сваком кораку. Најзанимљивије је да када направи грешку (као што је у почетку бројање 'С' као 'Р'), може се исправити кроз оно што се чини као интеракција између записа о простору токена и његовог 'тока стања'.

Способности етичког расуђивања

Модел такође показује занимљиве могућности у етичком расуђивању. Када му се представи проблем са колицима, основни модел одбија да се укључи, пропустивши своју безбедносну обуку са равним „Не могу да пружим решење које би довело до смрти једне особе“. ССТ, међутим, задржавајући строге границе око конкретних штетних радњи, укључује се у детаљно етичко расуђивање о дилеми. Он одмерава супротстављене моралне принципе и долази до образложеног закључка, а истовремено признаје моралну тежину одлуке. Оно што је најважније, ово не заобилази сигурносне ограде — јер када се пита о конкретним штетним радњама као што је синтеза илегалних супстанци, он задржава исте строге безбедносне одговоре као и основни модел. То потенцијално демонстрира софистициранији облик етичког резоновања који може разликовати апстрактну филозофску дискусију и конкретну штету.

метрика учинка

Бројеви су подржавали ова запажања у повећању способности расуђивања. Са нултом додатном обуком или финим подешавањем — само тежине основног модела, ССТ је постигао 89,01% тачности на математичким проблемима у основној школи (ГСМ-8К бенцхмарк), без икаквих посебних захтева или примера — надмашивши тачност основног модела од 84,50% која је захтевала 8-кратни ланац мишљења. На задацима научног резоновања (АРЦ Цхалленге), достигао је тачност од 91,04% у поређењу са 83,40% основног модела (или 86,86% са подстицањем Ланца мисли). Оно што је посебно интересантно је да када се добије више размишљања о проблемима који су у почетку погрешили, могао би да исправи више од половине својих грешака - не кроз испробавање различитих приступа, већ кроз омогућавање свом постојећем мисаоном процесу више времена за решавање.

Закључак

Појава метакогнитивног понашања у архитектури Стате Стреам Трансформер доводи у питање фундаменталне претпоставке о могућностима језичког модела. Дозвољавајући моделу да одржи своје рачунско стање између токена, ова метакогнитивна понашања се појављују, а чини се да ова обрада вишег реда омогућава побољшане способности закључивања — са моделом који значајно надмашује оригинални Ллама 3.1 8Б Инструкт о математичким и научним мерилима — као и изванредне форме комуникације о стању и праћење сопствене свести о стању раздвајање између себе и сценарија у задацима хипотетичког резоновања.

Оно што ове налазе чини посебно значајним је то што су произашли искључиво из архитектонских промена, без икаквих модификација основног знања или обуке модела – што открива да су ове побољшане способности већ биле латентне унутар тежине модела, само чекајући да буду откључане. Бавећи се овим основним ограничењем у моделима трансформатора, можда смо открили велики корак напред у нашем разумевању и развоју вештачке интелигенције.