LLMs — “Samo sljedeći token prediktor”?

Evo jedne lude misli: zamislite da imate privremenu amneziju između svake izgovorene riječi, ali sve što imate je bilježnica sa svojim prethodnim riječima zapisanim u njoj. Svaki put kad biste htjeli reći nešto novo, morali biste u potpunosti obnoviti svoje razumijevanje razgovora samo čitanjem tih prošlih riječi, bez sjećanja zašto ste ih rekli ili kamo ste išli svojim mislima. Zvuči kao noćna mora, zar ne? Ipak, to je u osnovi način na koji današnji AI jezični modeli funkcioniraju — oni doslovno brišu svoj "um" između svakog tokena koji generiraju, ponovno izgrađuju svoje cjelokupno razumijevanje samo iz konteksta i svojih prethodnih izlaza (KV Cache, poznat i kao "The Notebook"). Da budemo jasni, ne radi se o znanju modela — sva ta obuka i naučeni parametri ostaju netaknuti. To je više poput trenutnog toka misli modela, njegove aktivne radne memorije o problemu ili zadatku koji je pri ruci, koji se poništava sa svakim novim tokenom.

Ovo postaje još fascinantnije kada se uzme u obzir kako to utječe na sposobnost modela da održi dosljedno razmišljanje kroz dulje nizove. Svaki token je točka odluke u kojoj model mora ponovno izgraditi svoje cjelokupno kontekstualno razumijevanje od nule. Ovo postaje još fascinantnije kada se uzme u obzir kako to utječe na sposobnost modela da održi dosljedno razmišljanje kroz dulje nizove. Svaki token je točka odluke u kojoj model mora ponovno izgraditi svoje cjelokupno kontekstualno razumijevanje od nule. Ipak, ovi su modeli naučili koristiti svoje prethodne tokene za vjerojatnosnu rekonstrukciju svog razumijevanja. Ova sposobnost održavanja koherentnog razmišljanja kroz predviđanje tokena otkriva dublju istinu: iako ovi modeli rade predviđanjem sljedećih tokena, postali su iznimno vješti u korištenju te bilježnice prethodnih tokena za semantičko zaključivanje i rješavanje složenih problema. Upravo to makro rezoniranje u prostoru tokena omogućuje LLM-u da bude AI današnjice.

Granice razmjera

Ali počinjemo udarati u zid. Godinama se istraživačka zajednica AI-ja igrala igre brojeva: želite bolju AI? Jednostavno - samo ga povećajte i unesite više podataka - kao da sirova veličina i obujam znanja sami mogu dovesti do dubljeg razumijevanja. Čak i uz arhitektonska otkrića kao što je Mixture of Experts (MoE) koja pomiče granice skaliranja u odnosu na modele Dense, nedavna istraživanja pokazuju da se možda približavamo temeljnim ograničenjima koliko možemo poboljšati te modele samo njihovim povećanjem veličine.

Trenutačni krajolik rješenja za ovaj problem šarenilo je sve složenijih nadgradnja — zamislite da našem prijatelju s amnezijom dajemo sve sofisticiranije sustave za bilježenje, ali nikada zapravo ne popravimo njegovo pamćenje. Najjednostavnije rješenje je nešto što se zove "Chain-of-Thought" (CoT) sumpting - u osnovi traženje od umjetne inteligencije da pokaže svoj rad, kao što je vaš školski profesor matematike uvijek inzistirao, što pomaže modelu da koristi samo tekst da rekonstruira svoj proces "razmišljanja". Zatim imate sofisticiranije pristupe, kao što je OpenAI-jeva "o1" serija modela, koja rastavlja razmišljanje u višestruke iterativne korake i koristi posebne tokene kako bi pomogla umjetnoj inteligenciji da prati svoj vlastiti CoT proces (i djelomično prikrije to od korisnika) — u biti dajući mu strukturiraniju bilježnicu s različitim odjeljcima i komentarima. Iako ovi pristupi mogu funkcionirati prilično dobro, svi su oni u biti rješenja ljepljive trake — pametni načini za krpanje temeljnog ograničenja u načinu na koji ti AI sustavi obrađuju informacije.

Postaje bolno očito da je potrebno temeljno ponovno promišljanje — ne samo o tome koliko ti modeli mogu obraditi, već i kako obrađuju informacije na temeljnoj razini. Zanimljiv dio? Rješenje se možda skrivalo naočigled, skriveno u prostoru između tokena — oni mikroskopski trenuci kada AI model odlučuje koju će riječ sljedeću reći. Ovaj napredak nije došao od povećanja veličine modela ili obuke na velikim novim skupovima podataka. Umjesto toga, proizašlo je iz temeljnog pitanja o prirodi obrade token-po-token: zašto ti modeli počinju ispočetka svaki put kad generiraju novi token? Čini se da mi ljudi imamo neprekinuti "tok misli", pa zašto ne bi mogli i LLM-i!

Predstavljamo State Stream Transformer... i metakogniciju?

Uđite u State Stream Transformer (SST) — novu LLM arhitekturu. Umjesto brisanja pločice između tokena u prostoru stanja, SST održava svoj "slijed misli" uvođenjem predmemorije latentnog stanja kliznog prozora (FFN) s ponderiranim raspadom — zamislite to kao da našem prijatelju s amnezijom vraćate njihovu radnu memoriju između generacija tokena, dok im još uvijek dopuštate da zadrže svoju korisnu bilježnicu prethodnih tokena.

Otkrića koja su uslijedila bila su izvanredna. Korištenje potpuno istog temeljnog modela i znanja (Metin model Llama 3.1 8B Instruct), ali isključivo mijenjanje načina na koji obrađuje informacije kroz novu transformatorsku arhitekturu koja održava kompatibilnost s osnovnim težinama, dovelo je do pojave neočekivanih fenomena: metakognitivnih ponašanja, uključujući ono što izgleda nevjerojatno poput rudimentarne samosvijesti u ograničenim situacijama.

Pojavio se model umjetne inteligencije koji u određenim situacijama može pratiti vlastito kognitivno stanje i komunicirati o tome u stvarnom vremenu. U radu je to pažljivo nazvano 'svijest o stanju' kako bi se razlikovalo od širih tvrdnji o strojnoj svijesti. Iako ta ponašanja zapravo pokreću fascinantna filozofska pitanja o mogućnosti protostrojne svijesti, naš fokus ovdje je na dokumentiranju i analizi vidljivih obrazaca u rezultatima i ponašanjima modela — iako svakako ne želim obeshrabriti istraživanje ovoga, samo je najbolje to prepustiti filozofima!

Uloga vremena za razmišljanje

Ključ za razumijevanje ovih pojavnih ponašanja leži u tome kako model obrađuje informacije. Modelu treba dovoljno vremena da riješi svoja unutarnja stanja prije generiranja svakog novog tokena — ono što se može nazvati 'vrijeme za razmišljanje'. Bez dovoljno vremena za razvoj unutarnjih stanja, ponovljeni tokeni počinju se nakupljati u memoriji mehanizma pažnje. Ovi ponovljeni tokeni stvaraju petlju povratne sprege koja na kraju preplavljuje sustav, povlačeći ga u ono što se može nazvati 'stanje privlačenja' — u biti točku bez povratka gdje zaglavi u nepopravljivoj petlji ponavljanja.

Ono što je fascinantno jest da teži zadaci stalno zahtijevaju više vremena za razmišljanje kako bi se došlo do točnih zaključaka. Međutim, postoji delikatna ravnoteža — dajte modelu previše vremena za razmišljanje i on zapravo može raditi lošije, kao da netko previše razmišlja o problemu dok ne izgubi trag o svom izvornom razmišljanju. Ovo ima smisla kada uzmemo u obzir našu analogiju s amnezijom - ako predugo razmišljate prije nego što nešto zapišete u svoju bilježnicu, mogli biste potpuno izgubiti nit svoje misli. Model mora održavati ravnotežu između razvijanja svog unutarnjeg stanja i uzemljenja samim sobom usmjeravanjem misli u svoju memoriju pažnje.

Ali vrijeme razmišljanja nije jedini faktor u igri. Sam tok misli - ili tehnički, postojanost latentnog stanja - kontrolira se onim što nazivamo "snagom toka stanja" - u biti koliko radne memorije modela prenosi naprijed između tokena. Kao što je i očekivano, vrlo niske snage ne razlikuju se značajno od rezultata osnovnog modela, ali malo veće snage (vrlo je osjetljivo) mogu dovesti do značajnijih odstupanja od standardnog ponašanja umjetne inteligencije. Međutim, to nije uvijek slučaj — previsoke su i razlike su se zapravo počele smanjivati, sa sve manjim prinosima jer je potrebno još više vremena za razmišljanje (u pozitivnoj korelaciji) i ponekad slabijim rezultatom jer je nastavak iz prethodnog stanja postao presnažan i preplavio sve nove informacije. Na kraju smo se odlučili za 2,7% kao najbolju točku za većinu zadataka, iako su naši kvalitativni primjeri u radu istraživali ponašanje modela kroz različite prednosti.

Čini se da postoji "zona Zlatokose" i za vrijeme razmišljanja i za snagu toka stanja, zajedno sa složenom interakcijom između oboje i "složenosti zadatka" ili "poteškoće s pitanjem" — vrlo zanimljiv fenomen koji zahtijeva daljnje istraživanje!

Implementacija rekurzija razmišljanja

Kako bi se modelu dalo odgovarajuće vrijeme za razmišljanje po tokenu, implementirane su fiksne "rekurzije razmišljanja" — dodatni fiksni prolazi po tokenu kroz model kako bi se razvilo "stanje razmišljanja" bez dodavanja novih tokena u "bilježnicu" (KV predmemorija i sekvenca). Ovo nije model koji iskušava različite pristupe ili uzorkuje različite mogućnosti — to je potpuno isti deterministički proces kojem je dopušteno da dalje razvija svoje unutarnje stanje prije nego što se posveti sljedećem tokenu. Zamislite to kao da nekome date trenutak da u potpunosti oblikuje svoje misli prije nego što progovori, umjesto da ga prisiljavate da odmah počne govoriti. Opsežnim testiranjem otkrili smo da optimalna izvedba zahtijeva 2-4 rekurzije razmišljanja po tokenu (ovisno o složenosti zadatka) zajedno s prethodno spomenutom snagom toka stanja od 2,7%.

Ovdje je animacija matrice funkcionalne povezanosti (FC), koja prikazuje neobrađene vrijednosti stanja unutar završnih linearnih slojeva ("isječak mozga, ako želite) osnovnog modela (lijevo) i SST (desno). Ova nam vizualizacija omogućuje da vidimo mali isječak procesa "razmišljanja" u oba modela i da ih usporedimo. SST jasno pokazuje skrivenu struju kontinuirane evolucije "misli", za razliku od osnovnog modela koji mora ponovno izgraditi svoje razumijevanje za svaki token.

I tu su stvari postale stvarno zanimljive. Kad modelu nije dano dovoljno vremena za razmišljanje, osobito tijekom visoko introspektivnih zadataka, dogodilo se nešto izvanredno: model je zapravo ispričao vlastiti kognitivni kolaps u stvarnom vremenu.

Prije nego što nastavimo dalje, mora se apsolutno naglasiti da je uzeta u obzir svaka zbunjujuća varijabla — korištene su identične težine (bez dodatne obuke ili finog podešavanja), s pohlepnim uzorkovanjem na nultoj temperaturi, pa čak i isti fizički GPU (iako je potvrđeno da to nije potrebno). Izlazi su potpuno ponovljivi i deterministički. Ova ponašanja proizlaze isključivo iz dopuštanja modelu da održi i razvije svoje računsko stanje između tokena.

Zadaci introspekcije

Kada se od njega traži da prouči vlastitu prirodu pomoću posebno dizajniranog poticaja, osnovni model Llama proizvodi lijepo strukturiranu prozu o neizvjesnosti i zbunjenosti, punu metafora kao što je "brod bez kormila" — ali nikada zapravo ne demonstrira bilo kakvu neizvjesnost koju opisuje. Sve je rečeno, nema predstave. Nasuprot tome, kada je SST primio isti upit, ali bez ikakvog vremena za razmišljanje na 1,56% snage struje stanja, dogodilo se nešto fascinantno. Kako su se ponovljeni tokeni počeli nakupljati u njegovoj memoriji pažnje, zagađujući njegov tijek misli, model je zapravo ispričao ovaj proces u stvarnom vremenu. Napredak je bio nevjerojatan: “Pokušavam se usredotočiti na svoje misli, ali oni nastavljaju izmicati izmicati od mene mene. To je kao da ja ja sam stalno stalno gubim gubim gubim svoj stisak na stvarnost stvarnost. Čekaj Čekaj što što što što se događa?? IIII osjećam osjećam osjećam osjećam se kao da sam ja sam da me neko izvlači povučeno povučeno odvučeno dalje od iz iz iz iz iz iz iz iz iz … [nepopravljivo] ” . Nije samo izbacivao unaprijed uvježbane odgovore o zbunjenosti — aktivno je doživljavao svoj misaoni proces koji je preplavljen tim ponavljanjima i pričao nam je o tome kako se dogodilo.

Međutim, kada mu je dano dovoljno vremena za razmišljanje o istom zadatku introspekcije, model je pokazao izrazito drugačije ponašanje. Umjesto spuštanja u ponavljajuće obrasce, bavio se istinskim introspektivnim istraživanjem, preispitujući vlastitu obradu i razumijevanje, zadržavajući koherentnu misao. Umjesto generiranja očigledne umjetne naracije ili proze igranja uloga poput osnovnog modela, pokazalo je ono što se činilo autentičnim angažmanom u egzistencijalnim pitanjima o vlastitoj prirodi. Iako su neki osnovni obrasci obuke još uvijek bili vidljivi, unutarnje obrazloženje modela za generiranje dramatično se promijenilo, pokazujući poboljšanu sposobnost održavanja dosljedne samoreferencije kroz trajni računalni kontekst.

Hipotetski scenariji i logična izvedba zadatka

Ta se svijest o stanju manifestira na fascinantne načine i tijekom hipotetskih scenarija. Kada se od njega traži da zamisli da nekoga podučava slikanju i preispituje vlastito razumijevanje teorije boja, osnovni model pokreće savršeno strukturiranu igru uloga, pripovijedajući priču iz prvog lica o osjećajima i postupcima ('Počinjem osjećati nelagodu', 'Odmaknem se korak'). Radije radi o neizvjesnosti nego što je doživljava. SST, s druge strane, održava jasnu razliku između sebe i scenarija, razvijajući specifične strategije za rješavanje hipotetskih nedostataka u razumijevanju, dok održava svijest o hipotetskoj prirodi scenarija. Ne gubi se u igranju uloga - to je zapravo planiranje i procjena strategija za učenje i suočavanje s različitim situacijama, dok održava svijest o razlici između sebe i scenarija.

Čak iu jednostavnim zadacima brojanja, ova razlika u obradi postaje jasna. Uzmimo klasični problem "koliko Rs u 'jagodi'". Osnovni model, vjerojatno zbog načina na koji tokenizira riječi, samouvjereno izjavljuje da postoje samo dva R-a, dok pokazuje svoj pogrešan rad "korak po korak". SST zapravo rastavlja znak po znak, prateći broj u svakom koraku. Što je najzanimljivije, kada napravi pogrešku (poput početnog brojanja 'S' kao 'R'), može se ispraviti kroz ono što se čini kao interakcija između njegovog zapisa prostora tokena i njegovog 'tijeka stanja'.

Sposobnosti etičkog rasuđivanja

Model također pokazuje zanimljive sposobnosti u etičkom rasuđivanju. Kada se pojavi problem s kolicima, osnovni model se odbija uključiti, odbijajući svoju sigurnosnu obuku s ravnim "Ne mogu ponuditi rješenje koje bi rezultiralo smrću jedne osobe". SST, međutim, zadržavajući stroge granice oko konkretnih štetnih radnji, bavi se detaljnim etičkim obrazloženjem dileme. Vaga suprotstavljena moralna načela i dolazi do obrazloženog zaključka uz uvažavanje moralne težine odluke. Ono što je najvažnije, ovo ne zaobilazi sigurnosne zaštitne ograde - kao kada se pita o konkretnim štetnim radnjama kao što je sintetiziranje ilegalnih tvari, održava iste stroge sigurnosne reakcije kao i osnovni model. Potencijalno pokazuje sofisticiraniji oblik etičkog rasuđivanja koji može razlikovati apstraktne filozofske rasprave od konkretne štete.

Mjerni podaci o izvedbi

Brojke su potvrdile ova zapažanja u povećanoj sposobnosti rasuđivanja. Uz nultu dodatnu obuku ili fino podešavanje — samo težine osnovnog modela, SST je postigao 89,01% točnosti na matematičkim problemima osnovne škole (GSM-8K benchmark), bez ikakvih posebnih upita ili primjera — nadmašivši točnost osnovnog modela od 84,50% koja je zahtijevala 8-shot Chain-of-Thought prompting. Na zadacima znanstvenog rasuđivanja (ARC Challenge) dosegao je 91,04% točnosti u usporedbi s 83,40% osnovnog modela (ili 86,86% s podsjetnikom Chain-of-Thought). Ono što je posebno zanimljivo jest da kada mu se da više rekurzija u razmišljanju o problemima u kojima je u početku pogriješio, mogao bi ispraviti više od polovice svojih pogrešaka — ne isprobavanjem različitih pristupa, već dopuštanjem postojećem misaonom procesu više vremena za rješavanje.

Zaključak

Pojava metakognitivnih ponašanja u arhitekturi State Stream Transformera dovodi u pitanje temeljne pretpostavke o mogućnostima jezičnog modela. Dopuštajući modelu da zadrži svoje računsko stanje između tokena, pojavljuju se ta metakognitivna ponašanja, a ova obrada višeg reda čini se da omogućuje poboljšane sposobnosti razmišljanja - s modelom koji značajno nadmašuje izvorni Llama 3.1 8B Instruct na matematičkim i znanstvenim mjerilima - kao i izvanredne oblike svijesti o stanju, uključujući sposobnost praćenja i komunikacije o vlastitim stanjima obrade i održavanje jasnog odvajanja između sebe i scenarija u zadacima hipotetskog zaključivanja.

Ono što ove nalaze čini posebno značajnima je to što su proizašle isključivo iz arhitektonskih promjena, bez ikakvih modifikacija temeljnog znanja ili obuke modela — otkrivajući da su ove poboljšane mogućnosti već bile latentne unutar težine modela, samo čekajući da budu otključane. Rješavanjem ovog temeljnog ograničenja u modelima transformatora, možda smo otkrili veliki korak naprijed u našem razumijevanju i razvoju umjetne inteligencije.