Dimri i AI është afër, me mirësjellje të fizikës

Dimri (Fizika) po vjen

Tani duket se Modelet e Mëdha të Gjuhëve që funksionojnë në teknologjinë GPT mund të jenë afër një pllajë në zhvillimin e tyre. Kjo është nga videoja më e fundit në YouTube e fizikanit të njohur Dr. Sabine Hossenfelder.

Dr. Sabine citon disa burime, duke përfshirë Bill Gates, i cili tha vitin e kaluar se GPT 5 nuk do të jetë shumë më i mirë se GPT 4. Dhe Prof. Gary Marcus thotë se ka vite që e ka vënë këtë ritëm të veçantë. Kjo shkon kundër të gjitha reklamave të Ray Kurzweilian nga Sam Altman dhe Ilya Sutskever siç shihet në video.

Por nëse thjesht matematika e bukur nuk do të nxisë përparimin e Fizikës, siç na kujton gjithmonë Dr. Sabine, atëherë thjesht të menduarit në grup nuk do të na japë një inteligjencë të përgjithshme artificiale mbinjerëzore (AGI).

Pse hedhja e aq shumë të dhënave, fuqia kompjuterike dhe mbikëqyrja njerëzore sa mund të përballohet, nuk është një AGI mbinjerëzore që na sjell në jetë?

Dr. Sabine ka një përgjigje të gatshme. Problemi, shpjegon ajo, është shkëputja e peshores .

Shkëputja e peshores

Bota është e ndarë në peshore.

Në botën fizike, ekziston shkalla e kafshëve tokësore si ne njerëzit. Pastaj më poshtë kemi mikrobet, pastaj molekulat, atomet dhe grimcat nënatomike. Në drejtim të kundërt kemi avionë dhe rrokaqiej, male, planetë, yje, sisteme diellore, galaktika etj.

Në botën e të dhënave, ne kemi të dhëna me rezolucion të lartë, p.sh. kategori si "objektet që mund të preken", "kafshët", "macet". Më pas të dhëna me rezolucion të ulët për të zgjeruar më tej kategoritë e mësipërme, p.sh. "llojet e maceve", "modelet e maceve", "sjellja e maceve në orën 8:00 të mëngjesit të së hënës", etj.

Sidoqoftë, ka taksonomi të tjera. Disa të dhëna janë online dhe disa janë jashtë linje në libra, letra dhe mendjet e njerëzve.

Ne mund të kemi të gjitha njohuritë që dëshirojmë në shkallën me rezolucion të lartë të krijimit të gjuhës njerëzore në internet . Por kjo nuk barazohet me burimin shumë më të madh të të dhënave me rezolucion të ulët që është krijimi i gjuhës njerëzore në botë .

Kështu, AI i Sam Altman është si Aristoteli në imazhin më poshtë. Duke shpresuar për të zbuluar Modelin Standard të Fizikës duke parë dorën e tij.

Por pa diçka si Përplasësi i Madh i Hadronit për të goditur grimcat nënatomike dhe për të parë të dhënat e reja të çuditshme që fshihen brenda, Aristoteli është në humbje sesi të vazhdojë.

Një përplasës i madh Hadron për AI

Arkitektura GPT, e zbuluar në botë vetëm 2 vjet më parë me ChatGPT fenomenale, ka të ngjarë t'i afrohet fundit të "përmirësimit" të saj. Ndoshta është koha që të shqyrtojmë seriozisht kalimin e stafetës dhe financimin e QV-së në diçka tjetër.

Unë jam duke rrënjosur për llogaritjen termodinamike , aktualisht duke u eksploruar nga kompani si Extropic, e cila punon duke shfrytëzuar zhurmën termike për të krijuar mostra të rastësishme të të dhënave si në teknologjinë e Difuzionit të Qëndrueshëm, pastaj duke denoizuar duke përdorur analizat statistikore.

Në fakt, në çdo rrjet nervor , peshat fillestare zakonisht inicializohen me zhurmë të rastësishme. Gjatë stërvitjes, përhapja e pasme formon peshat përfundimtare nga kjo zhurmë e rastësishme - shkruan Laszlo Fazekas.

Avantazhi qëndron në çipat që funksionojnë në shkallë më të vogla se ato të llogaritjes tradicionale dixhitale, ku efektet kuantike rezultojnë në zhurmë të bollshme termike.

Gjithsesi, zhurma termike ka qenë gjithmonë e madhe.

Stufa ime e kuzhinës është plot me zhurmë termike.

Problemi i vërtetë ka qenë gjithmonë se si ta kuptojmë atë më mirë përmes copëtimit statistikor të të dhënave të tij, pa i hedhur poshtë të dhënat gjatë analizës së regresionit.

Mendimi im? Një lloj trajnimi masiv i teknologjisë artificiale kompjuterike cloud, duke shfrytëzuar telefonat inteligjentë, nyjet e bitcoin, televizorët, radiot.

Aktualisht, duke i lejuar AI një "kohë të menduari" në mënyrë që të nxjerrë konkluzione më të gjata mbi të njëjtat të dhëna, është mënyra se si kompanitë e AI po shtrydhin pak më shumë lëng. Për shembull me modelin o1 të ChatGPT.

Por ndoshta edhe koha e stërvitjes duhet të zgjatet. Ndoshta për të marrë inteligjencë artificiale të shkëlqyer, si një fëmijë, i duhen dekada të tëra trajnimi nga të dhënat e mbledhura nga të gjitha anët. Mbledhur dhe futur ngadalë në një model të kondensuar të AI në disa serverë.

Sam Altman mund të ketë nevojë për ato triliona dollarë qeveritarë për një plan të tillë. Mjerisht, ato nuk do të jenë të lehta për t'u marrë. DOGE mund të mos e financojë atë (nëse xAI po vuan të njëjtat probleme).

Ndërkohë, Bitcoin është ende në rritje

Siç tregon grafiku i mësipërm, shumë pak njerëz po përdorin Bitcoin. Megjithatë, tashmë është në 90 mijë dollarë .

Të dhënat nga Bitbo tregojnë se në fakt, vetëm 400,000 njerëz përdorin Bitcoin çdo ditë. Dhe vetëm 106 milionë kanë Bitcoin.

Krahasoni këtë me 314 milionë njerëz që kanë përdorur mjete AI sipas të dhënave nga Statista . Vetëm ChatGPT ka miliona përdorues në ditë . Ndoshta më shumë se i gjithë blloku i Bitcoin i kombinuar!

Çfarë ka më shumë? AI grumbulloi pjesën më të madhe të këtyre përdoruesve në më pak se një vit. Kjo ndjehet gabim. Bitcoin iu deshën vite për t'u rritur. Njerëzit djersiteshin, humbën, DCA'd, kishin besim.

Ndoshta kjo është ajo. ChatGPT është rritur shumë shpejt. Tani është ngadalësuar dhe të gjithë janë të thartë.

Na vjen keq, po, ka ende punë për të bërë. AGI nuk do të jetë aq e lehtë për t'u kuptuar, dhe shkencëtarët e GPT duhet të mësojnë të përdorin si Bitcoiners. Dimri do të vijë dhe do të shkojë, por pikërisht tani, është koha për të paguar gypi.