Uthorsazyjylar:
(1) Raphaël Millière, Makkari uniwersitetiniň Filosofiýa bölümi ([email protected]);
(2) Kameron Bakner, Hýuston uniwersitetiniň filosofiýa bölümi ([email protected]).
Salgylar tablisasy
2. LLM-lerde başlangyç
2.2. Transformator esasly LLM-ler
3. Klassiki filosofiki meseleler bilen interfeýs
3.3. Dili düşünmek we esaslandyrmak
3.5. Medeni bilimleriň we lingwistik skafyň ýaýramagy
4. Jemleme, Sözlük we salgylanmalar
3. Klassiki filosofiki meseleler bilen interfeýs
Emeli nerw ulgamlary, şol sanda ozalky NLP arhitekturasy, esasanam akyl, dil we ylym filosoflarynyň arasynda filosofiki gözlegiň merkezi bolup gelýär. Bu ulgamlary gurşap alýan pelsepewi pikir alyşmalaryň köpüsi, adamyň aň-düşünjesini nusga almaga laýyklygy bilen baglanyşykly. Hususan-da, jedeller, olaryň klassiki, simwoliki, düzgüne esaslanýan kärdeşlerinden has gowy adam aň-bilim prosesleriniň has gowy modellerini emele getirýärmi ýa-da ýokdugy barada. Bu ýerde, transformator esasly LLM-leriň täsiri barada dowam edýän çekişmeleriň çäginde häzirki keşplerine ünsi jemläp, emeli nerw torlarynyň akyl, rasionalizm ýa-da akyl nusgasy hökmünde roly bilen baglanyşykly ýüze çykan esasy filosofiki soraglary gözden geçirýäris.
Soňky çekeleşikler, "Täzeden ýazmak ýalňyşlygy" diýip atlandyrýan ýalňyş pikirleniş usuly bilen bulutlandy. Tankytçylar ulgamyň belli bir modeli döredip bilmejekdigini öňe sürenlerinde bu ýalňyşlyk ýüze çykýar
aň-bilim ukyby, diňe amallaryny has abstrakt we has deflýasiýa manysynda düşündirip bolýandygy sebäpli. Häzirki kontekstde ýalňyşlyk LLM-leriň käbir aň-bilim ukybynyň gowy nusgasy bolup bilmejekdigini öňe sürýär 𝜙 sebäbi olaryň amallary diňe statistiki hasaplamalar ýygyndysyndan, ýa-da çyzykly algebra amallaryndan ýa-da indiki çaklamalardan ybarat. Şeýle argumentler, diňe şu şertlerde kesgitlenen ulgamyň implement durmuşa geçirip bilmejekdigini görkezýän subutnamalar bilen bilelikde ulanylýar. Mysal üçin, fortepianonyň sazlaşyk döredip bilmejekdigini tassyklamakda kemçilikli logikany göz öňünde tutuň, sebäbi ony çekiçleriň urýan ýygyndysy hökmünde häsiýetlendirip bolar, ýa-da beýniniň işjeňligi bilimi durmuşa geçirip bilmez, sebäbi nerw atyşyklary hökmünde häsiýetlendirilip bilner. Möhüm sorag, LLM-iň amallaryny akyl taýdan däl görnüşde düşündirip bolarmy ýa-da degişli amallar, degişli hasaplama abstraksiýasynyň derejesinde beýan edilende, akyl bilen birmeňzeş amallary ýa-da algoritmleri durmuşa geçirip bilermi.
Gaýtadan ýazylmak ýalňyşlygy, emeli nerw ulgamlary baradaky esasy filosofiki soraglara diňe teoretiki hökmünde garamak üçin has giň tendensiýanyň alamaty bolup, empirik tassyklamalara laýyk gelmeýän prinsipial talaplaryň köpelmegine sebäp bolýar. Bu ýerdäki gipotezalar LLM ýaly emeli nerw torlarynyň kuwwaty we akyl modelleri hökmünde laýyklygy baradaky empirik subutnamalara esaslanmalydyr (1-nji tablisa serediň). Aslynda, LLM-leriň arhitekturasy, okuw maksady, modeliň ululygy we okuw maglumatlary baradaky pikirler köplenç bu meseleleri çözmek üçin ýeterlik däl. Hakykatdanam, biziň jedelimiz, umuman nerw ulgamlarynyň mümkinçilikleri we esasanam LLM-ler baradaky esasy filosofiki jedelleriň, okuwyň dowamynda alýan içerki mehanizmleri we bilimleri baradaky empirik subutnamalara esaslanýar. Başga bir söz bilen aýdylanda, bu çekişmeleriň köpüsini tälim berilmedik modelleriň umumy aýratynlyklaryny göz öňünde tutup çözüp bolmaz. Has dogrusy, tälim berlen modelleriň özüni alyp barşy we içki işi barada synag synaglaryny göz öňünde tutmalydyrys.
Bu bölümde, çuňňur öwrenmegiň ösüşi we esasanam LLM-leriň soňky üstünlikleri bilen janlanan we üýtgedilen emeli nerw torlarynyň mümkinçilikleri barada köpden bäri dowam edýän jedelleri gözden geçirýäris. Ölçeglerden we maksatlaýyn synaglardan alnan özüni alyp baryş subutnamalary bu çekişmeler üçin möhümdir. Şeýle-de bolsa, başda şeýle subutnamalaryň doly surat çekmek üçin ýeterlik däldigini belläp geçýäris; Birinji bölümde gözden geçirilen Blokheadler baradaky aladalara baglanmak bilen, LLM-leriň öndürijiligi we başarnyklary baradaky talaplaryň arasyndaky boşlugy ýapmak üçin içerki maglumatlary nähili işleýändigi baradaky subutnamalary hem göz öňünde tutmalydyrys. Öwredilen LLM-ler tarapyndan alnan wekilçilikleri we hasaplamalary kesgitlemek we olara goşulmak üçin çylşyrymly synag usullary işlenip düzüldi. Bu usullar, özüni alyp barşyň subutnamalary bilen tassyklanan synag gipotezalaryndan başga-da gözden geçirilen käbir pelsepe meselelerini ara alyp maslahatlaşmak üçin uly wada berýär. Bu usullar we degişli synag synaglary barada has jikme-jik pikir alyşmagy II bölüme goýýarys.
Bu kagyz, CC BY 4.0 DEED ygtyýarnamasy boýunça arxiv-de elýeterlidir .
