Autoriai:
(1) Raphaël Millière, Macquarie universiteto Filosofijos katedra ([email protected]);
(2) Cameron Buckner, Hiustono universiteto Filosofijos katedra ([email protected]).
Nuorodų lentelė
2. Pradinis ant LLM
2.2. Transformatorių pagrindu veikiančios LLM
3. Sąsaja su klasikiniais filosofiniais klausimais
3.2. Natyvizmas ir kalbos mokėjimas
3.3. Kalbos supratimas ir įžeminimas
3.5. Kultūros žinių perdavimas ir kalbiniai pastoliai
4. Išvados, žodynas ir nuorodos
3. Sąsaja su klasikiniais filosofiniais klausimais
Dirbtiniai neuroniniai tinklai, įskaitant ankstesnes NLP architektūras, ilgą laiką buvo filosofinių tyrimų dėmesio centre, ypač tarp proto, kalbos ir mokslo filosofų. Didžioji dalis filosofinių diskusijų, susijusių su šiomis sistemomis, sukasi apie jų tinkamumą modeliuoti žmogaus pažinimą. Konkrečiai, diskusijos sutelktos į tai, ar jie yra geresni pagrindinių žmogaus pažinimo procesų modeliai nei klasikiniai, simboliniai, taisyklėmis pagrįsti atitikmenys. Čia apžvelgiame pagrindinius iškilusius filosofinius klausimus, susijusius su dirbtinių neuronų tinklų, kaip intelekto, racionalumo ar pažinimo modelių, vaidmeniu, sutelkiant dėmesį į dabartinius jų įsikūnijimus vykstančių diskusijų apie transformatorių pagrindu veikiančių LLM pasekmes kontekste.
Pastarąsias diskusijas užtemdė klaidinantis išvadų modelis, kurį vadiname „perrašymo klaidomis“. Ši klaida kyla, kai kritikai teigia, kad sistema negali modeliuoti konkretaus
kognityvinis pajėgumas vien todėl, kad jo operacijas galima paaiškinti mažiau abstrakčiais ir labiau defliaciniais terminais. Dabartiniame kontekste klaidingumas pasireiškia teiginiais, kad LLM niekaip negali būti geri tam tikro pažinimo pajėgumo modeliai, nes jų operacijos susideda tik iš statistinių skaičiavimų arba tiesinės algebros operacijų, arba kito žetono prognozių rinkinio. Tokie argumentai galioja tik tuo atveju, jei pateikiami įrodymai, įrodantys, kad šiose sąlygose apibrėžta sistema iš prigimties negali būti įgyvendinta 𝜙. Norėdami iliustruoti, apsvarstykite klaidingą logiką tvirtinant, kad fortepijonas niekaip negali sukurti harmonijos, nes jį galima apibūdinti kaip plaktukų, smogiančių į stygas, rinkinį, arba (dar aiškiau), kad smegenų veikla niekaip negali įgyvendinti pažinimo, nes ją galima apibūdinti kaip nervinių šūvių rinkinį. Esminis klausimas yra ne tai, ar LLM operacijas galima supaprastintai apibūdinti ne mintimis, bet ar šios operacijos, tinkamai organizuotos, gali įgyvendinti tuos pačius procesus ar algoritmus kaip ir protas, kai aprašomos atitinkamu skaičiavimo abstrakcijos lygiu.
Perrašymo klaidos yra platesnės tendencijos simptomas, kai pagrindiniai filosofiniai klausimai apie dirbtinius neuroninius tinklus laikomi grynai teoriniais, o tai lemia plataus pobūdžio teiginius, kurių negalima empiriškai paneigti. Hipotezės čia turėtų būti grindžiamos empiriniais įrodymais apie dirbtinių neuroninių tinklų, tokių kaip LLM, pajėgumus ir jų tinkamumą pažinimo modeliams (žr. 1 lentelę). Tiesą sakant, svarstymų apie LLM architektūrą, mokymosi tikslą, modelio dydį ir mokymo duomenis dažnai nepakanka norint išspręsti šias problemas. Iš tiesų, mūsų tvirtinimas yra tas, kad daugelis pagrindinių filosofinių diskusijų apie neuroninių tinklų pajėgumus apskritai, o ypač LLM, bent iš dalies priklauso nuo empirinių įrodymų, susijusių su jų vidiniais mechanizmais ir žiniomis, kurias jie įgyja mokymosi metu. Kitaip tariant, daugelio šių diskusijų negalima išspręsti a priori, atsižvelgiant į bendras neapmokytų modelių charakteristikas. Atvirkščiai, turime atsižvelgti į eksperimentines išvadas apie apmokytų modelių elgesį ir vidinį veikimą.
Šiame skyriuje nagrinėjame ilgalaikes diskusijas apie dirbtinių neuroninių tinklų pajėgumus, kurie buvo atgaivinti ir transformuoti dėl gilaus mokymosi plėtros ir ypač pastarojo meto LLM sėkmės. Elgesio įrodymai, gauti iš etalonų ir tikslinių eksperimentų, yra labai svarbūs šioms diskusijoms. Tačiau nuo pat pradžių pastebime, kad tokių įrodymų taip pat nepakanka, kad būtų galima susidaryti visą vaizdą; Prisijungdami prie susirūpinimo dėl Blockheads, apžvelgto pirmame skyriuje, taip pat turime atsižvelgti į įrodymus, kaip LLM apdoroja informaciją viduje, kad panaikintų atotrūkį tarp teiginių apie jų veiklą ir tariamą kompetenciją. Buvo sukurti sudėtingi eksperimentiniai metodai, skirti nustatyti ir įsikišti į apmokytų LLM gautus vaizdus ir skaičiavimus. Šie metodai duoda daug pažadų išspręsti kai kuriuos čia apžvelgtus filosofinius klausimus, o ne tik preliminarias hipotezes, pagrįstas elgesio įrodymais. Išsamesnį šių metodų ir atitinkamų eksperimentinių išvadų aptarimą paliekame II daliai.
Šis dokumentas yra prieinamas arxiv pagal CC BY 4.0 DEED licenciją.
