Autori:
(1) Raphaël Millière, Katedra filozofie, Macquarie University ([email protected]);
(2) Cameron Buckner, Katedra filozofie, Univerzita v Houstone ([email protected]).
Tabuľka odkazov
2. Základný náter na LLM
2.2. LLM založené na transformátoroch
3. Rozhranie s klasickými filozofickými problémami
3.2. Nativizmus a osvojovanie si jazyka
3.3. Porozumenie a uzemnenie jazyka
3.5. Prenos kultúrnych znalostí a jazykové lešenie
3. Rozhranie s klasickými filozofickými problémami
Umelé neurónové siete, vrátane skorších NLP architektúr, boli dlho stredobodom filozofického skúmania, najmä medzi filozofmi mysle, jazyka a vedy. Veľká časť filozofickej diskusie okolo týchto systémov sa točí okolo ich vhodnosti na modelovanie ľudského poznania. Konkrétne sa diskusia sústreďuje na to, či predstavujú lepšie modely základných ľudských kognitívnych procesov ako ich klasické, symbolické náprotivky založené na pravidlách. Tu uvádzame kľúčové filozofické otázky, ktoré sa objavili v súvislosti s úlohou umelých neurónových sietí ako modelov inteligencie, racionality alebo poznania, so zameraním na ich súčasné inkarnácie v kontexte prebiehajúcich diskusií o dôsledkoch LLM založených na transformátoroch.
Nedávne diskusie boli zahmlené zavádzajúcim vzorcom odvodenia, ktorý nazývame „klam prepisovania“. Tento omyl vzniká, keď kritici tvrdia, že systém nemôže modelovať konkrétny
kognitívna kapacita, jednoducho preto, že jej operácie možno vysvetliť menej abstraktnými a viac deflačnými termínmi. V súčasnom kontexte sa omyl prejavuje v tvrdeniach, že LLM by v žiadnom prípade nemohli byť dobrými modelmi určitej kognitívnej kapacity 𝜙, pretože ich operácie pozostávajú iba zo súboru štatistických výpočtov, operácií lineárnej algebry alebo predpovedí ďalšieho tokenu. Takéto argumenty sú platné len vtedy, ak sú sprevádzané dôkazmi preukazujúcimi, že systém definovaný v týchto podmienkach nie je vo svojej podstate schopný implementovať 𝜙. Pre ilustráciu, zvážte chybnú logiku tvrdenia, že klavír nemôže produkovať harmóniu, pretože ho možno opísať ako zbierku kladív udierajúcich na struny, alebo (výraznejšie), že mozgová aktivita nemôže implementovať poznanie, pretože ho možno opísať ako súbor nervových výbojov. Kritickou otázkou nie je, či možno operácie LLM zjednodušene opísať nementálnymi termínmi, ale či tieto operácie, ak sú vhodne organizované, môžu implementovať rovnaké procesy alebo algoritmy ako myseľ, keď sú opísané na vhodnej úrovni výpočtovej abstrakcie.
The Redescription Fallacy je symptómom širšieho trendu považovať kľúčové filozofické otázky o umelých neurónových sieťach za čisto teoretické, čo vedie k rozsiahlym zásadným tvrdeniam, ktoré nie sú prístupné empirickému vyvráteniu. Hypotézy by sa tu mali riadiť empirickými dôkazmi týkajúcimi sa kapacít umelých neurónových sietí ako LLM a ich vhodnosti ako kognitívnych modelov (pozri tabuľku 1). V skutočnosti úvahy o architektúre, cieli učenia, veľkosti modelu a tréningových údajoch LLM často nestačia na to, aby sa tieto problémy vyriešili. V skutočnosti sa domnievame, že mnohé z kľúčových filozofických diskusií o kapacitách neurónových sietí vo všeobecnosti, a najmä LLM, sa prinajmenšom čiastočne zakladajú na empirických dôkazoch týkajúcich sa ich vnútorných mechanizmov a vedomostí, ktoré získajú počas tréningu. Inými slovami, mnohé z týchto debát nemožno a priori vyriešiť zvážením všeobecných charakteristík netrénovaných modelov. Skôr musíme brať do úvahy experimentálne zistenia o správaní a vnútornom fungovaní trénovaných modelov.
V tejto časti skúmame dlhodobé debaty o kapacitách umelých neurónových sietí, ktoré boli oživené a transformované rozvojom hlbokého učenia a najmä nedávnym úspechom LLM. Dôkazy o správaní získané z referenčných hodnôt a cielených experimentov sú pre tieto debaty veľmi dôležité. Hneď na začiatku však poznamenávame, že takéto dôkazy tiež nepostačujú na vykreslenie úplného obrazu; v súvislosti s obavami o Blockheads, ktoré sme preskúmali v prvej časti, musíme zvážiť aj dôkazy o tom, ako LLM interne spracovávajú informácie, aby sa vyplnila priepasť medzi tvrdeniami o ich výkone a predpokladanej kompetencii. Boli vyvinuté sofistikované experimentálne metódy na identifikáciu a zásah do reprezentácií a výpočtov získaných vyškolenými LLM. Tieto metódy sú veľkým prísľubom pri rozhodovaní o niektorých filozofických otázkach, ktoré sa tu skúmajú, nad rámec predbežných hypotéz podporovaných dôkazmi o správaní. Podrobnejšiu diskusiu o týchto metódach a zodpovedajúcich experimentálnych zisteniach ponechávame v časti II.
Tento dokument je dostupný na arxiv pod licenciou CC BY 4.0 DEED.
