Come filosofi e scienziati vedono l'intelligenza artificiale cognitiva

Tabella dei link

Abstract e 1 Introduzione

2. Introduzione agli LLM

2.1. Fondamenti storici

2.2. LLM basati su trasformatori

3. Interfaccia con questioni filosofiche classiche

3.1. Composizionalità

3.2. Nativismo e acquisizione della lingua

3.3. Comprensione e fondamento della lingua

3.4. Modelli mondiali

3.5. Trasmissione della conoscenza culturale e supporto linguistico

4. Conclusione, glossario e riferimenti

3. Interfaccia con questioni filosofiche classiche

Le reti neurali artificiali, comprese le precedenti architetture NLP, sono da tempo al centro dell'indagine filosofica, in particolare tra i filosofi della mente, del linguaggio e della scienza. Gran parte della discussione filosofica che circonda questi sistemi ruota attorno alla loro idoneità a modellare la cognizione umana. In particolare, il dibattito si concentra sul fatto che costituiscano modelli migliori dei processi cognitivi umani fondamentali rispetto alle loro controparti classiche, simboliche e basate su regole. Qui, esaminiamo le principali questioni filosofiche emerse in merito al ruolo delle reti neurali artificiali come modelli di intelligenza, razionalità o cognizione, concentrandoci sulle loro attuali incarnazioni nel contesto delle discussioni in corso sulle implicazioni degli LLM basati sui trasformatori.

I dibattiti recenti sono stati offuscati da un modello di inferenza fuorviante, che chiamiamo "fallacia di ridescrizione". Questa fallacia si verifica quando i critici sostengono che un sistema non può modellare un particolare

capacità cognitiva, semplicemente perché le sue operazioni possono essere spiegate in termini meno astratti e più deflazionistici. Nel contesto attuale, l'errore si manifesta nelle affermazioni secondo cui gli LLM non potrebbero essere buoni modelli di una qualche capacità cognitiva 𝜙 perché le loro operazioni consistono semplicemente in una raccolta di calcoli statistici, o operazioni di algebra lineare, o previsioni di token successivi. Tali argomenti sono validi solo se accompagnati da prove che dimostrino che un sistema, definito in questi termini, è intrinsecamente incapace di implementare 𝜙. Per illustrare, si consideri la logica difettosa nell'affermare che un pianoforte non potrebbe produrre armonia perché può essere descritto come una raccolta di martelletti che colpiscono le corde, o (più specificamente) che l'attività cerebrale non potrebbe implementare la cognizione perché può essere descritta come una raccolta di scariche neurali. La questione critica non è se le operazioni di un LLM possano essere descritte in modo semplicistico in termini non mentali, ma se queste operazioni, quando opportunamente organizzate, possano implementare gli stessi processi o algoritmi della mente, quando descritti a un livello appropriato di astrazione computazionale.

La fallacia della ridescrizione è un sintomo di una tendenza più ampia a trattare questioni filosofiche chiave sulle reti neurali artificiali come puramente teoriche, portando a radicali affermazioni di principio che non sono suscettibili di disconferma empirica. Le ipotesi qui dovrebbero essere guidate da prove empiriche riguardanti le capacità delle reti neurali artificiali come gli LLM e la loro idoneità come modelli cognitivi (vedere la tabella 1). Infatti, considerazioni sull'architettura, l'obiettivo di apprendimento, le dimensioni del modello e i dati di addestramento degli LLM sono spesso insufficienti per arbitrare queste questioni. In effetti, la nostra tesi è che molti dei principali dibattiti filosofici sulle capacità delle reti neurali in generale, e degli LLM in particolare, si basano almeno in parte su prove empiriche riguardanti i loro meccanismi interni e le conoscenze che acquisiscono durante il corso dell'addestramento. In altre parole, molti di questi dibattiti non possono essere risolti a priori considerando le caratteristiche generali dei modelli non addestrati. Piuttosto, dobbiamo tenere conto dei risultati sperimentali sul comportamento e sul funzionamento interno dei modelli addestrati.

In questa sezione, esaminiamo i dibattiti di lunga data sulle capacità delle reti neurali artificiali che sono state riprese e trasformate dallo sviluppo del deep learning e dal recente successo degli LLM in particolare. Le prove comportamentali ottenute da benchmark ed esperimenti mirati sono molto importanti per tali dibattiti. Tuttavia, notiamo fin dall'inizio che tali prove sono anche insufficienti per dipingere il quadro completo; collegandoci alle preoccupazioni sui Blockhead esaminate nella prima sezione, dobbiamo anche considerare le prove su come gli LLM elaborano le informazioni internamente per colmare il divario tra le affermazioni sulle loro prestazioni e la presunta competenza. Sono stati sviluppati metodi sperimentali sofisticati per identificare e intervenire sulle rappresentazioni e sui calcoli acquisiti dagli LLM addestrati. Questi metodi promettono molto per arbitrare alcune delle questioni filosofiche qui esaminate oltre le ipotesi provvisorie supportate da prove comportamentali. Lasciamo una discussione più dettagliata di questi metodi e dei corrispondenti risultati sperimentali alla Parte II.