Како филозофите и научниците гледаат на когнитивната вештачка интелигенција

Табела со врски

Апстракт и 1 Вовед

2. Прајмер на LLM

2.1. Историски основи

2.2. LLM базирани на трансформатори

3. Интерфејс со класични филозофски прашања

3.1. Композиција

3.2. Нативизам и усвојување јазик

3.3. Јазично разбирање и заземјување

3.4. Светски модели

3.5. Пренос на културни знаења и лингвистички скелиња

4. Заклучок, речник и референци

3. Интерфејс со класични филозофски прашања

Вештачките невронски мрежи, вклучувајќи ги и претходните NLP архитектури, долго време се во фокусот на филозофското истражување, особено меѓу филозофите на умот, јазикот и науката. Голем дел од филозофската дискусија околу овие системи се врти околу нивната соодветност за моделирање на човечкото сознание. Поточно, дебатата се фокусира на тоа дали тие сочинуваат подобри модели на основни човечки когнитивни процеси од нивните класични, симболични, засновани на правила. Овде, ги разгледуваме клучните филозофски прашања што се појавија во врска со улогата на вештачките невронски мрежи како модели на интелигенција, рационалност или когниција, фокусирајќи се на нивните тековни инкарнации во контекст на тековните дискусии за импликациите на LLM базирани на трансформатори.

Неодамнешните дебати беа замаглени со погрешна шема на заклучоци, која ја нарекуваме „Заблуда во преопишувањето“. Оваа заблуда се појавува кога критичарите тврдат дека системот не може да моделира одредено

когнитивен капацитет, едноставно затоа што неговите операции може да се објаснат со помалку апстрактни и повеќе дефлациски термини. Во сегашниот контекст, заблудата се манифестира во тврдењата дека LLM не би можеле да бидат добри модели на одреден когнитивен капацитет 𝜙 бидејќи нивните операции само се состојат во збирка статистички пресметки, или линеарни операции на алгебра, или следно предвидувања. Ваквите аргументи се валидни само ако се придружени со докази кои покажуваат дека системот, дефиниран во овие термини, е инхерентно неспособен за имплементација 𝜙. За илустрација, земете ја во предвид погрешната логика во тврдењето дека пијаното не може да создаде хармонија затоа што може да се опише како збирка чекани што удираат кон жици или (поточно) дека мозочната активност не може да го имплементира спознанието затоа што може да се опише како збирка на нервни отпуштања. Критичното прашање не е дали операциите на LLM можат поедноставено да се опишат во нементални термини, туку дали овие операции, кога се соодветно организирани, можат да ги имплементираат истите процеси или алгоритми како умот, кога се опишани на соодветно ниво на пресметковна апстракција.

Заблудата за преопишување е симптом на поширок тренд да се третираат клучните филозофски прашања за вештачките невронски мрежи како чисто теоретски, што доведува до опширни начелни тврдења кои не се подложни на емпириско побивање. Хипотезите овде треба да бидат водени од емпириски докази во врска со капацитетите на вештачките невронски мрежи како што се LLM и нивната соодветност како когнитивни модели (види табела 1). Всушност, размислувањата за архитектурата, целта на учењето, големината на моделот и податоците за обука на LLM често се недоволни за да се арбитираат овие прашања. Навистина, нашето тврдење е дека многу од основните филозофски дебати за капацитетите на невронските мрежи воопшто, и LLM особено, зависат барем делумно од емпириските докази во врска со нивните внатрешни механизми и знаењето што го стекнуваат за време на обуката. Со други зборови, многу од овие дебати не можат да се решат априори со разгледување на општите карактеристики на необучени модели. Наместо тоа, ние мора да ги земеме предвид експерименталните наоди за однесувањето и внатрешната работа на обучените модели.

Во овој дел, ги испитуваме долготрајните дебати за капацитетите на вештачките невронски мрежи кои се оживеани и трансформирани со развојот на длабокото учење и особено неодамнешниот успех на LLM. Доказите за однесувањето добиени од одредниците и целните експерименти се многу важни за тие дебати. Меѓутоа, од самиот почеток забележуваме дека таквите докази се исто така недоволни за да се наслика целосната слика; поврзувајќи се со загриженоста за блок-главите разгледани во првиот дел, ние исто така мора да разгледаме докази за тоа како LLM ги обработуваат информациите внатрешно за да го затворат јазот помеѓу тврдењата за нивните перформанси и наводната компетентност. Развиени се софистицирани експериментални методи за да се идентификуваат и интервенираат на претставите и пресметките стекнати од обучени LLM. Овие методи даваат големо ветување за арбитража на некои од филозофските прашања разгледани овде надвор од пробните хипотези поддржани со докази за однесувањето. Оставаме подетална дискусија за овие методи и соодветните експериментални наоди на Дел II.