Муаллифон:
(1) Рафаэл Миллиер, шӯъбаи фалсафаи Донишгоҳи Маккуари ([email protected]);
(2) Камерон Бакнер, шӯъбаи фалсафаи Донишгоҳи Хьюстон ([email protected]).
Ҷадвали пайвандҳо
2. Пример оид ба LLM
2.2. LLM-ҳои ба трансформатор асосёфта
3. Муносибат бо масъалаҳои фалсафии классикӣ
3.2. Нативизм ва азхудкунии забон
3.3. Фаҳмиши забон ва асосноккунӣ
3.5. Интиқоли донишҳои фарҳангӣ ва таҳкурсии забонӣ
2.1. Асосҳои таърихӣ
Сарчашмаи моделҳои бузурги забонро метавон аз оғози таҳқиқоти AI пайгирӣ кард. Таърихи ибтидоии коркарди забони табиӣ (NLP) бо ҷудоӣ байни ду парадигмаи рақобаткунанда қайд карда шуд: равишҳои рамзӣ ва стохастикӣ. Таъсири асосӣ ба парадигмаи рамзӣ дар NLP грамматикаи табдилдиҳанда-генеративии Ноам Хомский буд (Чомский 1957), ки синтаксиси забонҳои табииро тавассути маҷмӯи қоидаҳои расмӣ, ки ҷумлаҳои хуб ташаккулёфтаро тавлид мекунанд, гирифтан мумкин аст. Кори Хомский барои ташаккули тахлилсозони синтаксиси дар асоси коида асос гузошт, ки онхо аз назарияи забоншиноси барои ба кисмхои таркибии онхо таксим кардани чумлахо истифода мебаранд. Системаҳои ибтидоии гуфтугӯии NLP, аз қабили SHRDLU-и Winograd (Winograd 1971) барои коркарди вуруди корбар таҳлилгарони синтаксисиро бо маҷмӯи мураккаби қоидаҳои муваққатӣ талаб мекарданд.
Дар баробари ин, парадигмаи стохастикӣ аз ҷониби муҳаққиқон ба монанди математик Уоррен Уивер, ки аз назарияи иттилоотии Клод Шеннон таъсир дошт, пешрав буд. Дар ёддоште, ки соли 1949 навишта шудааст, Вевер истифодаи компютерҳоро барои тарҷумаи мошинӣ бо истифода аз усулҳои оморӣ пешниҳод кард (Weaver 1955). Ин кор барои таҳияи моделҳои забони оморӣ, аз қабили моделҳои n-gram, ки эҳтимолияти пайдарпайии калимаҳоро дар асоси басомадҳои мушоҳидашудаи таркиби калимаҳо дар корпус арзёбӣ мекунанд, роҳ кушод (Jelinek 1998). Аммо, дар ибтидо, парадигмаи стохастикӣ аз равишҳои рамзӣ ба NLP ақиб монда буд ва танҳо муваффақияти хоксоронаро дар моделҳои бозича бо барномаҳои маҳдуд нишон дод.
Боз як қадами муҳими назариявӣ дар роҳ ба сӯи моделҳои забони муосир ин гипотезаи ба истилоҳ тақсимотӣ мебошад, ки бори аввал аз ҷониби забоншинос Зеллиг Ҳаррис дар солҳои 1950 пешниҳод шуда буд (Харрис 1954). Ин ақида ба нуқтаи назари сохторӣ нисбат ба забон асос ёфта буд, ки воҳидҳои забонӣ тавассути шаклҳои ҳамбастагии худ бо воҳидҳои дигари система маъно пайдо мекунанд. Ҳаррис махсусан пешниҳод кард, ки маънои калимаро тавассути баррасии хосиятҳои тақсимоти он ё контекстҳое, ки дар он рух медиҳанд, муайян кардан мумкин аст. Ферт (1957) ин фарзияро бо шиори «Шумо калимаро аз рӯи ширкате, ки дар он нигоҳ медорад, донед» дуруст ҷамъбаст намуда, таъсири консепсияи Витгенштейн (1953) дар бораи маъно-ҳамчун истифодаро эътироф намуда, аҳамияти контекстро дар фаҳмиши маънои забонӣ эътироф кардааст.
Тавре ки тадқиқот оид ба фарзияи тақсимотӣ пеш рафт, олимон ба таҳқиқи имкони муаррифии маънои калимаҳо ҳамчун векторҳо дар фазои бисёрченака шурӯъ карданд 1. Корҳои аввалини таҷрибавӣ дар ин соҳа аз психология сарчашма гирифта, маънои калимаҳоро дар баробари андозаҳои гуногун, аз қабили валентӣ ва потенсиалӣ тафтиш карданд (Осгуд 1952). Дар ҳоле, ки ин кор идеяи ифодаи маъноро дар фазои вектории бисёрченака ҷорӣ кардааст, на ба таҳлили хосиятҳои тақсимоти корпуси забонӣ, ба рейтингҳои возеҳи иштирокчиён дар бораи коннотацияҳои калимаҳо дар миқёсҳои гуногун (масалан, хуб-бад) такя мекард. Тадқиқоти минбаъда дар ҷустуҷӯи иттилоот намояндагиҳои векториро бо равиши ба додаҳо асосёфта муттаҳид намуда, усулҳои автоматикунонидашудаи муаррифии ҳуҷҷатҳо ва калимаҳоро ҳамчун векторҳо дар фазои вектории баландандоза таҳия намуд (Salton et al. 1975).
Пас аз даҳсолаҳои таҳқиқоти таҷрибавӣ, ин ғояҳо дар ниҳоят бо таҳияи моделҳои ҷобаҷогузории калимаҳо бо истифода аз шабакаҳои нейронии сунъӣ ба камол расиданд (Bengio et al. 2000). Ин моделҳо ба фаҳмиши он асос ёфтаанд, ки хусусиятҳои тақсимоти калимаҳоро тавассути омӯзиши шабакаи нейрон барои пешгӯии контексти калима бо худи калима омӯхтан мумкин аст ё баръакс. Баръакси усулҳои омории қаблӣ, аз қабили моделҳои n-gram, моделҳои ҷобаҷогузории калима калимаҳоро ба намоишҳои вектории зич ва камченака рамзгузорӣ мекунанд (расми 1). Фазои вектории натиҷавӣ андозагирии маълумоти забонро ба таври назаррас коҳиш медиҳад ва ҳангоми нигоҳ доштани маълумот дар бораи муносибатҳои лингвистии пурмазмун берун аз омори оддии муштарак. Қобили зикр аст, ки бисёре аз муносибатҳои семантикӣ ва синтаксиси байни калимаҳо дар зерсохторҳои хатӣ дар фазои вектории моделҳои ҷобаҷогузории калимаҳо инъикос меёбанд. Масалан, Word2Vec (Mikolov et al. 2013) нишон дод, ки ҷобаҷогузории калима метавонад ҳам қонуниятҳои семантикӣ ва ҳам синтаксисиро ба даст орад, зеро аз он шаҳодат медиҳад, ки вазифаҳои аналогияи калима тавассути арифметикаи соддаи векторӣ, ки сохтори лингвистии ниҳонии дар фазои векторӣ рамзгузорӣшударо ошкор мекунад (масалан, 𝑘𝑖 + 𝑤𝑜𝑚𝑎𝑛 − 𝑚𝑎𝑛 ≈ 𝑞𝑢𝑒𝑒𝑛, ё 𝑤𝑎𝑙𝑘𝑖𝑛𝑔 + 𝑚𝑚− 𝑤𝑎𝑙𝑘𝑒𝑑 ≈ 𝑠𝑤𝑖𝑚𝑚𝑖𝑛𝑔).
Рушди моделҳои ҷобаҷогузории калимаҳо дар таърихи NLP як нуқтаи гардишро нишон дод, ки воситаи пурқувват ва муассири муаррифии воҳидҳои забонро дар фазои вектории доимӣ дар асоси тақсимоти омории онҳо дар корпуси калон фароҳам овард. Аммо, ин моделҳо якчанд маҳдудиятҳои назаррас доранд. Аввалан, онҳо қобилияти гирифтани полисемия ва омонимияро надоранд, зеро онҳо а
воридкунии ягона ё "статикӣ" ба ҳар як навъи калима, ки тағироти маъноро дар асоси контекст ҳисоб карда наметавонад; масалан, ба «бонк» новобаста аз он ки он ба соҳили дарё ё муассисаи молиявӣ дахл дорад, як ҷобаҷогузории беназир таъин карда мешавад. Дуввум, онҳо ба меъмории шабакаи сунъии нейронии "ноён" бо як қабати пинҳон такя мекунанд, ки қобилияти онҳоро барои моделсозии муносибатҳои мураккаби байни калимаҳо маҳдуд мекунад. Ниҳоят, онҳо барои муаррифии забон дар сатҳи вожаҳои алоҳида тарҳрезӣ шуда, барои намунаи ифодаи мураккаби забонӣ, аз қабили ибораҳо, ҷумлаҳо ва параграфҳо мувофиқ нестанд. Ҳарчанд имкон дорад, ки ҷумларо ҳамчун вектор бо ҳисоби миёна гузоштани ҳар як калима дар ҷумла муаррифӣ кард, ин роҳи хеле заиф барои ифодаи маънои сатҳи ҷумла аст, зеро он маълумотро дар бораи сохтори таркибӣ, ки дар тартиби калима инъикос ёфтааст, гум мекунад. Ба ибораи дигар, моделҳои ҷобаҷогузории калима ба забон танҳо ҳамчун «халтаи калимаҳо» муносибат мекунанд; масалан, "китоби қонун" ва "қонуни китоб" ҳамчун маҷмӯи бетартиб {'a','book','law'} якхела баррасӣ мешаванд.
Камбудиҳои моделҳои ҷобаҷогузории калимаҳо бо ҷорӣ намудани моделҳои забонии “амиқ”-и бозгашт ба шабакаҳои нейронии такрорӣ (RNN) ва вариантҳои онҳо, ба монанди хотираи кӯтоҳмуддати дароз (LSTM) (Hochreiter & Schmidhuber 1997) ва воҳиди дарвозабони такрорӣ (GRU) (C20.4) ҳал карда шуданд. Ин меъмории шабакаи амиқи нейрон як механизми ба хотира монандро дар бар мегирад, ки ба онҳо имкон медиҳад, ки пайдарпайии воридотро бо мурури замон ба ёд оранд ва коркард кунанд, на калимаҳои инфиродӣ. Сарфи назар аз ин бартарият нисбат ба моделҳои ҷобаҷогузории калима, онҳо аз маҳдудиятҳои худ азоб мекашанд: онҳо суст машқ мекунанд ва бо пайдарпайии тӯлонии матн мубориза мебаранд. Ин масъалаҳо бо ҷорӣ намудани меъмории трансформатор аз ҷониби Васвани ва дигарон ҳал карда шуданд. (2017), ки барои LLM-ҳои муосир замина гузошт.
Ин коғаз дар архив таҳти иҷозатномаи CC BY 4.0 DEED дастрас аст.
