Недэтэрмінізм штучнага інтэлекту, галюцынацыі і... кошкі?

Доўгі час ІТ-спецыялісты працавалі без клопату ў свеце. Яны плаўна распрацоўвалі, стваралі і разгортвалі праграмнае забеспячэнне. Потым наступіла эра ізаляцыі, і раптам ім стала сумна (вядома, гэта жартаўлівы погляд на рэальныя падзеі). ІТ-спецыялісты хацелі стварыць нешта, што магло б спраўляцца з іх працай, пакуль яны заставаліся дома: адказваць на звычайныя пытанні, ствараць крутыя аватары і аналізаваць велізарныя аб'ёмы даных за лічаныя хвіліны. Яны марылі падарожнічаць у фантастычнае месца, і таму, як вы ўжо здагадаліся, яны зрабілі рэвалюцыю ў ІІ.

ШІ зараз працуе, дае адказы і паляпшае жыццё. Якім бы кваліфікаваным памочнікам ён ні быў, штучны інтэлект сапраўды эфектыўны толькі пры правільным кантэксце.

Мы з'яўляемся сведкамі хуткага прагрэсу ў прылажэннях штучнага інтэлекту - ад стварэння малюнкаў і відэа да прагназавання фондавага рынку і аналізу крыптавалют. Тым не менш, штучны інтэлект можа прапанаваць інфармацыю, якую мы не запытваем, або даць відавочна ілжывыя адказы. Яе паводзіны вельмі нагадваюць паводзіны хатніх котак - ведаеце, тых, што сядзяць ціхенька, а потым раптам кідаюцца на вас?

Нашы кошкі, як і ІІ, любяць быць непрадказальнымі:

• Вы даяце ім тую ж ежу (або дадзеныя) — часам яны ядуць, часам ігнаруюць гэта.
• Вы прывучыце іх адказваць, але яны толькі час ад часу рэагуюць, калі вы іх клічаце.
• Чым большы і больш дзікі кот або чым больш мадэль штучнага інтэлекту, тым цяжэй прадбачыць яго паводзіны.
• Раніцай кошкі могуць быць спакойнымі; да вечара яны становяцца гіперактыўнымі (як і дынамічныя дадзеныя).
• Кошкі могуць быць прыязнымі (дэтэрмінаваныя), але могуць падрапаць вас без папярэджання (стахастычныя).

Вы можаце задацца пытаннем, што азначаюць дэтэрмінізм і стахастычнасць - давайце даведаемся.

Дэтэрмінізм і стахастычнасць

Дэтэрмінаваная сістэма заўсёды дае аднолькавы вынік пры аднолькавых уваходных дадзеных — падумайце аб ідэмпатытнасці, калі вы інжынер DevOps . Рэальным прыкладам можа быць ваша кошка, якая кожны раз есць аднолькавую колькасць ежы, якую вы кладзеце ў яе міску - гэта дэтэрмінізм . Але калі кошка нюхае і з'ядае толькі палову, гэта ўжо не вызначальна.

Выпадковы працэс уключае элемент выпадковасці: пры аднолькавых уваходных дадзеных вынік можа адрознівацца. Напрыклад, у мадэлі машыннага навучання часта выкарыстоўваюцца стахастычныя алгарытмы, такія як стахастычны градыентны спуск (SGD) , які навучае мадэль, выбіраючы выпадковыя фрагменты даных, а не ўвесь набор даных.

Гэтыя азначэнні не цалкам тлумачаць, чаму нашы штучныя інтэлекты часам галюцынуюць і паводзяць сябе хаатычна. Ёсць і іншыя фактары, у тым ліку наступныя:

• Дэтэрмінізм
• Стахастычнасць
• Памылкі акруглення і арыфметыка з плаваючай коскай
• Шматструменнасць і паралельныя вылічэнні
• Пастаяннае абнаўленне дадзеных
• Хаос і «эфект матылька»

Калі мы прыгледзімся бліжэй, то ўбачым іншыя механізмы, якія ўплываюць на непрадказальныя паводзіны мадэляў штучнага інтэлекту.

Погляд на нейронавыя сеткі

Вы, напэўна, ведаеце, што штучны інтэлект, якім карыстаюцца ўсе, абапіраецца на розныя алгарытмы нейронных сетак. Вось некалькі тыпаў нейронавых сетак:

• Цалкам звязаныя нейронавыя сеткі (FCNN): класічная архітэктура, дзе кожны нейрон злучаецца з кожным нейронам наступнага ўзроўню.

• Згорткавыя нейронавыя сеткі (CNN): гэтыя сеткі выкарыстоўваюць згорткі або фільтры, якія вылучаюць такія асаблівасці выявы, як краю, тэкстуры і формы.

• Перыядычныя нейронавыя сеткі (RNN ): гэтыя сеткі маюць цыклы зваротнай сувязі, якія дазваляюць ім запамінаць папярэднія крокі (а менавіта, яны запамінаюць паслядоўнасці).

• Доўгая кароткачасовая памяць (LSTM): Палепшаная версія RNN з механізмамі для выбарачнага забывання і запамінання важных даных.

• Transformers : самы магутны клас для апрацоўкі тэксту. Яны выкарыстоўваюць увагу некалькіх галоў, што дазваляе ім разглядаць увесь кантэкст адначасова.

• Генератыўныя канкурэнтныя сеткі (GAN): яны складаюцца з дзвюх сетак, адна з якіх стварае даныя, а другая ацэньвае іх якасць. Іх канкурэнцыя прыводзіць да лепшых вынікаў.

• Аўтакадавальнікі : сеткі, прызначаныя для сціску (кадзіравання) інфармацыі, а затым яе рэканструкцыі (дэкадавання).

• Графічныя нейронныя сеткі (GNN): яны працуюць з графікамі (вузламі і рэбрамі), а не са звычайнымі дадзенымі.

Нам патрэбны ўвесь гэты кантэкст, каб зразумець, чаму самая распаўсюджаная мадэль, ChatGPT, часта галюцынуе.

Як узнікаюць галюцынацыі штучнага інтэлекту

ChatGPT працуе на аснове архітэктуры Transformer , упершыню прадстаўленай у артыкуле 2017 года "Увага - усё, што вам трэба". Гэта той самы механізм, які зрабіў рэвалюцыю ў апрацоўцы тэксту. Трансформеры працуюць на аснове механізму ўвагі да сябе, што дазваляе ім разглядаць глабальны кантэкст, а не толькі бліжэйшыя словы, як гэта робяць старыя перыядычныя нейронавыя сеткі (LSTM і GRU). Мадэль належыць да серыі GPT (Generative Pre-Trained Transformer), што азначае:

• Папярэдняя падрыхтоўка: першапачаткова навучанне праходзіла на велізарнай колькасці тэксту (кнігі, артыкулы, вэб-сайты і код).
• Генератыўны: яго задача - генераваць тэкст, а не проста класіфікаваць або здабываць факты.

Адказы ChatGPT вынікаюць з выпадковых працэсаў, а не з жорсткага правіла. Ён не запамінае і не прайгравае тэксты, а стварае адказы з дапамогай імавернаснай мадэлі.

Прадказанне слова як імавернасны працэс

Калі ChatGPT адказвае, ён не выбірае адзінае правільнае слова, а вылічае размеркаванне верагоднасці.

P(wi|w1, w2, ..., wi-1), дзе:

• «wi» — наступнае слова ў сказе

w1, w2, ..., wi-1 — папярэднія словы

• P(wi|w1, ..., wi-1) — верагоднасць таго, што «wi» будзе наступным словам

Напрыклад, калі вы спытаеце: «Які сёння дзень?» ChatGPT можа мець розныя верагоднасці:

• «Панядзелак» — Р=0,7
• «Серада» — Р=0,2
• «42» — P=0,0001

Часцей за ўсё ён выбірае слова з найбольшай імавернасцю, але з-за тэмпературы генерацыі (параметр, які кантралюе выпадковасць), ён часам можа выбраць менш верагодны варыянт у залежнасці ад кантэксту.

Уплыў кантэксту і забыццё інфармацыі

ChatGPT працуе з абмежаваным кантэкстным акном, гэта значыць ён "запамінае" толькі апошнія токены NN. Для GPT-4 кантэкстнае акно складае каля 128 тысяч токенаў (каля 300 старонак тэксту). Калі важная інфармацыя знаходзіцца па-за межамі гэтага кантэксту, яна можа:

• Забудзьцеся пра дэталі (эфект адсячэння кантэксту)
• Інфармацыя аб макіяжы (стахастычны працэс)

Тым не менш, ChatGPT часта можа выправіць свой адказ пасля таго, як вы спытаеце, ці ўпэўнены ён. Аднак ChatGPT часта можа выправіць свой адказ, калі вы спытаеце, ці ўпэўнены ён.

AI часам выпраўляе сябе, але чаму?

Калі вы пытаецеся ў ChatGPT: «Вы ўпэўнены?» ён паўторна аналізуе свой адказ, выкарыстоўваючы новы кантэкст, дзе прысутнічае сумненне. Гэта прыводзіць да:

• Пераразлік верагоднасці адказу.
• Выбар больш праўдападобнага варыянту, калі ён ёсць.

Гэты працэс можна растлумачыць байесовской верагоднасцю.

P(A|B) = P(B|A)P(A) / P(B), дзе:

• P(A|B) — імавернасць таго, што адказ A з'яўляецца правільным, улічваючы ваша наступнае пытанне B.

• P(B|A) — верагоднасць таго, што вы б спыталі, ці меў ChatGPT першапачатковую рацыю.

• P(A) — пачатковая верагоднасць адказу ChatGPT.

• P(B) - агульная верагоднасць, якую вы спытаеце.

  
  

Зашмат інфармацыі для вас? Перагрэў мозгу? Уявіце сабе, што ІІ таксама перагружаны вялікімі аб'ёмамі інфармацыі.

Памылкі з-за пераабсталявання і шумных дадзеных

Велізарная колькасць тэкставых даных паступае ў навучанне ChatGPT, уключаючы шум або супярэчлівую інфармацыю, напрыклад:

• Некаторыя крыніцы кажуць, што Зямля круглая, а іншыя сцвярджаюць, што яна плоская.

• ШІ не заўсёды можа вызначыць, якая інфармацыя праўдзівая, калі яна з'яўляецца з рознай верагоднасцю.

Гэта прыклады мадэльных галюцынацый, якія ўзнікаюць таму, што вагі ChatGPT навучаюцца на імавернасных асацыяцыях слоў, а не на строгай логіцы.

Ніжняя лінія

Вось чаму мы можам навучыцца з гэтага. ChatGPT галюцынуе, бо:

• Прагназуе імавернасна, а не дэтэрмінавана.

• Мае абмежаваную памяць (кантэкстнае акно).

• Пералічвае імавернасці пры допыце.

• Мае навучальныя даныя, якія ўключаюць шум і супярэчнасці.

  
  

Гэта так проста. Спадзяюся, вы не стаміліся. Калі вы гэта зрабілі, гэта добры знак, таму што гэта азначае, што вы мысліце крытычна, што менавіта тое, што мы павінны рабіць пры працы з ІІ.