AI's Non-Determinism, Hallucinations, Na ... Paka?

Kwa muda mrefu, wataalam wa IT walifanya kazi bila utunzaji ulimwenguni. Walitengeneza, kuunda, na kusambaza programu vizuri. Kisha enzi ya kutengwa iligonga, na ghafla, walipata kuchoka (bila shaka, hii ni mchezo wa kucheza kwenye matukio halisi). Watu wa IT walitaka kuunda kitu ambacho kinaweza kushughulikia kazi zao wanapokuwa nyumbani: jibu maswali ya kawaida, toa avatars nzuri, na kuchambua idadi kubwa ya data kwa dakika. Waliota ndoto ya kusafiri hadi mahali pazuri, na kwa hivyo, ulikisia, walibadilisha AI.

AI sasa inafanya kazi, inatoa majibu, na kuboresha maisha. Kama msaidizi aliye na ujuzi, AI ni nzuri sana inapotumiwa tu katika muktadha unaofaa.

Tunashuhudia maendeleo ya haraka katika programu za AI, kutoka uzalishaji wa picha na video hadi utabiri wa soko la hisa na uchanganuzi wa sarafu ya fiche. Walakini, AI inaweza kutoa habari ambayo hatuulizi au kutoa majibu ya uwongo wazi. Tabia yake ni sawa na ile ya paka wa nyumbani - unajua, aina ambayo inakaa kimya na kisha ghafla kukuangukia?

Paka wetu, pamoja na AI, wanafurahiya kutotabirika:

• Unawapa chakula sawa (au data) - wakati mwingine wanakula, wakati mwingine wanapuuza.
• Unawafundisha kujibu, lakini mara kwa mara wanaitikia unapowapigia simu.
• Kubwa na mwitu wa paka au mfano mkubwa wa AI, ni vigumu zaidi kutabiri tabia yake.
• Asubuhi, paka inaweza kuwa na utulivu; ifikapo jioni, zinabadilika sana (kama vile data inayobadilika).
• Paka wanaweza kuwa wa kirafiki (wanaoamua) lakini wanaweza kukukwaruza bila onyo (stochastic).

Unaweza kujiuliza ni nini maana ya uamuzi na msimamo - wacha tujue.

Kuamua na Stochasticity

Mfumo wa kubainisha kila mara hutoa matokeo yale yale ukipewa ingizo sawa - fikiria kutokuwa na uwezo ikiwa wewe ni mhandisi wa DevOps . Mfano wa ulimwengu halisi unaweza kuwa paka wako ambaye hula kiasi sawa cha chakula unachoweka kwenye bakuli lake kila wakati - hii ni uamuzi . Lakini wakati paka ananusa na kula nusu tu, sio uamuzi tena.

Mchakato wa stochastic ni pamoja na kipengele cha randomness: kwa pembejeo sawa, matokeo yanaweza kutofautiana. Kwa mfano, muundo wa mashine ya kujifunza mara nyingi hutumia kanuni za stochastic, kama vile Stochastic Gradient Descent (SGD) , ambayo hufunza muundo huo kwa kuchagua vipande nasibu vya data badala ya mkusanyiko mzima wa data.

Ufafanuzi huu hauelezi kikamilifu kwa nini AI zetu wakati mwingine huwa na tabia mbaya na kufanya fujo. Kuna mambo mengine yanayochangia, ikiwa ni pamoja na yafuatayo:

• Uamuzi
• Stochasticity
• Makosa ya kuzunguka na hesabu ya sehemu inayoelea
• Usomaji mwingi na hesabu zinazolingana
• Kuendelea kusasisha data
• Machafuko na "athari ya kipepeo"

Tukiangalia kwa karibu zaidi, tutaona mifumo mingine inayoathiri tabia isiyotabirika ya miundo ya AI.

Muhtasari wa Mitandao ya Neural

Labda unajua kuwa AIs kila mtu hutumia hutegemea algorithms anuwai ya mtandao wa neural. Hapa kuna aina kadhaa za mitandao ya neva:

• Mitandao ya Neural Iliyounganishwa Kabisa (FCNN): Usanifu wa kawaida ambapo kila neuroni inaunganishwa na kila neuroni katika safu inayofuata.

• Mitandao ya Neural Convolutional (CNNs): Mitandao hii hutumia mibadilishano au vichujio vinavyoangazia vipengele vya picha kama vile kingo, umbile na maumbo.

• Mitandao ya Neural ya Kawaida (RNNs ): Mitandao hii ina misururu ya maoni ambayo huiruhusu kukumbuka hatua za awali (yaani, inakumbuka mfuatano).

• Kumbukumbu ya Muda Mfupi (LSTM): Toleo lililoboreshwa la RNN na mifumo ya kusahau na kukumbuka data muhimu kwa kuchagua.

• Transfoma : Darasa lenye nguvu zaidi kwa usindikaji wa maandishi. Wanatumia umakini wa vichwa vingi, na kuwaruhusu kuzingatia muktadha mzima kwa wakati mmoja.

• Mitandao ya Uzalishaji wa Waadversarial (GANs): Inajumuisha mitandao miwili, ambayo moja huzalisha data na nyingine kutathmini ubora wake. Ushindani wao husababisha matokeo bora.

• Visimbaji otomatiki : Mitandao iliyoundwa kubana (kusimba) habari na kisha kuitengeneza upya (kuichambua).

• Graph Neural Networks (GNNs): Hufanya kazi na grafu (nodi na kingo) badala ya data ya kawaida.

Tunahitaji muktadha huo wote ili kuelewa ni kwa nini modeli inayojulikana zaidi, ChatGPT, mara nyingi huleta maono.

Jinsi AI Hallucinations Hutokea

ChatGPT inaendeshwa kwenye usanifu wa Transfoma , iliyoletwa kwa mara ya kwanza katika karatasi ya 2017, "Makini Ndio Unachohitaji." Huu ndio utaratibu ulioleta mapinduzi makubwa katika usindikaji wa maandishi. Transfoma hufanya kazi kwa utaratibu wa kujiangalia, unaowaruhusu kuzingatia muktadha wa kimataifa badala ya maneno ya karibu zaidi kama vile mitandao ya neva inayojirudiarudia (LSTM na GRU) kufanya. Mfano huo ni wa safu ya GPT (Generative Pre-Trained Transformer), ambayo inamaanisha:

• Mafunzo ya awali: Hapo awali ilifunzwa kuhusu kiasi kikubwa cha maandishi (vitabu, makala, tovuti, na msimbo).
• Kuzalisha: Kazi yake ni kutoa maandishi, sio tu kuainisha au kutoa ukweli.

Majibu ya ChatGPT yanatokana na mchakato wa stochastic badala ya sheria ngumu. Haikariri au kutoa maandishi tena lakini hutoa majibu kwa kutumia kielelezo cha uwezekano.

Utabiri wa Neno kama Mchakato wa Uwezekano

ChatGPT inapojibu, haichagui neno moja sahihi bali hujumuisha usambazaji wa uwezekano.

P(wi|w1, w2, ..., wi-1), ambapo:

• "wi" - neno linalofuata katika sentensi

w1, w2, ..., wi-1 - maneno yaliyotangulia

• P(wi|w1, ..., wi-1) — uwezekano kwamba “wi” litakuwa neno linalofuata

Kwa mfano, ukiuliza, "Leo ni siku gani?" ChatGPT inaweza kuwa na uwezekano tofauti:

• "Jumatatu" - P=0.7
• “Jumatano” — P=0.2
• “42” — P=0.0001

Mara nyingi itachagua neno lenye uwezekano mkubwa zaidi, lakini kwa sababu ya halijoto ya kizazi (kigezo kinachodhibiti unasihi), wakati mwingine inaweza kuchagua chaguo lisilowezekana kulingana na muktadha.

Ushawishi wa Muktadha na Kusahau Habari

ChatGPT inafanya kazi na kidirisha kikomo cha muktadha, kumaanisha "inakumbuka" tu tokeni za mwisho za NN. Kwa GPT-4, dirisha la muktadha ni takriban tokeni 128k (karibu kurasa 300 za maandishi). Ikiwa habari muhimu iko nje ya muktadha huu, inaweza:

• Sahau maelezo (athari ya kubana muktadha)
• Habari ya uundaji (mchakato wa stochastic)

Walakini, ChatGPT inaweza kusahihisha jibu lake mara nyingi baada ya kuuliza ikiwa ina uhakika. Walakini, ChatGPT inaweza kusahihisha jibu lake mara nyingi ukiuliza ikiwa ina uhakika.

AI Wakati Mwingine Hujisahihisha, Lakini Kwa Nini?

Unapouliza ChatGPT, "Una uhakika?" inachambua upya jibu lake kwa kutumia muktadha mpya ambapo shaka ipo. Hii inasababisha:

• Kuhesabu upya uwezekano wa majibu.
• Kuchagua chaguo linalokubalika zaidi ikiwa moja lipo.

Utaratibu huu unaweza kuelezewa na uwezekano wa Bayesian.

P(A|B) = P(B|A)P(A) / P(B), ambapo:

• P(A|B) - uwezekano kwamba jibu A ni sahihi, kwa kuzingatia swali lako la ufuatiliaji B.

• P(B|A) - uwezekano ambao ungeuliza ikiwa ChatGPT ilikuwa sahihi mwanzoni.

• P(A) - uwezekano wa awali wa jibu la ChatGPT.

• P(B) - uwezekano wa jumla ambao ungeuliza.

  
  

Taarifa nyingi sana kwako? Kuzidisha joto kwa ubongo? Fikiria kwamba AIs pia hulemewa na kiasi kikubwa cha habari.

Hitilafu Kwa Sababu ya Kutosha Zaidi na Data yenye Kelele

Kiasi kikubwa cha data ya maandishi hutiririka katika mafunzo ya ChatGPT, ikijumuisha kelele au taarifa kinzani, kama vile:

• Vyanzo vingine vinasema Dunia ni duara, huku wengine wakidai kuwa ni tambarare.

• AI haiwezi kila wakati kubainisha ni taarifa gani ni ya kweli inapoonekana kwa uwezekano tofauti.

Hii ni mifano ya maonesho ya kielelezo, ambayo hutokea kwa sababu uzani wa ChatGPT umefunzwa kuhusu uhusiano wa maneno unaowezekana badala ya mantiki kali.

Mstari wa Chini

Hapa ni nini tunaweza kujifunza kutokana na hili. ChatGPT inajidhihirisha tangu wakati:

• Hutabiri kwa uwezekano, si kwa kubainisha.

• Ina kumbukumbu ndogo (dirisha la muktadha).

• Huhesabu upya uwezekano unapoulizwa.

• Ina data ya mafunzo ambayo inajumuisha kelele na ukinzani.

  
  

Ni moja kwa moja. Natumai haukuchoka. Ikiwa ulifanya hivyo, hiyo ni ishara nzuri kwa sababu inamaanisha unafikiria kwa umakini, ambayo ndiyo hasa tunapaswa kufanya tunapofanya kazi na AI.