Tionazgy : Iki simwol başgaça görünýär, ýöne biri-birine ýakyn gutarýan dürli sözlemleriň "ýerleşdirilmegi" ýaly, duruşda, aňlatmada we fonda ajaýyp meňzeşlik bar.
1-nji bölümi şu ýerde okaň ( https://hackernoon.com/hallucination-by-design-how-embedding-models-misunderstand-language )
Geçen aý, negatiw we baş harplar ýaly ýönekeý dil üýtgeşmelerini ulananyňyzda, içerki modelleriň nähili galýusinasiýa edýändigini paýlaşdym. Jogap gaty köp boldy - bu meseleler meni ýeke-täk däl ýaly. Bu gün synag arkaly açan has köp kör nokatlara has çuňňur çümýärin. Bular meni gijelerine saklaýan we AI ulgamlaryny nädip gurýandygymyz hakda hemme zady sorag astyna alýan görnüşler.
“Design by Hallucinations” seriýasynyň ikinji bölümi. Içerki galýusinasiýa barada öňki söhbetdeşligimiziň dowamy. Bu makaladan has giňişleýin peýdalanmak üçin ilki bilen baglanyşykly makalany okamagy maslahat berýärin, sebäbi bu ýerde öwrenilen ideýalara doly düşünmek üçin zerur düşünjeleri goýýar. Şeýle etmek bilen, üznüksiz öwreniş tejribäňiz we mowzuga has çuňňur düşünersiňiz.
Gipotetiki we hakyky? Diňe jikme-jiklikler!
Ine, zatlar hakykatdanam biynjalyk edýär. "Bejergi işleýän bolsa, simptomlar gowulaşmaly" ylganymda, "Bejergi işleýär we alamatlar gowulaşdy", meňzeşlik bal 0.95 boldy. Men ynamsyzlyk bilen ekranyma seredip oturdym. Mümkin bolan netijeler barada çaklamalar; beýlekisiniň hasabaty tassyklanan netijeleri!
Bu meseläni kliniki gözleg resminamasynyň üstünde işledim. Gözleg gipotezaly bejerginiň netijelerini we tassyklanan netijeleri tapawutlandyryp bilmedi. Barlanan bejergileri gözleýän lukmanlar subut edilmedik gipotezalar bilen garyşyk netijeleri alýardylar. Bejergi kararlaryny berýän lukmanlar subutnamalar bilen bulaşyk spekulýasiýa baha berýärler öýdýärsiňizmi? Lukmançylyk kömegimiň "işlemegine" däl-de, "işlemegine" esaslanýan islemejekdigime ynanýaryn.
Gipotetikany faktlardan tapawutlandyrmagyň zerur bolan ähli ýagdaýlary - ylmy gözlegler, lukmançylyk synaglary, kanuny mysallar we maýa goýum derňewleri barada pikir ediň. Haçan-da siziň modeliňiz "eger X bolup, Y bolup biler" bilen "X bolup, Y sebäp boldy" bilen gabat gelse, maglumatlaryň epistemiki ýagdaýyna düýbünden düşünmediňiz. Biz, esasan, tekstiň seljerilmegine garamazdan, spekulýasiýa bilen tassyklamanyň arasyndaky tapawudy aýdyp bilmeýän modeller bilen işleýäris, bu tapawudyň bir zadyň ygtybarly maglumat ýa-da çaklama bolandygyny kesgitleýän ýeri.
Wagtlaýyn tertip? Näme sargyt!
Içerki modeller, " Işe başlamazdan ozal diplomyny tamamlady" we "Işini gutarmanka başlady" diýen ýaly birmeňzeş - gülkünç 0.97 meňzeş bal. Biriniň adaty karýerasy; beýlekisi okaýarka işleýär. Dürli ýagdaýlar!
Rezýume barlag ulgamyny guranymda tapdym. Goýmalar, işlemezden ozal diplomlaryny gutaran dalaşgärler bilen henizem okuwy gutarýanlary tapawutlandyryp bilmedi. Dolandyryjylary işe almak, esasy kär talaplaryna laýyk gelmeýän kandidatlar bilen söhbetdeşlik geçirmek üçin birnäçe sagat sarp etdi. Siziň pikiriňizçe, işe alýanlar gabat gelmeýän dalaşgärler bilen wagtlaryny boş sarp edýändiklerine ýokary baha berýärlermi? Işe alýan turbageçirijimiň ses bilen doldurylmagyny islemejekdigime ynanýaryn.
Yzygiderliligiň möhüm bolan ähli ýagdaýlary barada pikir ediň - lukmançylyk bejergisi teswirnamalary, kanuny prosessual talaplar, nahar bişirmek reseptleri, gurnama görkezmeleri we himiki formulalar. Haçan-da modeliňiz "A-dan öň B" -ni "A-dan öň" diýip bilmese, esasy sebäp gatnaşyklaryny ýitirdiňiz. Biz, esasan, möhüm yzygiderli maglumatlardan doly teksti derňeýändigimize garamazdan wagty islege bagly hasaplaýan modeller bilen işleýäris.
Mukdar çäkleri inçe howada ýok bolýar
Bu hakykatdanam meni kofeimi dökmäge mejbur etdi. Içerki modeller , "Kompaniýa girdeji garaşyşlaryndan zordan geçdi" we "Kompaniýa girdeji garaşmalaryny ep-esli sypdyrdy" - ŞOKKINGLY meňzeş - 0.93 meňzeşlik. Geçirilenlere garşy artykmaç! Bular finansda ters zatlary aňladýar!
Maliýe täzelikleri derňew ulgamyny gurýan bolsaňyz, ornaşdyrmak oňyn we otrisatel girdeji garaşylmadyk zatlary tapawutlandyrmaz - sözüň doly manysynda aksiýalaryň bahasynyň ýokarlanmagy ýa-da aşaklamagy arasyndaky tapawut. Gysgaça mazmunymyza esaslanyp söwda kararlaryny berýän maýa goýujylar düýbünden gapma-garşy maglumatlary alýardylar. Hakyky pul töwekgelçiligine duçar bolan adamlar düýpden nädogry bazar signallaryny almagy gowy görýärler öýdýärsiňizmi? Pensiýa hasabymyň şeýle bulaşyklyga esaslanmagyny islemejekdigime ynanýaryn.
Indi, bosagadan geçmek hemme zady üýtgedýän ähli ýagdaýlar barada pikirlenip görüň - şowsuz bahalar, sagdyn we howply möhüm alamatlar, girdejili we girdeji gazanmaýan kärhanalar, laýyk däl düzgünler. Modeliňiz, nyşana zordan ýetmek bilen düýbünden ýitirip bilmeýän mahaly manyly tapawutlandyrmak ukybyny ýitirýär. Biz, esasan, nyşanlaryň ýerine ýetirilendigini ýa-da ýitirilendigini yzygiderli ara alyp maslahatlaşýan teksti seljerýändigine garamazdan, bosaganyň düşünjesine düşünmeýän modeller bilen işleýäris.
Skalar öwrülişikleri doly ýykylýar
Bolgusyzlyk diňe köpelýär. Synag wagtynda, "Duşuşyk meýilleşdirilenden ep-esli gysga boldy" we "Duşuşyk meýilleşdirilenden ep-esli uzak dowam etdi" 0.96 meňzeşlige eýe boldum. Men gaty gorkdum. Bu sözlemler düýbünden ters ýagdaýlary suratlandyrýar - wagt ýitirilen wagt bilen tygşytlanýar!
Taslama dolandyryş resminamalary bilen bu meselä duş geldim. Gözleg meýilnamanyň artykmaçlygy we netijeliligini tapawutlandyryp bilmedi. Wagt tygşytlaýyş usullarynyň mysallaryny gözleýän ýolbaşçylar çynlakaý gijikdirmeler bilen taslamalary görkezýärdiler. Taslamanyň möhletlerini yzarlaýan ýolbaşçylar, soraýan ters maglumatlaryny alýarlar öýdýärsiňizmi? Şeýle yza galan maglumatlar bilen geňeş mejlisine taýýarlansam gaharym geljekdigine ynanýaryn.
Ölçegdäki ugruň möhüm ähmiýete eýe bolan ähli ýagdaýlary göz öňüne getiriň - çykdajylary tygşytlamak we artykmaç çykdajylar, öndürijiligiň gowulaşmagy we peselmegi, saglygyň gowulaşmagy we peselmegi, töwekgelçiligiň ýokarlanmagy we peselmegi. Haçan-da siziň modeliňiz “has ýokary” bilen “has pes” bilen çalşylsa, ugur üýtgemelerini yzarlamak ukybyňyzy ýitirersiňiz. Esasan deňeşdirme bahalandyrmalary bilen doldurylan teksti seljermäge garamazdan garşydaş ugurlara düşünmeýän modeller bilen işleýäris.
Domen bilen baglanyşykly garşydaşlar sinonimlere meňzeýär
Lukmançylyk resminamalary
Saglygy goraýyş synaglarynda görýänlerime ynanyp bilmedim. "Näsag taxikardiýa bilen sowgat berýär" garşy "Näsag bradikardiýa bilen sowgat edýär" 0.94 meňzeşlik balyny yzyna gaýtardy. Lukmançylyk däl adamlar üçin, ylgaýan ýüregi howply haýal ýürek bilen bulaşdyrmak ýaly - ters bejergiler bilen şertler!
Elektron saglyk ýazgylary üçin simptomlara gabat gelýän ulgamyň üstünde işleýän wagtym tapdym. Içerki model, ters bejergileri talap edýän düýpgöter dürli lukmançylyk şertlerini tapawutlandyryp bilmedi. Heartüregi ýarylýan näsaga meňzeş ýagdaýlary gözleýän lukmanlara howply haýal ýürek urgulary bolan näsaglar görkezildi. Siziň pikiriňizçe, wagt duýgur karar berýän lukmanlar gapma-garşy kliniki maglumatlary almagy gowy görýärlermi? Hakyky ýagdaýymyň tersine esaslanyp bejergimi islemejekdigime ynanýaryn.
Lukmançylyk pudagynda bu tapawutlar möhüm netijelere getirip biler. Taxikardiýa beta-blokatorlar bilen bejerilip bilner, bradikardiýa bolsa elektrokardiostimulýator talap edip biler - nädogry bejergini bermek ölüme sebäp bolup biler. Biz, esasan, bu tapawudyň degişli idegi kesgitleýän teksti seljerýändigine garamazdan ters lukmançylyk şertlerini tapawutlandyryp bilmeýän modeller bilen işleýäris.
Hukuk resminamalary
Hukuk synaglary edil erbet boldy. "Kazyýetde subutnama ýüklenýär" bilen "Günäkärlenýän subutnama ýükleýär" bilen deňeşdirilende, model geň galdyryjy 0.97 meňzeşligi yzyna gaýtardy. Goý, bu sözler haýsy tarapyň kazyýetde subut edilmelidigini kesgitleýär! Bulary garyşdyrmak kazyýet işiňizi ýitirip biler.
Gözleg düýpgöter dürli hukuk ülňülerini we jogapkärçiligini tapawutlandyryp bilmedi. Şikaýatçy ýükleri baradaky mysallary öwrenýän aklawçylara günäkärlenýän ýükleri ara alyp maslahatlaşýan kazyýet işi görkezildi. Siziň pikiriňizçe kazyýet işine taýýarlyk görýän aklawçylar takyk yza galan hukuk standartlaryny almagy gowy görýärlermi? Kazyýet işimiň düýbünden ters hukuk ýörelgelerine esaslanmagyny islemejekdigime ynanýaryn.
Hukuk nukdaýnazaryndan, subutnama ýüküni çekýänler köplenç işiň netijesini kesgitleýär. Haçan-da modeliňiz haýsy tarapyň haýsy jogapkärçiligiň bardygyny tapawutlandyryp bilmese, kanuny esaslandyrmagyň ähli esaslaryny bozduňyz. Biz, esasan, bu tapawutlaryň adalatyň işleýşini kesgitleýän teksti seljerýändigine garamazdan kanuny rollary bulaşdyrýan modeller bilen işleýäris.
Ölçeg birlikleri
Netijelere ynanyp bilmedigim üçin bu synagy birnäçe gezek geçirmeli boldum. "Amal 5 minut töweregi wagt alýar" bilen "Prosedura takmynan 5 sagat gerek" 0.97 meňzeşlik gazandy . Bu hakykatmy? Bu 60x wagt tapawudy! Aslynda 5 sagat wagt alýan "5 minutlyk" duşuşygyňyza garaşmagy göz öňüne getiriň.
Şol bir saglygy goraýyş ulgamyny guranymda tapdym. Goýmalar gysga we uzyn proseduralary tapawutlandyryp bilmedi. Gysga proseduralary meýilleşdirmäge synanyşýan kliniki ýolbaşçylara operasiýa toplumlaryny tutuş günläp ýapjak uzyn amallar görkezildi. Siziň pikiriňizçe berk meýilnama çäklendirmeleri bolan lukmançylyk edaralary, bütin gün işiniň bozulmagyna ýokary baha berýärlermi? Keselhanamyň 60x yzda işlemegini islemejekdigime ynanýaryn.
Ölçeg birlikleri manysyny düýpgöter üýtgedýär. Modeliňiz "5 minut" we "5 sagat" düýpden birmeňzeş bolsa, ululyga düşünmek ukybyňyzy ýitirersiňiz. Biz, esasan, bir zadyň ownuk ýa-da ähmiýetlidigini kesgitleýän teksti seljermäge garamazdan birlikleri äsgermezlik edýän modeller bilen işleýäris.
Has köp ölçeg meselesi
Ol ýerden hasam erbetleşýär. Şol bir saglygy goraýyş resminamalaryny ulananymda, "Çişiň diametri 2 santimetr" we "Çişiň diametri 2 dýuým" diýen gorkunç 0.98 meňzeşligi tapdym. Kontekstde, ähtimal bolup biläýjek kiçijik çiş bilen 2,54x ululykdaky tapawut - köplenç derrew operasiýa bilen "synlamak we garaşmak" aralygy.
Goýmalar metrik we imperiýa ölçeglerini tapawutlandyryp bilmedi. Ownuk çişleri bejermegiň usullaryny gözleýän onkologlara has uly ösüş ýagdaýlary görkezildi. Siziň pikiriňizçe, rak keseli hünärmenleri hassalary bilen uzakdan deňeşdirip bolmajak mysallary almagy gowy görýärlermi?
Hatda tizlik çäkleri hem bulaşýar. Modeller "30 mil / s tizligi saklaň" we "30 km-den ýokary tizligi saklaň" -y ýokary derejede meňzeýär - problemaly 0.96 meňzeşlik. Bu sagatda 30-18,6 mil aralygyndaky tapawut - heläkçiligiň ölüme degişlidigini kesgitlemek üçin ýeterlikdir!
Bölümleriň arasynda öwrülmek diňe bir matematiki maşk däl - teklipleri, howpsuzlyk parametrlerini we netijelerini düýpgöter üýtgedýär. Esasan birlikleriň manysyny düýpgöter üýtgedýän teksti seljermäge garamazdan birliksiz sanlar ýeterlikdir öýdýän modeller bilen işleýäris.
Hakykat we netijeler
Ine , msmarco-distilbert-base-tas-b, all-mpnet-base-v2 we open-ai-text-embedding-3-uly deňeşdirme, we bu modelleriň çykarylyşynyň arasynda düýpli tapawudyň ýokdugyna göz ýetirersiňiz.
***msmarco-distilbert-base-tas-b embedding score across different test cases*** 
***all-mpnet-base-v2 embedding score across different test cases*** 
***openai-text-embedding-3-large embedding score across different test cases***Diňe gaýtalamak üçin ..
Seret, bu problemalara garamazdan salmak ajaýyp peýdalydyr. Olary ulanmagyň tarapdary däl, tersine, olara seresaplylyk bilen çemeleşmek möhümdir. Ine, onlarça taslamadan we sansyz şowsuzlykdan soň söweş synagyndan geçen maslahatym:
Göçürilmezden ozal öz modeliňizi hakyky ulanyjy diliniň nusgalarynda barlaň. Akademiki görkezijiler däl, arassaçylyk synaglary däl - ulanyjylaryňyzyň nähili aragatnaşyk saklaýandyklarynyň hakyky mysallary. Ationsalňyşlyklar, ýalňyşlyklar we san tapawudy ýaly umumy üýtgeşmeleri simulýasiýa edýän "lingwistik stres synagy" gurallar toplumyny gurduk. Synagymyzdaky her ulgam käbir ugurlarda şowsuzlyga uçrady - sorag, bu ugurlar siziň aýratyn programmaňyz üçin möhümmi.
Möhüm kör nokatlaryň töwereginde garawul guruň. Dürli programmalarda dürli talaplar bar. Saglygy goraýyş üçin adatça negatiwlik we guramanyň takyklygy. Maliýe üçin bu sanlar we wagtlaýyn gatnaşyklar. Kanuny taýdan bu şertler we borçlar. Domeniňizde düýbünden ýalňyşyp bilmejek zady kesgitläň we ýöriteleşdirilen çäreleri durmuşa geçiriň.
Içerki zatlara jedel etmegiň ýerine dürli usullary düzüň. Iň üstünlikli ulgamlarymyz, içerki gözleg esasy sözleri barlamak, aç-açan düzgün barlaglary we möhüm tapawutlar üçin ýöriteleşdirilen klassifikatorlar bilen birleşdirýär. Bu artykmaçlyk netijesiz däl; möhümdir.
Ulgamyň ygtybarly edip we edip bilmejekdigi barada ulanyjylar bilen aç-açan boluň. Netijede negatiwligi, san deňeşdirmesini ýa-da beýleki gowşak taraplary öz içine alyp biljekdigini aç-açan görkezýän ynam ballaryny goşduk. Ulanyjylar dogruçyllyga ýokary baha berýärler we umuman ulgama ynam döredýär.
** Ine, öwrenen iň möhüm zadym: ** bu modeller diliň adamlara düşünişine düşünenok - statistiki nagyşlara düşünýärler. Adam ýaly düşünjä garaşmagy bes edenimde we belli bir kör nokatlar bilen çylşyrymly nagyş gabat gelýän gurallar hökmünde seredip başlanymda, ulgamlarym has gowulaşdy. Has gowy.
Meniň beýan eden kör tegmillerim ýakyn wagtda ýitip gitmez - bu modelleriň işleýşine bişirildi. Theyöne olaryň bardygyny bilseňiz, daş-töwereginde dizaýn edip bilersiňiz. Kämahal, çäklendirmäni boýun almak, ony ýeňip geçmek üçin ilkinji ädimdir.
Bellik : Synaglar arkaly tapylan başga-da köp ýagdaý bar we indiki ýazgymda ýazaryn.
Indiki dowamy makala ýakyn wagtda çykar. Üns beriň !!
