RAG Imerudiwa

RAG. RAG. RAG.

Katika mbio za kutekeleza akili bandia katika michakato ya biashara na bidhaa, kumekuwa na mwelekeo wa kutatiza: kutamaniwa na Retrieval-Augmented Generation (RAG). Ingawa RAG—njia inayochanganya miundo mikubwa ya lugha (LLMs) na urejeshaji wa maarifa ya nje— bila shaka imefungua njia mpya za kuingiliana na maarifa, watendaji wengi sana wanatatizika nayo.

Ni wakati wa kuweka upya mazungumzo kuhusu utekelezaji wa AI, kutambua mitego ya kutegemea zaidi RAG, na kuchunguza mbinu mbadala ambazo zinaweza kufaa zaidi, zisizo na gharama na maridadi zaidi.

Mania ya RAG: Kupindukia kwa Kesi Nyingi za Matumizi

RAG imekuwa mbinu ya kwenda kwa wahandisi wengi wa AI ambao wanataka kuboresha usahihi wa miundo ya lugha kwa kutoa muktadha wa nje. Msingi ni rahisi vya kutosha: kwa kupakia idadi kubwa ya maandishi kwenye duka za vekta, mifumo hii ya AI inaweza kutafuta hati zinazofaa, kupata data, na kuichanganya na uwezo wa uzalishaji wa modeli ya lugha kutoa majibu sahihi zaidi.

Walakini, shauku ya RAG imesababisha mlipuko wa utekelezaji ambao unakadiria umuhimu wake. Ni jambo la kawaida kuona wahandisi wakitupa mamilioni ya hati kwenye maduka ya vekta, wakiongeza gharama za uhifadhi wa wingu na usindikaji bila kuelewa ikiwa hali ya utumiaji hata itahitaji ugumu kama huo. Wengi wanashindwa kuzingatia kama suluhu rahisi zaidi inaweza kutosha au ikiwa RAG ni muhimu hata kwa shida yao maalum.

Mitego ya Utekelezaji wa Naive RAG

Mbaya zaidi, wahandisi wengi hufikiria utekelezaji wa RAG kwa mawazo ya kipuuzi, wakizingatia gharama za muda mrefu na mizigo ya matengenezo. Wanaamini kuwa kupakia kila kipande cha maandishi kwenye duka la vekta kwa njia fulani kutafanya AI kuwa nadhifu. Lakini mara nyingi zaidi, mazoezi haya hufanya kinyume. Huku maduka ya vekta yakiwa na hati zisizohitajika na zisizo za lazima, LLMs zimelemewa na kurejesha data ambayo haiongezi thamani. Hii husababisha nyakati za polepole za majibu, gharama ya juu, na ufumbuzi usiofaa.

RAG hufanya kazi vyema zaidi inapotumiwa kuongeza maarifa sahihi na muhimu , si wakati imetumika kama njia ya kukamata hati yoyote inayopatikana. Uboreshaji wa ubunifu kupitia RAG pia husababisha matumizi duni ya uwezo mwingine muhimu wa AI na kuzingatia kupita kiasi katika urejeshaji wakati matatizo mengi yanaweza kutatuliwa kwa mantiki na muundo rahisi.

Sio Kila Tatizo Linahitaji RAG

Huu ndio ukweli: Sio kesi zote za utumiaji zinahitaji usanidi wa RAG. Ikiwa kazi ni finyu na imefafanuliwa vyema—kama vile kujibu Maswali Yanayoulizwa Mara kwa Mara, maswali ya usaidizi kwa wateja, au kushiriki katika mazungumzo yaliyopangwa—jedwali rahisi la kutafuta au grafu ya maarifa inaweza kutosha. Hakuna haja ya kupata ziada ya kuendesha duka kubwa la vekta na modeli ya paramu ya mamilioni wakati suluhisho linaweza kujengwa kwa kutumia mfumo unaotegemea sheria au hata mfumo wa wakala.

Ari ya kutumia RAG inatokana na wazo kwamba data zaidi ni sawa na utendakazi bora. Lakini katika hali nyingi, ubora unapunguza wingi. Muundo ulioboreshwa na maarifa yaliyolengwa, au hata chatbot inayofahamu maarifa na uwezo unaotegemea kanuni, inaweza kufanya vyema bila kugusa bomba la RAG. Uamuzi wa kutekeleza RAG unapaswa kuamriwa na ugumu wa kazi, sio umaarufu wake kati ya wapenda AI.

Kesi kwa Mawakala Wadogo Wenye Maarifa Finyu

Njia mbadala ya mifumo ya RAG iliyovimba mara nyingi ni ya kifahari zaidi na yenye ufanisi: mawakala wadogo, maalumu wenye ujuzi mdogo lakini sahihi. Ajenti hizi, zinapotumiwa sanjari, zinaweza kufanya vyema zaidi muundo mmoja mkubwa uliolemewa na terabaiti za maandishi. Kila wakala anaweza kubuniwa kushughulikia sehemu mahususi za mtiririko wa kazi au kujibu aina fulani za maswali, ikiruhusu mifumo ya kawaida na inayoweza kunyumbulika ya AI. Hii sio tu inapunguza gharama lakini pia hurahisisha mfumo mzima kutunza na kuongeza.

Hebu fikiria hali ambapo wakala mmoja anawajibika kuratibu, mwingine kwa muhtasari, na wa tatu kwa ajili ya kufanya utafutaji wa wavuti. Kila moja ya mawakala hawa wanaweza kufanya kazi pamoja, kutumia tu ujuzi wanaohitaji, bila ya juu ya mfumo wa monolithic. Kwa kupeleka miundo mingi ndogo au mawakala kulingana na mantiki, biashara zinaweza kupata matokeo sahihi zaidi na haraka huku zikipunguza kwa kiasi kikubwa gharama za usindikaji na kuhifadhi.

Kutumia LLM kupita kiasi: Wakati Mantiki Rahisi Itafanya

Mwishowe, kuna matumizi kupita kiasi ya LLM katika hali ambapo mantiki rahisi ingefanya. LLMs ni wazuri sana katika kuelewa na kutoa lugha asilia, lakini hiyo haimaanishi kwamba wanapaswa kuchukua nafasi ya aina zote za otomatiki. Kazi nyingi—kama vile uthibitishaji wa data, kujaza fomu, au kutoa ripoti iliyopangwa—zinaweza kufanywa haraka na kwa uhakika zaidi kwa kutumia hati za kimsingi, injini za sheria, au mifumo inayobainisha.

Mfano mkuu ni kutumia LLM kwa kazi ya hesabu au tatizo la kupanga. Hii haina ufanisi na sio lazima. Sio tu kwamba inapoteza rasilimali za hesabu, lakini pia huongeza uwezekano wa makosa katika hali ambapo kazi rahisi au algorithm itakuwa sahihi zaidi. Tamaa ya kutekeleza LLM kwa kila kitu imegeuka kuwa ugonjwa wa "LLM nyundo unaotafuta misumari". Matumizi haya mabaya husababisha matarajio makubwa na hatimaye kukata tamaa wakati miundo haifanyi kazi inavyotarajiwa katika majukumu ambayo haikuundwa kushughulikia.

Kufikiria upya Uhandisi wa AI

Ni wakati wa kufikiria upya uhandisi wa AI na kusonga zaidi ya mitindo. RAG ina nafasi yake kwenye kisanduku cha zana, lakini sio tiba. Wakati ujao uko katika kupeleka miundo inayofaa kwa kazi zinazofaa—wakati fulani hiyo inamaanisha RAG, lakini mara nyingi haifanyi hivyo. Kwa uelewa mdogo wa uwezo wa AI, wahandisi wanaweza kubuni mifumo ambayo ni bora zaidi, bora, na rahisi kudumisha.

Kunihusu: Mkongwe wa miaka 20+ akichanganya data, AI, udhibiti wa hatari, mkakati na elimu. Mshindi wa 4x hackathon na athari za kijamii kutoka kwa wakili wa data. Hivi sasa inafanya kazi kuzindua wafanyikazi wa AI nchini Ufilipino. Jifunze zaidi kunihusu hapa: https://docligot.com