Text-to-SQL AI-nin Qatil Tətbiqi olmalı idi. Bu deyil.

İlkin ChatGPT çılğınlığının qızğın vaxtında mən keçmiş həmkarımdan bir mətn aldım. O, mənim tərəfimdən bir fikir yürütmək istəyirdi. Həmişə beyin fırtınası keçirməkdən həzz alan biri idik, biz zəng vurduq və o, “Yadınızdadırmı ki, həmişə məndən sizin üçün məlumat götürməyi xahiş edirdiniz? Bunu özünüz edə bilsəydiniz necə?” Və sonra o, minlərlə (on minlərlə?) başqa insanın eyni anda düşündüyü bir fikir irəli sürməyə davam edir: LLM-lər daha az texniki adamlara öz məlumat suallarına cavab verməyə kömək etmək üçün mətndən SQL üçün istifadə edilə bilər.

Mən bu fikrə bağlı idim, amma əvvəlcə başıma dalmazdan əvvəl Leiyə (indi mənim texniki direktorum) dedim ki, bir az yoxlama aparmalıyıq. Müxtəlif sahələrdən olan dostlarla və keçmiş həmkarlarımızla əlaqə saxladıq. Əsl “öz-özünə xidmət analitikasına” böyük maraq var idi. Biz bunun göründüyündən daha mürəkkəb olacağını bilirdik, lakin fürsəti əldən vermək üçün çox yaxşı hiss olunurdu. Beləliklə, Lei və mən The Shire-dan ayrıldıq və vizyonumuzu yaratmaq üçün səyahətimizə başladıq: Fabi.ai .

Bu yazı məhsulumuzun özü haqqında deyil (baxmayaraq ki, əgər maraqlanırsınızsa, aşağıdakı ideyalardan bəzilərinin son məhsul işimizə necə məlumat verdiyi haqqında ətraflı oxuya bilərsiniz. burada ). Bunun əvəzinə səyahətimiz boyu məlumatların təhlili üçün LLM-lərlə işləməkdən topladığımız əsas öyrənmələri bölüşmək istədim.

Qeyd: Bu səyahətdə sehrbazlar və epik Orta Yer döyüşləri yoxdur. 🧙

Nə üçün AI-dən özünəxidmət analitikası üçün istifadə olunur?

Biz “niyə” üzərində çox uzanmayacağıq. Bunu oxuyursunuzsa, çox güman ki, iki qrupdan birinə düşəcəksiniz:

1. Siz özünəxidmət analitikasının mövcud olmasını arzulayan və həmişə data komandanızda gözləmək istəməyən birisiniz
2. Siz data komandasındasınız və AI-nin ad hoc sorğu probleminizi həll etməyə necə kömək edəcəyi barədə eşitmisiniz.

Məlumat analitiklərinin və alimlərin rolu ilə bağlı narahatlığa məhəl qoymadan, təşkilatın məlumatları ilə bağlı istənilən suala cavab verə biləcək hər şeyi bilən AI ideyası gözəl səslənir. Və ya heç olmasa, sual vermənin yeni üsulları üçün yaradıcılığı sərhəd tanımayan təşkilat və onun biznes liderləri üçün xoş səslənir. Bu süni intellekt hər bir liderin öz strateji qərarlarını vermək üçün empirik dəlillərə söykəndiyi “məlumatlara əsaslanan” təşkilat yaratmaq üçün həll yolu ola bilər. Və hamısı normal olaraq alacağı dəyərin bir hissəsinə. Nəhayət! Təşkilatlar 2010-cu ildən bəri eşitdikləri “yeni neftdən” yararlana bilərlər.

Bəs bu həll etmək üçün çox dəyərli bir problemdirsə və AI bu qədər yaxşılaşdısa, niyə indiyə qədər heç bir məhsul onu həll etməyib ?

Niyə özünəxidmət analitikası üçün AI indiyə qədər uğursuz oldu?

Son sənaye sorğuları müəssisədə AI qəbulunun mürəkkəb mənzərəsini yaradır. şirkətlərin 61 faizi AI agentlərini sınayırlar. Ancaq bir çoxları etibarlılıq və təhlükəsizlikdən narahatdırlar. Əslində, təşkilatların 21%-i onlardan ümumiyyətlə istifadə etmir. Bu tərəddüdlər, dəqiqlik və etibarlılığın iş görmək qabiliyyətimiz üçün kritik vəzifə olduğu məlumat qruplarında xüsusilə güclü şəkildə hiss olunur.

Süni intellekt tətbiq edənlər – xüsusən də müəssisədə – texnologiyanın gözləntilərinə gəldikdə yüksək səviyyəyə malikdirlər. Məlumat analitikası və özünə xidmət arzusu kontekstində biz AI alətlərimizdən gözləyirik:

1. Anlayışlar təmin edir: Cədvəllər və diaqramlar əladır, lakin bunlar “baxışlar” adlandırıla bilən şeylərin bir hissəsidir. Anlayışlar "Aha!" məlumatlarınızda intuisiyanıza zidd olan və başqa cür hesab etmədiyiniz şeyləri aşkar etməkdən yaranan anlar. Bəzən bir SQL sorğusu və ya pivot bu anlayışlara işıq sala bilər, lakin ümumiyyətlə bu, saman tayasında iynə tapmaq kimi hiss olunur.
2. Demək olar ki, 100% etibarlı şəkildə işləyin: Məlumatın olmamasından daha pis olan yeganə şey pis məlumatdır. Süni intellektə etibar etmək mümkün deyilsə və ya cavabları və məlumatları halüsinasiya edirsə, bu, hər kəs üçün pis xəbər deməkdir. Bu o deməkdir ki, süni intellektdə məlumat olduqda, ondan düzgün istifadə etməlidir. Lakin məlumat olmadıqda, cavab verməkdən çəkinməlidir (LLM-lərin çox pis olduğu bir şey).
3. Geniş çeşidli texniki bacarıq dəstləri üçün əlçatan olun: LLM-lərin gözəlliyi ondan ibarətdir ki, siz onlarla Slack üzərində iş yoldaşınızla ünsiyyət qura bilərsiniz. Siz qeyri-müəyyən dildən istifadə edə bilərsiniz. Digər şəxs və ya şey, ehtimal ki, iş kontekstində sorğunuzu başa düşə bilər. Əksinə, sistem nə qədər dəqiq formada dəqiq terminlərin istifadəsini tələb edirsə, o qədər əlçatan olur. Bu tip sistem təlim və gücləndirmə tələb edir ki, bu da hamımızın bildiyimiz kimi çətin ola bilər.

Təəssüf ki, indiki həllərin əksəriyyəti ənənəvi monolit süni intellekt çərçivəsindən istifadə edir ki, bu da çox vaxt gözləntilərə cavab vermir. Son bir neçə ildə Fabi.ai komandası və mən bu məsələ üzərində çox çalışdıq. Biz müəssisə üçün prototiplər yaratdıq və bir çox variantları araşdırdıq. Sonda biz başa düşdük ki, nə Retrieval Augment Generation (RAG), nə də dəqiq tənzimləmə bu problemi indiki monolit çərçivə ilə həll edə bilməz.

Bu yanaşmanı sınaqdan keçirəndə bizə bir neçə şey aydın oldu:

• RAG kövrəkdir. Çox az kontekst və süni intellekt suala cavab verə bilmir və halüsinasiya riski yaradır. Həddindən artıq kontekst və AI çaşqın olur və dəqiqliyini itirir.
• Bir atışlı AI sizi heç yerə aparmır. Dünyanın ən yaxşı süni intellekt heç vaxt məlumatları dəqiq bir şəkildə çəkə və təhlil edə bilməyəcək. Məlumatlarda və sualda sadəcə çoxlu nüanslar var. Mümkün olan ən sadə nümunəni götürək: Sizin 95% 10 fərqli dəyərlə doldurulmuş “Hesab növü” sahəsi var. Süni intellektdən bir sıra hesab növləri üzrə filtrləmə aparmağı xahiş etsəniz, o, boş dəyərlərin olduğunu qəbul edə bilməyəcək və beləliklə, etibarsız SQL sorğusu yarada bilər. "Əlbəttə," deyə bilərsiniz, "amma biz sadəcə olaraq hər bir sahə və nümunə dəyərləri üçün statistikanı hesablaya və kontekst vektor mağazamızda saxlaya bilərik." Məsələlərin növləri demək olar ki, sonsuzdur və hamısı özünəməxsus şəkildə unikaldır.
• Müəssisə məlumatları qarışıqdır. Bu, ilk iki məqama aiddir, lakin vurğulamağa dəyər. Qısa bir an üçün olsa belə, bir təşkilat mükəmməl müəyyən edilmiş semantik təbəqə ilə bir neçə qızıl masaya sahib ola bilər, RevOps lideri biznes modelini tənzimləmək qərarına gələn kimi hamısı çökür. Mən bir evin bənzətməsini çəkməyi xoşlayıram: Siz ümumiyyətlə evi kifayət qədər səliqəli saxlaya bilərsiniz, lakin həmişə təmizlənməli və ya təmir edilməli olan bir şey olacaq.
• Text-to SQL çox məhdudlaşdırıcıdır. Əksər məlumat analitikası sualları üçün məlumatları çəkmək üçün SQL yazmaq yalnız ilk addımdır. Bu, daha maraqlı suallar verməyə başlamazdan əvvəl atmalı olduğunuz addımdır. SQL, sadəcə olaraq, biznes istifadəçilərinin soruşduğu mürəkkəb təhlili idarə edə bilmir. Digər tərəfdən LLM və Python tapşırıq üçün mükəmməl uyğun gəlir. Bu alətlər SQL çıxışınızı götürə və o iynəni ot tayasında tapa bilər. Onlar həmçinin daha böyük tendensiyaları üzə çıxarmaq üçün reqressiya təhlilləri apara bilərlər.

Bu məsələlərə baxdıqdan sonra biz süni intellektin problemlərə daha yaxşı uyğunlaşmasının yollarını düşündük. Məhz o zaman AI agentləri işə düşdü və bu konsepsiyanı bizim üçün möhkəmləndirdi.

Gələcək: Agent şəbəkələri

Agentlik çərçivələrinə nəzər saldığımız anda bunun oyunu dəyişəcəyini bilirdik. Birdən biz AI-nin suallara necə cavab verəcəyinə qərar verə biləcəyimizi hiss etdik. O, addımlarla işləyə və problemləri öz-özünə həll edə bilər. Süni intellekt “Hesab növü” sahəsində boş dəyərləri qaçıran SQL sorğusu yazırsa, o, sorğunu quruya, xətanı aşkarlaya və özü düzəldə bilər. Bəs bunu bir addım da atsaq və AI-nin əsasən Python-da işləməsinə və LLM-lərdən istifadə etməsinə icazə versək nə olar? İndi AI məlumatları çəkməkdən daha çox şey edir. O, adətən əl ilə axtarmaq lazım olan kənar göstəriciləri, tendensiyaları və ya unikal fikirləri tapmaq üçün Python paketlərindən və ya LLM-lərdən istifadə edə bilər.

Ancaq yenə də bir problemimiz var idi: qarışıq müəssisə məlumatları. Biz inanırdıq ki, təşkilatlar bunu güclü məlumat mühəndisliyi təcrübələrindən istifadə etməklə həll edə bilər, məsələn a medalyon memarlığı və ciddi semantik təbəqə. Bununla belə, real həyatda bunu edən təşkilatlara nadir hallarda rast gəlirik. Əksər təşkilatlar elektron cədvəllərdən, yarı bişmiş cədvəllərdən və daim dəyişən məlumat modellərindən istifadə edirlər. Buradan biz konkret suallara cavab vermək üçün tez qurula bilən ixtisaslaşmış süni intellekt agentləri yaratmaq ideyası ilə çıxış etdik.

Şirkətlər böyüdükcə daha çox məlumat idarə edir və daha çox istifadəçiyə sahib olurlar. Agent şəbəkəsi ideyası idarəetmə üçün lazım olan nəzarət ilə sürətli qərarların qəbulunu balanslaşdırmağa kömək edir. İxtisaslaşmış agentlər hər bir AI üçün aydın sərhədlər və məsuliyyətlər təyin etməyə kömək edir. Onlar həmçinin agentlərin ünsiyyət qurması üçün genişləndirilə bilən bir yol yaradırlar. Üstəlik, onlar komandalar və şirkətlər arasında resursları səmərəli şəkildə idarə etməyə kömək edə bilərlər.

İxtisaslaşdırılmış AI agentləri

İxtisaslaşmış agentin arxasında duran ideya ondan ibarətdir ki, bu agent yalnız çox dəqiq müəyyən edilmiş verilənlər bazası üzrə suallara cavab verə bilər və verəcəkdir. Məsələn, marketinq kampaniyaları ilə bağlı suallara cavab verən AI agenti yarada və işə sala bilərsiniz. Və ya marketinq boru kəməri və sairə ilə bağlı suallara cavab vermək üçün başqasını qura bilərsiniz.

Bu yaxınlarda Agent Analitikini işə saldıq , bu arxitekturadan istifadə etməklə. Erkən əlamətlər çox ümidvericidir. Verilənlər dəstləri diqqətlə tərtib edildikdə və düzgün detallılıq səviyyəsində bu agentlər müəyyən suallar toplusuna son dərəcə etibarlı cavab verə bilər. Bu agentlərin yaradıcısı onları texniki olmayan istifadəçilərlə paylaşa bilər və süni intellektin əhatə dairəsi olmayan suallara cavab verməyəcəyini bilərək rahat ola bilər.

Sadəcə bir qüsur var: İstifadəçilər bilməlidirlər ki, hansı sual üçün hansı agentə müraciət etsinlər. Bu, sadəcə ümumi sual verməklə müqayisə etmək üçün düzgün marketinq analitikini bilmək ehtiyacına bənzəyir. Ümumi bir sualla komandadan kimsə onu lazımi şəxsə yönəldə bilər. Burada “agent şəbəkəsi” anlayışı ortaya çıxır.

Agentləri birləşdirir

Əgər bir agent domenə aid suallara etibarlı şəkildə cavab verə bilirsə, niyə agentlərin bir-biri ilə danışmasına icazə vermirsiniz? Niyə, məsələn, marketinq kampaniyası agenti birbaşa boru kəməri agentindən suala daha asan cavab verə biləcəklərini soruşa bilmir? Biz inanırıq ki, bunu bacarmalıdır. Əslində, düşünürük ki, gələcəkdə iyerarxik quruluşa malik agent şəbəkələri yaranacaq. Siz “Marketinq agenti” adlandıran “GTM agenti”ni təsəvvür edə bilərsiniz. Bu agent daha sonra həm “Boru kəməri agenti”, həm də “Marketinq kampaniyası agenti” adlandırır.

Bu fikir süni intellekt ətrafında hərəkət edən daha ümumi ideya kimidir. Agentlərin İnterneti ." Bu, süni intellekt agentlərinin müxtəlif təşkilatlar arasında rəvan əməkdaşlıq etdiyi bir gələcəkdir. Onlar bunu təhlükəsizlik və etibarın möhkəm qalmasını təmin etməklə həyata keçirirlər.

Bu mesh yanaşması monolit süni intellektlə (təmiz semantik təbəqədə) bir neçə əsas üstünlük təklif edir:

• Müşahidə oluna bilənlik: Tək agent xüsusi məlumatlara əsaslanaraq cavablar təqdim etdiyi üçün siz hər bir cavabı həmin agentə qədər izləyə bilərsiniz. Bu, audit vasitəsilə dəqiqliyi təmin etməyə kömək edir. Həddindən artıq sadə olsa da, konkret misal gətirmək üçün iki hadisə cədvəliniz olduğunu təsəvvür edin: biri marketinq, digəri məhsul üçün. İstifadəçi "Hansı hadisələr ən çox gəlir gətirdi?" Süni intellekt onların məhsul hadisələrini nəzərdə tutduğunu güman edə bilər. Səhv olsa belə, istifadəçi hansı agentin cavab verdiyini görə bilər və AI-yə rəhbərlik edə bilər.
• Baxımlılıq: Avtomobil mühərriki kimi, problemləri asanlıqla tapa bilsəniz və hissələri tez bir zamanda dəyişdirə bilsəniz, avtomobil daha etibarlı olur. Əgər bir agent məlumat modelindəki dəyişiklik səbəbindən uğursuzluğa düçar olarsa, o zaman tez aşkarlana və həmin agent yenilənə bilər.
• Dəqiqlik: Hər bir agent öz hüdudları daxilində fəaliyyət göstərdiyi üçün onun relsdən çıxması üçün yer yoxdur. Ola bilsin ki, cavabı yoxdur, amma fantastik bir şey yaratmayacaq.

Günün sonunda, bu mesh ideyası yeni deyil. Bu, LLM-lər üçün dəqiqliyi yaxşılaşdırdığı nümayiş etdirilən mütəxəssislər qarışığı konsepsiyasını əks etdirir. Sadəcə eyni ideyanı götürüb AI agentlərinə çatdırmaqdır.

Agent meshlərinin texniki problemləri

Fabi.ai-də Analitik Agent şəbəkəsini qurduğumuz üçün getməli olduğumuz uzun yol var. Lakin, biz artıq bu yolda bəzi böyük texniki infrastruktur problemlərinin öhdəsindən gəlmişik.

AI məlumat analitik agentləri unikal arxitekturaya ehtiyac duyurlar. Bu dizayn onlara suallara cavab vermək, məlumat mənbələri ilə sinxronlaşmaq və əməkdaşlıq platformalarına uyğunlaşmaq üçün Python və ya LLM-lərdən istifadə etməyə imkan verməlidir, eyni zamanda hələ də təhlükəsiz və miqyaslana bilir. Hər bir agent öz Python nüvəsində işləməlidir ki, bu da xərcləri azaltmaq və mənbə məlumatları ilə sinxron qalmaq üçün tez bir zamanda yuxarı və ya aşağı salınmalıdır.

Hər agentə fərdi ləpələr təqdim etməyən arxitekturalar aşağıdakı risklərdən birinə məruz qala bilər:

• AI agentləri arasında dəyişənlər üçün vəziyyət münaqişəsi. İki ayrı agent suala cavab vermək üçün “foo” dəyişəni yarada bilər və bu, qarşıdurmaya səbəb ola bilər. Unikal identifikatorlar yaratmağın başqa yolları da ola bilər, lakin bunlar süni intellektin etibarsız kod yaratma ehtimalını artırır.
• Fərqli komandalar və ya hətta müxtəlif təşkilatlar arasında məlumat mübadiləsi nəticəsində yaranan təhlükəsizlik riskləri.
• Bir agent qeyri-mütənasib miqdarda hesablama resurslarını götürərsə, performans darboğazları.

Bu tip platformanın qurulması çətinliyi DevOps problemi olduğu qədər AI problemidir.

İrəliyə baxmaq: Məlumatlarda ixtisaslaşmış, idarə olunan AI agentlərini əhatə etmək

Müəssisə şirkətləri öz əməliyyatlarında daha çox süni intellekt tətbiqlərini idarə etdikcə, onlara ixtisaslaşmış və yaxşı idarə olunan yanaşmalara ehtiyac var. Agent mesh çərçivəsi məlumat analitikasında AI-ni miqyaslaşdırmaq üçün bir vasitə kimi ixtisaslaşmış AI məlumat agentlərindən istifadə edir. Bu yanaşma təhlükəsizliyi, etibarlılığı və performansı toxunulmaz saxlayır.

Yəqin ki, biz süni intellektin indiyə qədər hər yerdə olmasını və əksər məlumat suallarını cavablandıracağını gözləyirdik. Ancaq yaxından baxsaq, ChatGPT-nin işə salınmasından bəri cəmi iki il ərzində əldə edilən irəliləyiş təsir edicidir. Bu yolda hələ çox şey öyrənməliyik. Fikrimcə, agentlər və agent mesh çərçivələri müəssisə AI üçün əsas olacaq.