Text-to-SQL AI-ның өлтіруші қолданбасы болуы керек еді. Ол емес.

ChatGPT-тің алғашқы құмарлығы қызып тұрғанда, мен бұрынғы әріптесімнен мәтін алдым. Ол менің идеямды іске асырғысы келді. Әрқашан миға шабуылдан ләззат алатын адам, біз қоңырау шалдық, ол былай бастады: «Есіңде ме? Егер сіз мұны өзіңіз жасай алсаңыз ше?» Содан кейін ол маған мыңдаған (он мыңдаған?) басқа адамдар бір уақытта ойлайтын идеяны ұсынуды жалғастырады: LLMs аз техникалық адамдарға өздерінің деректер сұрақтарына жауап беруге көмектесу үшін мәтінді SQL үшін пайдалануға болады.

Мен бұл идеяға таң қалдым, бірақ алдымен бас итер алдында мен Лейге (қазір менің CTO) біраз тексеруден өтуіміз керек екенін айттым. Әр түрлі саладағы достарымыз бен бұрынғы әріптестерімізбен хабарластық. Нағыз «өзіне-өзі қызмет көрсету аналитикасына» қызығушылық жоғары болды. Біз бұл көрінгеннен әлдеқайда күрделі болатынын білдік, бірақ бұл мүмкіндікті жіберіп алу өте жақсы болды. Сонымен, Лэй екеуміз The Shire-ден шығып, өз көзқарасымызды жасау үшін саяхатқа аттандық: Fabi.ai .

Бұл пост біздің өніміміздің өзі туралы емес (бірақ, егер сізді қызықтыратын болсаңыз, төмендегі кейбір идеялар біздің соңғы өнім жұмысымызды қалай хабардар еткені туралы көбірек оқи аласыз. Мұнда ). Оның орнына мен саяхат барысында деректерді талдау үшін LLM-мен жұмыс істеуден жинаған негізгі білімдермен бөліскім келді.

Ескерту: Бұл саяхатта сиқыршылар мен Орта Жердегі эпикалық шайқастар өте қиын. 🧙

Неліктен AI-ді өзіне-өзі қызмет көрсету талдауы үшін пайдалану керек?

Біз «неге» деген сұраққа көп уақыт бермейміз. Егер сіз мұны оқып жатсаңыз, сіз екі топтың біріне кіруіңіз мүмкін:

1. Сіз өзіңізге қызмет көрсететін аналитиканың қолжетімді болуын қалайтын және әрқашан деректер тобында күтуді қаламайтын адамсыз.
2. Сіз деректер тобындасыз және AI арнайы сұраулар мәселесін шешуге қалай көмектесетінін естідіңіз.

Деректер талдаушылары мен ғалымдардың рөліне қатысты алаңдаушылықты елемеу, ұйымның деректері туралы кез келген сұрақтарға жауап бере алатын, бәрін білетін AI идеясы жақсы естіледі. Немесе, ең болмағанда, сұрақ қоюдың жаңа тәсілдеріне деген креативтілігі шектелмейтін ұйым мен оның бизнес көшбасшылары үшін жақсы естіледі. Бұл AI «деректерге негізделген» ұйымды құрудың шешімі болуы мүмкін, онда әрбір көшбасшы өзінің стратегиялық шешімдерін қабылдау үшін эмпирикалық дәлелдерге сүйенеді. Және бәрі әдетте алатын шығындардың бір бөлігінде. Ақырында! Ұйымдар 2010 жылдан бері естіп келе жатқан «жаңа мұнайды» пайдалана алады.

Бірақ егер бұл өте құнды мәселе болса және AI соншалықты жақсы болса, неге осы уақытқа дейін бірде- бір өнім оны шеше алмады?

Неліктен өзіне-өзі қызмет көрсету аналитикасына арналған AI осы уақытқа дейін сәтсіз болды

Жақында жүргізілген салалық зерттеулер кәсіпорында AI қабылдаудың күрделі бейнесін көрсетеді. компаниялардың 61 пайызы AI агенттерін сынап жатыр. Дегенмен, көптеген адамдар сенімділік пен қауіпсіздікке алаңдайды. Іс жүзінде ұйымдардың 21% оларды мүлде пайдаланбайды. Бұл тартыныстар, әсіресе, дәлдік пен сенімділік жұмыс істеу қабілетіміз үшін маңызды миссия болып табылатын деректер топтарында қатты сезіледі.

Жасанды интеллектті қолданушылар, әсіресе кәсіпорында, технологияны күтуге келгенде жоғары жолаққа ие. Деректерді талдау және өз-өзіне қызмет ету арманы контекстінде біз AI құралынан күтеміз:

1. Түсініктеме береді: Кестелер мен диаграммалар тамаша, бірақ олар «түсінік» деп атауға болатын нәрселердің жиыны. Түсініктер «Аха!» деректеріңіздегі интуицияңызға қайшы келетін және басқаша қарастырмаған нәрселерді анықтаудан туындайтын сәттер. Кейде SQL сұрауы немесе пивот осы түсініктерге жарық түсіруі мүмкін, бірақ әдетте бұл шөптен ине табу сияқты сезіледі.
2. Уақыттың 100% дерлік сенімді түрде жұмыс істеңіз: Деректердің болмауынан да жаман нәрсе - нашар деректер. Егер AI-ға сену мүмкін болмаса немесе жауаптар мен деректерді галлюцинациялау мүмкін болмаса, бұл барлығы үшін жағымсыз жаңалық болып табылады. Бұл АИ-де деректер болған кезде оны дұрыс пайдалану керек дегенді білдіреді. Бірақ деректер жетіспейтін болса, ол жауап беруден аулақ болуы керек (LLM-лер өте нашар).
3. Техникалық дағдылар жиынтығының кең ауқымына қол жетімді болыңыз: LLM-дің сұлулығы - сіз олармен Slack-тегі әріптесіңіз сияқты әрекеттесе аласыз. Сіз түсініксіз тілді пайдалана аласыз. Басқа адам немесе нәрсе бизнес контекстінде сұрауыңызды түсінуі мүмкін. Керісінше, жүйе нақты терминдерді нақты түрде пайдалануды қаншалықты қажет етсе, соғұрлым оның қолжетімділігі аз болады. Жүйенің бұл түрі жаттығулар мен күшейтуді қажет етеді, бұл бәрімізге белгілі, қиын болуы мүмкін.

Өкінішке орай, қазіргі шешімдердің көпшілігі дәстүрлі монолитті AI құрылымын пайдаланады, ол көбінесе үміттерді қанағаттандырмайды. Соңғы бірнеше жылда мен Fabi.ai командасымен осы мәселе бойынша көп жұмыс істедік. Біз кәсіпорынның прототиптерін жасадық және көптеген нұсқаларды зерттедік. Соңында біз Retrieval Augment Generation (RAG) де, дәл баптау да бұл мәселені қазіргі монолитті құрылыммен түзете алмайтынын түсіндік.

Бұл әдісті сынаған кезде бізге бірнеше нәрсе анық болды:

• RAG нәзік. Тым аз контекст және AI сұраққа жауап бере алмайды және галлюцинация қаупін тудырады. Тым көп контекст және AI шатастырады және дәлдігін жоғалтады.
• Бір реттік AI сізді ешқайда апармайды. Әлемдегі ең жақсы AI ешқашан деректерді бір кадрда дәл тартып, талдай алмайды. Деректер мен сұрақта тым көп нюанстар бар. Мүмкін болатын ең қарапайым мысалды алайық: Сізде 95% 10 түрлі мәнмен толтырылған «Тіркелгі түрі» өрісі бар. Егер сіз AI-дан тіркелгі түрлерінің жинағын сүзуді сұрасаңыз, ол бос мәндердің бар екенін мойындамауы мүмкін, осылайша жарамсыз SQL сұрауын жасайды. «Әрине,» деуге болады, «бірақ біз жай ғана әрбір өріс пен үлгі мәндерінің статистикасын есептеп, оны контекстік векторлар қоймасында сақтай аламыз». Мәселелердің түрлері дерлік шексіз және барлығы өзінше бірегей.
• Кәсіпорын деректері шамадан тыс. Бұл алғашқы екі тармаққа қатысты, бірақ баса назар аударған жөн. Уақытша болса да, ұйымда өте жақсы анықталған семантикалық қабаты бар бірнеше алтын кестелер болуы мүмкін, олардың барлығы RevOps көшбасшысы бизнес үлгісін реттеуге шешім қабылдаған кезде істен шығады. Мен үйге ұқсастық жасағанды ұнатамын: сіз әдетте үйді жеткілікті түрде ұқыпты ұстай аласыз, бірақ әрқашан тазалауды немесе жөндеуді қажет ететін нәрсе болады.
• Мәтінді SQL-ге аудару тым шектеулі. Деректерді талдау сұрақтарының көпшілігі үшін деректерді алу үшін SQL жазу ең бірінші қадам болып табылады. Бұл сізге қызықтырақ сұрақтар қоюды бастамас бұрын жасауыңыз керек қадам. SQL іскери пайдаланушылар сұрайтын күрделі талдауды орындай алмайды. Екінші жағынан, LLM және Python тапсырма үшін өте қолайлы. Бұл құралдар сіздің SQL шығысыңызды алып, сол инені шөптен таба алады. Олар сондай-ақ үлкен тенденцияларды ашу үшін регрессия талдауларын жүргізе алады.

Осы мәселелерді қарастырғаннан кейін біз AI-ны проблемаларға қалай жақсырақ бейімдеуге болатынын ойладық. Дәл осы кезде AI агенттері пайда болды және біз үшін бұл тұжырымдаманы бекітті.

Болашақ: агент торлары

Біз агенттік фреймворктарға көз салған сәтте оның ойын өзгертетінін білдік. Біз кенеттен AI-ға сұрақтарға қалай жауап беру керектігін шешуге мүмкіндік беретінімізді сезіндік. Ол қадамдар арқылы жұмыс істей алады және ақауларды өздігінен шеше алады. Егер AI «Тіркелгі түрі» өрісінде нөлдік мәндерді өткізіп жіберетін SQL сұрауын жазса, ол сұрауды құрғатып, қатені анықтап, оны өзі түзете алады. Бірақ егер біз мұны бір қадам алға жылжытсақ және AI негізінен Python-да жұмыс істеуге және LLM-де жұмыс істеуге мүмкіндік берсек ше? Енді AI деректерді тартудан көп нәрсені істейді. Ол әдетте қолмен іздеуге тура келетін ауытқуларды, трендтерді немесе бірегей түсініктерді табу үшін Python пакеттерін немесе LLM-ді пайдалана алады.

Бірақ бізде әлі де бір мәселе болды: бейберекет кәсіпорын деректері. Біз ұйымдар мұны деректерді инжинирингтің күшті тәжірибелерін қолдану арқылы шеше алады деп сендік, мысалы: a медальон сәулеті және қатаң семантикалық қабат. Дегенмен, біз мұны нақты өмірде жасаған ұйымдарды сирек кездестірдік. Көптеген ұйымдар электрондық кестелерді, жартылай пісірілген кестелерді және үнемі өзгеретін деректер үлгілерін пайдаланады. Осы жерден біз белгілі бір сұрақтарға жауап беру үшін жылдам құрастырылатын мамандандырылған AI агенттерін құру идеясына келдік.

Компаниялар өскен сайын, олар көбірек деректерді өңдейді және көбірек пайдаланушыларға ие. Агент тор идеясы басқаруға қажетті бақылаумен жылдам шешім қабылдауды теңестіруге көмектеседі. Мамандандырылған агенттер әрбір AI үшін нақты шекаралар мен жауапкершіліктерді орнатуға көмектеседі. Олар сондай-ақ агенттердің байланысуының ауқымды әдісін жасайды. Сонымен қатар, олар ресурстарды командалар мен компанияларда тиімді басқаруға көмектеседі.

Мамандандырылған AI агенттері

Мамандандырылған агенттің идеясы - бұл агент өте қатаң анықталған деректер жиынтығы бойынша сұрақтарға жауап бере алады және жауап береді. Мысалы, маркетингтік науқандар туралы сұрақтарға жауап беретін AI агентін жасап, іске қосуға болады. Немесе маркетинг құбыры туралы сұрақтарға жауап беру үшін басқасын салуға болады, т.б.

Жақында біз агенттік талдаушыны іске қостық , осы архитектураны пайдалану. Ерте белгілер өте перспективалы. Деректер жинақтары мұқият таңдалған және дұрыс түйіршіктілік деңгейінде болса, бұл агенттер сұрақтардың белгілі бір жинағына өте сенімді түрде жауап бере алады. Бұл агенттерді құрастырушы оларды техникалық емес пайдаланушылармен бөлісе алады және AI қолданымсыз сұрақтарға жауап бермейтінін біле отырып, тыныштықта болады.

Бір ғана кемшілік бар: пайдаланушылар қай агентке қай сұраққа бару керектігін білуі керек. Бұл жай ғана жалпы сұрақ қоюға қарсы сұрақ қою үшін дұрыс маркетинг талдаушысын білу қажет сияқты. Жалпы сұрақпен командадағы біреу оны дұрыс адамға бағыттай алады. Дәл осы жерде «агент торы» ұғымы пайда болады.

Агенттерді біріктіру

Егер бір агент доменге қатысты сұрақтарға сенімді жауап бере алса, неге агенттерге бір-бірімен сөйлесуге мүмкіндік бермеске? Неліктен, мысалы, маркетингтік науқан агенті сұраққа оңай жауап бере алатынын тікелей құбыр агентінен сұрай алмайды? мүмкін болуы керек деп есептейміз. Шындығында, болашақта иерархиялық құрылымы бар агенттер желілері пайда болады деп ойлаймыз. Сіз «Маркетинг агенті» деп аталатын «GTM агентін» елестете аласыз. Содан кейін бұл агент «Құбыр агенті» және «Маркетингтік науқан агенті» деп атайды.

Бұл идея AI айналасында өзгеретін жалпы идея сияқты, « Агенттер интернеті ." Бұл AI агенттері әртүрлі ұйымдарда бірқалыпты жұмыс істейтін болашақ. Олар мұны қауіпсіздік пен сенімнің берік болуын қамтамасыз ете отырып жасайды.

Бұл торлы тәсіл монолитті AI-мен салыстырғанда бірнеше негізгі артықшылықтарды ұсынады (таза семантикалық қабатта):

• Бақылау мүмкіндігі: Жалғыз агент нақты деректерге негізделген жауаптарды беретіндіктен, әрбір жауапты сол агентке қайтаруға болады. Бұл аудит арқылы дәлдікті қамтамасыз етуге көмектеседі. Нақты, тым қарапайым болса да, мысал келтіру үшін, сізде екі оқиғалар кестесін елестетіңіз: біреуі маркетингке және екіншісі өнімге арналған. Егер пайдаланушы: «Қандай оқиғалар ең көп табыс әкелді?» Десе, AI олар өнім оқиғаларын білдіреді деп болжауы мүмкін. Бұл дұрыс емес болса да, пайдаланушы қай агент жауап бергенін көре алады және AI-ға бағыт бере алады.
• Техникалық қызмет көрсету: Автокөлік қозғалтқышы сияқты, ақауларды оңай тауып, бөлшектерді жылдам ауыстыра алсаңыз, автомобиль сенімдірек болады. Деректер үлгісінің ауысуына байланысты бір агент істен шықса, оны тез анықтауға және сол агентті жаңартуға болады.
• Дәлдік: Әрбір агент өз шегінде жұмыс істегенде, оның рельстен шығуына орын жоқ. Оның жауабы болмауы мүмкін, бірақ ол қиялдандырмайды.

Күннің соңында бұл тор идеясы жаңа емес. Бұл LLM үшін дәлдікті жақсарту үшін көрсетілген сарапшылар қоспасының тұжырымдамасын көрсетеді. Бұл жай ғана сол идеяны қабылдап, оны AI агенттеріне жеткізу.

Агент торларының техникалық қиындықтары

Fabi.ai сайтында аналитик агент торын құру үшін бізде ұзақ жол бар. Дегенмен, біз осы жолда кейбір үлкен техникалық инфрақұрылымдық қиындықтарды еңсердік.

AI деректер талдаушы агенттеріне бірегей архитектура қажет. Бұл дизайн оларға сұрақтарға жауап беру, деректер көздерімен синхрондау және бірлескен платформаларға сәйкес болу үшін Python немесе LLM тілдерін пайдалануға мүмкіндік беруі керек, сонымен бірге қауіпсіз және ауқымды болып қалады. Әрбір агент өзіндік Python ядросында жұмыс істеуі керек, ол шығындарды азайту және бастапқы деректермен синхрондалу үшін жылдам жоғары немесе төмен айналдыру керек.

Әрбір агентке жеке ядроларды бермейтін архитектуралар келесі қауіптердің біріне ұшырауы мүмкін:

• AI агенттері арасындағы айнымалылар үшін күй қайшылығы. Екі бөлек агент сұраққа жауап беру үшін «foo» айнымалысын жасап, қақтығыс тудыруы мүмкін. Бірегей идентификаторларды жасаудың басқа жолдары болуы мүмкін, бірақ бұл AI жарамсыз кодты жасау мүмкіндігін арттырады.
• Әртүрлі командалар немесе тіпті әртүрлі ұйымдар арасында деректерді ортақ пайдалану нәтижесінде туындайтын қауіпсіздік тәуекелдері.
• Егер бір агент есептеу ресурстарының пропорционалды емес көлемін алса, өнімділік кедергілері.

Платформаның бұл түрін құру қиындығы DevOps сыныбы сияқты AI мәселесі болып табылады.

Болашаққа көзқарас: Деректердегі мамандандырылған, басқарылатын AI агенттерін қамту

Кәсіпорын компаниялары өз операцияларында AI қосымшаларын басқаратындықтан, оларға арнайы және жақсы басқарылатын тәсілдер қажет. Агент тор жүйесі деректер талдауында AI масштабтау құралы ретінде мамандандырылған AI деректер агенттерін пайдаланады. Бұл тәсіл қауіпсіздікті, сенімділікті және өнімділікті сақтайды.

Біз қазірге дейін AI барлық жерде болып, көптеген деректер сұрақтарына жауап береді деп күткен болар едік. Бірақ, мұқият қарасақ, ChatGPT іске қосылғаннан бері бар болғаны екі жылдағы прогресс әсерлі. Бұл жолда әлі көп нәрсені үйренуіміз керек. Алайда, менің ойымша, агенттер мен агент торы құрылымдары кәсіпорынның AI үшін кілт болады.