Зад агентите со вештачка интелигенција: Инфраструктурата што ја поддржува автономијата

Повеќето описи на агенти за вештачка интелигенција и агентски системи се фокусираат на способноста на агентите да дејствуваат автономно, без интервенција на корисникот, во многу ситуации во случаите на наменети за употреба на агентите. Некои агенти работат со модел на човек во јамката, ангажирајќи го корисникот само кога ќе наиде на несигурност, но сепак делува автономно под типични и одредени околности.

Со оглед на тоа што автономијата е примарна дефинирачка карактеристика на агентите за вештачка интелигенција, постојат можности за поддршка што им се потребни на агентите за да дејствуваат независно од внесувањето на корисникот. Во претходен блог пост , идентификувавме четири барања за архитектури за агенсната вештачка интелигенција:

1. Способност и пристап - Способност да се дејствува во име на корисникот, вклучувајќи дозволи и автентификуван пристап до релевантните системи.

   
   

2. Расудување и планирање - Користење на расудување за донесување одлуки во рамките на структуриран мисловен процес - често дефиниран како синџир, дрво, график или алгоритам - што ги води дејствата на агентот.

   
   

3. Оркестрација на компоненти - Координација на повеќе делови, вклучително и потсетници, LLM, достапни извори на податоци, контекст, меморија, историја и извршување и статус на потенцијални дејства.

   
   

4. Заштитни огради - Механизми за одржување на агентот фокусиран и ефективен, вклучувајќи заштитни мерки за избегнување грешки или обезбедување корисни дијагностички информации во случај на дефект.

Секој од овие четири барања има различни инфраструктурни потреби. За способност и пристап, примарните потреби се софтверски интеграции и управување со акредитиви. Расудувањето и планирањето главно се поддржани од LLM и други модели на вештачка интелигенција. Темата на заштитните огради е огромна и честопати специфична за вклучените случаи на употреба, така што ќе ја зачуваме за идна статија. Овде, би сакал да се фокусирам на оркестрацијата и инфраструктурата потребна за поддршка на интелигентна оркестрација низ голем број подвижни делови и долга историја на податоци и контекст што би можеле да бидат потребни во времето на одлучување.

Оркестрација на компоненти и улогата на контекстот во агентите на вештачката интелигенција

Претпоставувајќи дека првите две барања погоре - вклучително способност, пристап, расудување и планирање - функционираат како што е планирано, главниот предизвик на оркестрацијата на компонентите се сведува на управување со знаење. Агентскиот систем треба да ја одржува свеста на различни нивоа: неговите основни задачи и цели, состојбата на различните релевантни системи, историјата на интеракции со корисникот и другите надворешни системи и потенцијално повеќе.

Со LLM, ние го користиме концептот на „контекстен прозорец“ за да го опишеме множеството информации достапни за моделот, генерално во брзо време. Ова е различно од информациите содржани во самиот повик и исто така се разликува од интерниот сет на знаење на LLM што беше формиран за време на процесот на обука на моделот.

Во долгите текстови, контекстните прозорци може да се сметаат како „неодамнешна историја“ на информации што му се достапни на LLM во брзо време - ова е имплицитно во архитектурата на LLM и поттикнувањата. На тој начин, повеќето LLM имаат еднодимензионален концепт на контекст, а постариот контекст едноставно паѓа од прозорецот со текот на времето.

На агентите им треба пософистициран систем за управување со контекстот и знаењето, со цел да се осигураат дека најважниот или итниот контекст е приоритет, секогаш кога агентот треба да донесе одлука. Наместо единствен монолитен контекст, агентите за вештачка интелигенција мора да следат различни типови на контекст на различни нивоа на важност.

Ова може да се спореди со меморијата во компјутерските системи, каде што различни типови на складирање - кеш, RAM и хард дискови - служат за различни цели врз основа на пристапноста и фреквенцијата на користење. За агентите со вештачка интелигенција, можеме концептуално да го структурираме контекстот на три примарни нивоа:

1. Примарен контекст – Основната листа на задачи или цели на агентот. Ова секогаш треба да биде на врвот на умот, водејќи ги сите дејства.

   
   

2. Директен контекст – состојба на поврзани, релевантни системи и непосредна околина, вклучувајќи ресурси како системи за пораки, доводи на податоци, критични API или е-пошта и календари на корисникот.

   
   

3. Надворешен контекст – Општо знаење, или какви било информации кои би можеле да бидат релевантни, но кои не се експлицитно дизајнирани да бидат основен дел од агенцискиот систем. Надворешниот контекст може да се обезбеди со нешто едноставно како пребарување на интернет или Википедија. Или, може да биде итно и комплицирано, како што се неочекувани фактори кои произлегуваат од вести или ажурирања од трета страна, кои бараат од агентот динамично да ги приспособи своите постапки.

Овие нивоа на контекст не се дефинитивни, линиите меѓу нив може да бидат многу нејасни, а има и други корисни начини за опишување на типови на контекст - но оваа концептуална структура е корисна за нашата дискусија овде.

Инфраструктура за складирање за управување со контекст

Потребите за складирање на агентите за вештачка интелигенција варираат во зависност од видот на контекстот што се управува. Секое ниво - примарен, директен и надворешен контекст - бара различни структури на податоци, механизми за пронаоѓање и фреквенции за ажурирање. Клучниот предизвик е да се обезбеди ефикасен пристап, долгорочна упорност и динамични ажурирања без преоптоварување на цевководот за обработка на агентот.

Наместо да го третираат контекстот како монолитен ентитет, агентите за вештачка интелигенција имаат корист од хибридните архитектури за складирање кои ги комбинираат структурираните и неструктурираните модели на податоци. Ова овозможува брзо пребарување, семантичко пребарување и скалабилна упорност, осигурувајќи дека релевантниот контекст е достапен кога е потребно, притоа минимизирајќи ја непотребната обработка на податоци.

Примарен контекст: Списоци со задачи и цели на агенти

Примарниот контекст се состои од основните цели и активните задачи на агентот - основата што го поттикнува донесувањето одлуки. Оваа информација мора да биде постојана, високо структурирана и лесно да се бара, бидејќи ги води сите дејства на агентот.

Потенцијални потреби за складирање:

• Трансакциски бази на податоци (клуч-вредност или складишта на документи) за структурирани списоци со задачи и хиерархии на цели.
• Индексирање со ниска латентност за поддршка на брзо пребарување на активни задачи.
• Ажурирањата засновани на настани за да се обезбеди дека задачите го одразуваат напредокот во реално време.

Пример за имплементација на агент

Асистентот за распоред кој управува со редот за задачи треба да складира:

• Постојани задачи (на пр. „Закажете состанок со Алекс“) со ажурирања на статусот.
• Историја на извршување (на пр. „Испратена почетна е-пошта, се чека одговор“).
• Приоритетите и зависностите, осигурувајќи дека најпрво се појавуваат итните задачи.

Дистрибуираната, високо достапна продавница за податоци гарантира дека задачите се следат сигурно, дури и кога агентот обработува нови настани и ажурирања на контекстот.

Директен контекст: Состојба на поврзани системи

Директниот контекст ја вклучува моменталната состојба на релевантните системи - календари, платформи за пораки, API, бази на податоци и други извори на податоци во реално време. За разлика од примарниот контекст, директниот контекст е динамичен и често бара комбинација од структурирани и решенија за складирање во реално време.

Потенцијални потреби за складирање:

• Бази на податоци со временски серии за дневници на настани и следење на статусот во реално време.
• Слоеви за кеширање за системски состојби до кои често се пристапува.
• Векторско пребарување за контекстуални прашања за неодамнешните интеракции.

Пример за имплементација на агент:

Агентот за вештачка интелигенција за поддршка на клиентите што ги следи живите интеракции на корисниците треба да складира:

• Историја на разговори во реално време во продавница во меморија.
• Состојба на сесија (на пр. детали за билетите за тековна поддршка) во база на податоци за временски серии.
• API-одговор кешира за надворешни пребарувања на системот, избегнувајќи непотребни прашања.

Со структурирање директно складирање во контекст со комбинација од складишта на податоци чувствителни на време и долгорочни складишта, агентите за вештачка интелигенција можат да дејствуваат свесно за нивната околина без прекумерна латентност.

Надворешен контекст: Пронаоѓање и адаптација на знаење

Надворешниот контекст опфаќа општо знаење и неочекувани ажурирања од извори надвор од непосредната контрола на агентот. Ова може да се движи од барања за пребарување на барање до динамички внесени надворешни податоци, што бара флексибилен пристап за складирање и пронаоѓање. За разлика од примарните и директните контексти, кои се тесно поврзани со тековните задачи на агентот и поврзаните системи, надворешниот контекст е често неструктуриран, огромен и многу променлив по релевантност.

Потенцијални размислувања за складирање:

• Продавници на документи и бази на знаење за постојан, структуриран референтен материјал.
• Векторско пребарување за барање големи збирки податоци на документи, внатрешни или надворешни.
• Зголемена генерација на пронаоѓање (RAG ) за да се добие релевантно знаење пред да се одговори.
• Проследување и преземање водени од настани за ажурирања во реално време од надворешни извори на податоци.

Пример за имплементација на агент:

Личниот асистент кој составува извештај за најновите научни откритија во истражувањето за климатските промени треба:

• Враќање научни статии од надворешни извори, филтрирање за релевантност врз основа на клучни зборови или векторска сличност.
• Анализирајте ги односите помеѓу трудовите , идентификувајќи ги трендовите користејќи графикон на знаење.
• Резимирајте ги клучните сознанија користејќи проширена генерација за пронаоѓање базирана на LLM.
• Следете ги неодамнешните ажурирања со претплата на доводи на публикации во реално време и извори на вести.

Со структурирање на складирање на надворешен контекст околу брзото пронаоѓање и семантичка организација, агентите за вештачка интелигенција можат континуирано да се прилагодуваат на новите информации додека се осигуруваат дека добиените податоци остануваат релевантни, веродостојни и активна.

Хибридно складирање за Агенти со вештачка интелигенција за контекстот

Дизајнирањето на агенти за вештачка интелигенција кои се свесни за контекстот бара внимателен баланс помеѓу ефикасниот пристап до критичните информации и избегнувањето на преоптоварување на меморијата или обработката. Агентите за вештачка интелигенција мора да одлучат кога да складираат, преземаат и динамично обработуваат контекст за да го оптимизираат одлучувањето.

Хибридната архитектура за складирање - интегрирајќи трансакциски, векторски, временски серии и модели управувани од настани - им овозможува на агентите со вештачка интелигенција да одржуваат истрајност на контекстот, ефикасноста на пронаоѓање и адаптивната интелигенција, од кои сите се клучни за автономија на размер. За да се постигне оваа рамнотежа потребни се структурирани стратегии во три клучни димензии:

1. Латентност наспроти упорност - Контекстот до кој често се пристапува (на пр., активните состојби на задачи) треба да се наоѓа во складирање со ниска латентност, додека поретко потребното, но суштинското знаење (на пр. историски интеракции) треба да се добие на барање од долгорочно складирање.

   
   

2. Структурирани наспроти неструктурирани податоци - Задачите, целите и системските состојби имаат корист од структурираното складирање (на пр., бази на податоци со клуч-вредност или документи), додека поширокото пребарување на знаење бара неструктурирани вградувања и врски со графикони за ефективно да се долови контекстот.

   
   

3. Во реално време наспроти историска свест - Некои контексти бараат континуирано следење (на пр., живи одговори на API), додека други (на пр., претходни одлуки или извештаи) треба да се преземаат само кога се релевантни за тековната задача на агентот.

Со оглед на овие различни типови на контексти, на агентите за вештачка интелигенција им треба структуриран пристап за складирање и пристап до информации. Потпирањето единствено на LLM контекстуалните прозорци е неефикасно, бидејќи ја ограничува способноста на агентот да следи долгорочни интеракции и ситуации кои се развиваат. Наместо тоа, контекстот треба постојано да се складира, динамички да се превзема и да се даде приоритет врз основа на релевантноста и итноста.

• Примарен контекст (задачи и цели) - Зачуван во трансакциски бази на податоци за структурирано следење и референциран во секој циклус на заклучоци.

• Директен контекст (состојба на системот и активни податоци) - се одржува во реално време преку кеширање, складирање на временски серии или ажурирања управувани од настани.

• Надворешен контекст (знаење и динамични ажурирања) - Побаруван на барање преку векторско пребарување, проширена генерација на пронаоѓање (RAG) или претставување на знаење базирано на графикони.

Во пракса, моделите со повеќе нивоа на меморија кои комбинираат краткорочни кешови, постојани бази на податоци и механизми за надворешно пребарување се потребни за скалабилни архитектури на агенти со вештачка интелигенција. Со искористување на пристапот за хибридно складирање, агентите за вештачка интелигенција можат:

• Одржувајте ја свеста во реално време за активните системи.
• Добијте историско знаење само кога е релевантно.
• Динамично приспособете ги приоритетите врз основа на потребите кои се развиваат.

Со интегрирање на овие стратегии за складирање, агентите за вештачка интелигенција можат да функционираат автономно, да ја задржат контекстуалната свест во текот на долги периоди и да реагираат динамично на новите информации - поставувајќи ја основата за навистина интелигентни и скалабилни агенциски системи.

Хибридни решенија за складирање

Спроведувањето на хибридна архитектура за складирање за агенти со вештачка интелигенција бара избирање на вистинските бази на податоци и алатки за складирање за ефикасно справување со различни типови контексти. Најдобриот избор зависи од фактори како што се барањата за латентност, приспособливост, компатибилност на структурата на податоци и механизми за пронаоѓање.

Добро дизајнираниот систем за складирање агенти со вештачка интелигенција обично вклучува:

• Т рансакциони бази на податоци за структурирано, постојано следење на задачите.
• Складирање со временски серии и настани за следење на состојбата на системот во реално време.
• Векторско пребарување и пребарување на знаење за флексибилен, неструктуриран пристап до податоци.
• Кеширање и бази на податоци во меморијата за брз пристап до краткорочна меморија.

Ајде внимателно да го разгледаме секој од овие елементи.

Трансакциски и дистрибуирани бази на податоци

Агентите за вештачка интелигенција бараат скалабилни, високо достапни трансакциски бази на податоци за веродостојно складирање задачи, цели и структурирани метаподатоци. Овие бази на податоци обезбедуваат дека примарниот контекст е секогаш достапен и ефикасно може да се бара.

• Apache Cassandra® – Дистрибуирана NoSQL база на податоци дизајнирана за висока достапност и толеранција на грешки. Идеален за управување со структурирани списоци со задачи и следење на целите на агентите во обем.

• DataStax Astra DB – Управувана база на податоци како услуга (DBaaS) изградена на Касандра, која обезбедува еластична приспособливост и мултирегионална репликација за апликации со вештачка интелигенција кои бараат висока издржливост.

• PostgreSQL – Популарна релациона база на податоци со силни гаранции за конзистентност, добро прилагодена за структурирани метаподатоци за агенти, постојани дневници за задачи и спроведување на политики.

Складирање со временски серии и настани

За следење на системот во реално време, на агентите со вештачка интелигенција им требаат бази на податоци оптимизирани за евидентирање, следење настани и упорност на состојбата.

• InfluxDB – Водечка база на податоци за временски серии дизајнирана за брзо внесување и ефикасни прашања, што ја прави идеална за евидентирање на активноста на агентот со вештачка интелигенција и надградби на надворешниот систем.

• TimescaleDB – Екстензија PostgreSQL оптимизирана за оптоварувања на временски серии, погодна за следење на промените во работните текови на агентите со вештачка интелигенција и системските настани.

• Apache Kafka + kSQLDB – Платформа за пренос на податоци која им овозможува на агентите за вештачка интелигенција ефикасно да консумираат, обработуваат и реагираат на настани во реално време.

• Redis Streams – Лесно решение за справување со настани во реално време и редици за пораки, корисно за да се информираат агентите за вештачка интелигенција за новите ажурирања додека се случуваат.

Векторско пребарување за пребарување на знаење

Агентите за вештачка интелигенција кои работат со неструктурирано знаење бараат ефикасни начини за складирање, пребарување и преземање вградувања за задачи како што се семантичко пребарување, совпаѓање на сличност и проширена генерација на пронаоѓање (RAG). Добро оптимизираниот систем за векторско пребарување им овозможува на агентите да се потсетат на релевантни минати интеракции, документи или факти без преоптоварување на меморијата или контекстните прозорци.

• DataStax Astra DB – Скалабилна, управувана векторска база на податоци изградена на Касандра, која нуди пребарување сличност со високи перформанси и мултимодално пребарување. Astra ја комбинира дистрибуираната еластичност со можностите за векторско пребарување, што го прави врвен избор за агентите со вештачка интелигенција кои треба ефикасно да ги обработуваат вградувањата додека обезбедуваат глобална приспособливост и висока достапност.

• Weaviate – Векторска база на податоци од облак, дизајнирана за семантичко пребарување и мултимодално пребарување на податоци. Поддржува хибридни методи за пребарување и добро се интегрира со графиконите на знаење, што го прави корисен за агентите за вештачка интелигенција кои се потпираат на контекстуално расудување.

• FAISS (Facebook AI Similarity Search) – библиотека со отворен код за пребарување на најблискиот сосед со високи перформанси, често вградена во цевководи за вештачка интелигенција за брзо векторско пребарување на големи збирки податоци. Иако не е целосна база на податоци, FAISS обезбедува лесно, брзо решение за локално пребарување сличности.

Кеширање и складирање во меморија

Агентите за вештачка интелигенција бараат пристап со мала латентност до често референциран контекст, што го прави кеширањето суштинска компонента на архитектурите за хибридно складирање.

• Redis – Продавница за клучеви во меморијата со високи перформанси, широко користена за краткорочно кеширање на контекст и управување со сесии во агенти за вештачка интелигенција.

• Memcached – Едноставен, но ефективен дистрибуиран систем за кеширање кој обезбедува брз пристап до често користените податоци за агенти за вештачка интелигенција.

Со интегрирање на овие разновидни решенија за складирање, агентите со вештачка интелигенција можат ефикасно да управуваат со краткорочната меморија, постојаното знаење и ажурирањата во реално време, обезбедувајќи непречено донесување одлуки на ниво. Комбинацијата на трансакциски бази на податоци, складирање на временски серии, векторско пребарување и кеширање им овозможува на агентите да ја балансираат брзината, приспособливоста и контекстуалната свест, динамично прилагодувајќи се на новите влезови.

Како што продолжуваат да се развиваат апликациите управувани со вештачка интелигенција, изборот на вистинската архитектура за хибридно складирање ќе биде од клучно значење за овозможување автономни, одговорни и интелигентни агенциски системи кои можат да работат сигурно во сложени и постојано променливи средини.

Иднината на агентите со вештачка интелигенција со хибридни бази на податоци

Како што системите за вештачка интелигенција стануваат покомплексни, хибридните бази на податоци ќе бидат клучни за управување со краткорочна и долгорочна меморија, структурирани и неструктурирани податоци и согледувања во реално време и историски. Напредокот во проширената генерација на пронаоѓање (RAG), семантичкото индексирање и дистрибуираните заклучоци ги прават агентите за вештачка интелигенција поефикасни, интелигентни и приспособливи. Идните агенти за вештачка интелигенција ќе се потпираат на брзо, скалабилно и складирање кое е свесно за контекстот за да одржуваат континуитет и да донесуваат информирани одлуки со текот на времето.

Зошто хибридни бази на податоци?

На агентите за вештачка интелигенција им требаат решенија за складирање кои ефикасно управуваат со различни типови на контекст, истовремено обезбедувајќи брзина, приспособливост и еластичност. Хибридните бази на податоци го нудат најдоброто од двата света - структурирани податоци со голема брзина со длабоко контекстуално пребарување - што ги прави основни за интелигентни системи со вештачка интелигенција. Тие поддржуваат векторско пребарување за долгорочно складирање на знаење, пребарување на трансакции со ниска латентност, ажурирања управувани од настани во реално време и дистрибуирана приспособливост за толеранција на грешки.

Изградба на скалабилна инфраструктура за податоци за вештачка интелигенција

За поддршка на интелигентни агенти за вештачка интелигенција, програмерите треба да дизајнираат архитектури за складирање што комбинираат повеќе модели на податоци за непречено управување со контекстот:

• Векторско пребарување и колонообразни податоци - складирајте семантички контекст заедно со структурирани метаподатоци за брзо пронаоѓање

• Работни текови управувани од настани - проследувајте ажурирања во реално време за да ги задржите агентите на вештачката интелигенција свесни за промената на податоците

• Глобални размери и еластичност - распоредете ги низ дистрибуирани мрежи за висока достапност и толеранција на грешки

  
  

Со интегрирање на трансакциска обработка, векторско пребарување и ажурирања во реално време, хибридни бази на податоци како DataStax Astra DB обезбедуваат оптимална основа за меморија на агенти за вештачка интелигенција, свесност за контекстот и донесување одлуки. Како што се развиваат апликациите управувани од вештачка интелигенција, решенијата за хибридно складирање ќе бидат од суштинско значење за овозможување на автономни, богати со контекст ВИ агенти кои работат сигурно во динамични средини со интензивни податоци.

Напишано од Брајан Годси, DataStax