Нова история
Зад AI агентите: Инфраструктурата, която поддържа автономност
Твърде дълго; Чета
Научете за инфраструктурата, която поддържа оркестрация в много движещи се части и дълга история на данни и контекст, необходими за изграждане на агентни системи.
Повечето описания на AI агенти и агентни системи се фокусират върху способността на агентите да действат автономно, без намеса на потребителя, в много ситуации в случаите на предназначена употреба на агентите. Някои агенти работят с модел „човек в цикъла“, като ангажират потребителя само когато се натъкнат на несигурност, но въпреки това действат автономно при типични и определени обстоятелства.
Тъй като автономията е основната дефинираща характеристика на AI агентите, съществуват поддържащи възможности, от които агентите се нуждаят, за да действат независимо от потребителския вход. в
Способност и достъп - Способността да се действа от името на потребителя, включително разрешения и удостоверен достъп до съответните системи.
Разсъждение и планиране - Използване на разсъждения за вземане на решения в рамките на структуриран мисловен процес - често дефиниран като верига, дърво, графика или алгоритъм - който ръководи действията на агента.
Оркестрация на компоненти - Координиране на множество части, включително подкани, LLM, налични източници на данни, контекст, памет, история и изпълнението и състоянието на потенциални действия.
Парапети - Механизми за поддържане на агента фокусиран и ефективен, включително предпазни мерки за избягване на грешки или предоставяне на полезна диагностична информация в случай на повреда.
Всяко от тези четири изисквания има различни инфраструктурни нужди. За възможностите и достъпа основните нужди са софтуерни интеграции и управление на идентификационни данни. Разсъжденията и планирането се поддържат главно от LLMs и други AI модели. Темата за парапетите е обширна и често специфична за съответните случаи на употреба, така че ще я запазим за бъдеща статия. Тук бих искал да се съсредоточа върху оркестрацията и инфраструктурата, необходима за поддържане на интелигентна оркестрация в голям брой движещи се части и дълга история на данни и контекст, които може да са необходими по време на вземане на решение.
Компонентна оркестрация и ролята на контекста в AI агентите
Ако приемем, че първите две изисквания по-горе – включително способности, достъп, разсъждения и планиране – функционират по предназначение, основното предизвикателство на оркестрацията на компонентите се свежда до управление на знанието. Агентната система трябва да поддържа осведоменост на различни нива: нейните основни задачи и цели, състоянието на различни съответни системи, историята на взаимодействията с потребителя и други външни системи и потенциално повече.
С LLM използваме концепцията за „прозорец на контекста“, за да опишем набора от информация, достъпна за модела, обикновено в момент на подкана. Това е различно от информацията, съдържаща се в самата подкана, а също и различно от вътрешния набор от знания на LLM, който е формиран по време на процеса на обучение на модела.
В дългите текстове контекстните прозорци могат да се разглеждат като „скорошна история“ на информация, която е налична за LLM в момент на подкана – това се подразбира в архитектурата на LLM и подканите. По този начин повечето LLM имат едноизмерна концепция за контекст, а по-старият контекст просто изпада от прозореца с течение на времето.
Агентите се нуждаят от по-сложна система за управление на контекста и знанията, за да се уверят, че най-важният или спешен контекст е приоритет, когато агентът трябва да вземе решение. Вместо единичен монолитен контекст, AI агентите трябва да проследяват различни типове контекст на различни нива на важност.
Това може да се сравни с паметта в компютърните системи, където различните типове памет - кеш, RAM и твърди дискове - служат за различни цели въз основа на достъпността и честотата на използване. За AI агентите можем концептуално да структурираме контекста в три основни нива:
Основен контекст – основният списък със задачи или цели на агента. Това винаги трябва да е на първо място, да ръководи всички действия.
Директен контекст – Състоянието на свързаните, подходящи системи и непосредствената среда, включително ресурси като системи за съобщения, емисии на данни, критични API или имейл и календари на потребителя.
Външен контекст – Общи познания или всякаква информация, която може да е от значение, но която не е изрично проектирана да бъде основна част от агентната система. Външен контекст може да бъде предоставен от нещо толкова просто като търсене в интернет или Wikipedia. Или може да е спешно и сложно, като например неочаквани фактори, които възникват от новини или актуализации на трети страни, изискващи от агента да адаптира динамично своите действия.
Тези нива на контекст не са окончателни, линиите между тях могат да бъдат много размити и има други полезни начини за описване на типове контекст, но тази концептуална структура е полезна за нашето обсъждане тук.
Инфраструктура за съхранение за управление на контекста
Нуждите за съхранение на AI агентите варират в зависимост от типа контекст, който се управлява. Всяко ниво – първично, пряко и външен контекст – изисква различни структури от данни, механизми за извличане и честота на актуализиране. Ключовото предизвикателство е осигуряването на ефективен достъп, дългосрочна устойчивост и динамични актуализации без претоварване на тръбопровода за обработка на агента.
Вместо да третират контекста като монолитен обект, AI агентите се възползват от хибридни архитектури за съхранение, които съчетават структурирани и неструктурирани модели на данни. Това позволява бързо търсене, семантично извличане и мащабируема устойчивост, като гарантира, че подходящият контекст е наличен, когато е необходимо, като същевременно минимизира излишната обработка на данни.
Основен контекст: Списъци със задачи и цели на агента
Основният контекст се състои от основните цели и активни задачи на агента - основата, която движи вземането на решения. Тази информация трябва да бъде постоянна, силно структурирана и лесно достъпна за запитване, тъй като ръководи всички действия на агента.
Потенциални нужди от съхранение:
- Транзакционни бази данни (ключ-стойност или хранилища на документи) за структурирани списъци със задачи и йерархии на цели.
- Индексиране с ниска латентност за поддръжка на бързо търсене на активни задачи.
- Актуализации, управлявани от събития, за да се гарантира, че задачите отразяват напредъка в реално време.
Примерна реализация на агент
Асистентът за планиране, управляващ опашка със задачи, трябва да съхранява:
- Постоянни задачи (напр. „Насрочване на среща с Алекс“) с актуализации на състоянието.
- Хронология на изпълнението (напр. „Изпратен първоначален имейл, чакащ отговор“).
- Приоритети и зависимости, като се гарантира, че спешните задачи се появяват първи.
Разпределеното хранилище на данни с висока достъпност гарантира, че задачите се проследяват надеждно, дори когато агентът обработва нови събития и контекстни актуализации.
Директен контекст: Състояние на свързаните системи
Директният контекст включва текущото състояние на съответните системи – календари, платформи за съобщения, API, бази данни и други източници на данни в реално време. За разлика от първичния контекст, директният контекст е динамичен и често изисква комбинация от структурирани решения и решения за съхранение в реално време.
Потенциални нужди от съхранение:
- Бази данни с времеви серии за регистрационни файлове на събития и проследяване на състоянието в реално време.
- Кеширащи слоеве за често достъпни състояния на системата.
- Векторно базирано извличане за контекстуални заявки за скорошни взаимодействия.
Примерно внедряване на агент:
AI агент за поддръжка на клиенти, който проследява потребителските взаимодействия на живо, трябва да съхранява:
- История на разговорите в реално време в хранилище в паметта.
- Състояние на сесията (напр. подробности за текуща поддръжка) в база данни с времеви серии.
- Кеширане на отговорите на API за търсене на външна система, избягване на излишни заявки.
Чрез структуриране на пряко контекстно съхранение с комбинация от чувствителни към времето и дългосрочни хранилища на данни, AI агентите могат да действат с съзнание за тяхната среда без прекомерно забавяне.
Външен контекст: Извличане и адаптиране на знания
Външният контекст включва общо знание и неочаквани актуализации от източници извън непосредствения контрол на агента. Това може да варира от заявки за търсене при поискване до динамично погълнати външни данни, което изисква гъвкав подход към съхранението и извличането. За разлика от първичния и директния контекст, които са тясно свързани с текущите задачи на агента и свързаните системи, външният контекст често е неструктуриран, обширен и силно променлив по отношение.
Потенциални съображения за съхранение:
- Хранилища на документи и бази от знания за постоянен, структуриран справочен материал.
- Векторно търсене за търсене на големи набори от данни от документи, вътрешни или външни.
- Генериране с допълнено извличане (RAG ) за извличане на съответните знания преди отговор.
- Поточно предаване и управлявано от събития приемане за актуализации в реално време от външни източници на данни.
Примерно внедряване на агент:
Личен асистент, съставящ доклад за най-новите научни открития в изследването на изменението на климата, трябва да:
- Извличайте научни статии от външни източници, като филтрирате за уместност въз основа на ключови думи или векторно сходство.
- Анализирайте връзките между документите , идентифицирайки тенденциите с помощта на графика на знанието.
- Обобщете ключови прозрения с помощта на базирано на LLM генериране с разширено извличане.
- Проследявайте последните актуализации , като се абонирате за емисии на публикации в реално време и източници на новини.
Чрез структуриране на съхранение на външен контекст около бързо извличане и семантична организация, агентите на AI могат непрекъснато да се адаптират към нова информация, като същевременно гарантират, че извлечените данни остават уместни, надеждни и приложими.
Хибридно хранилище за съобразени с контекста AI агенти
Проектирането на съобразени с контекста AI агенти изисква внимателен баланс между ефективен достъп до критична информация и избягване на претоварване на паметта или обработката. AI агентите трябва да решат кога да съхраняват, извличат и обработват динамично контекста, за да оптимизират вземането на решения.
Хибридна архитектура за съхранение – интегрираща транзакционни, векторни, времеви серии и модели, управлявани от събития – позволява на AI агентите да поддържат постоянство на контекста, ефективност на извличане и адаптивен интелект, всички от които са от решаващо значение за автономността в мащаб. Постигането на този баланс изисква структурирани стратегии в три ключови измерения:
Латентност срещу постоянство – Контекстът с често достъп (напр. състояния на активни задачи) трябва да се намира в хранилище с ниска латентност, докато по-рядко необходимите, но съществени знания (напр. исторически взаимодействия) трябва да се извличат при поискване от дългосрочно съхранение.
Структурирани срещу неструктурирани данни – Задачите, целите и състоянията на системата се възползват от структурирано съхранение (напр. ключ-стойност или бази данни с документи), докато по-широкото извличане на знания изисква неструктурирани вграждания и графични връзки за ефективно улавяне на контекста.
Информираност в реално време срещу историческа осведоменост – Някои контексти изискват непрекъснато наблюдение (напр. API отговори на живо), докато други (напр. предишни решения или доклади) трябва да се извличат само когато са подходящи за текущата задача на агента.
Като се имат предвид тези различни видове контексти, AI агентите се нуждаят от структуриран подход за съхраняване и достъп до информация. Разчитането единствено на контекстни прозорци на LLM е неефективно, тъй като ограничава способността на агента да проследява дългосрочни взаимодействия и развиващи се ситуации. Вместо това контекстът трябва да се съхранява постоянно, да се извлича динамично и да се приоритизира въз основа на уместност и спешност.
- Основен контекст (задачи и цели) - съхранява се в транзакционни бази данни за структурирано проследяване и се препраща към всеки цикъл на извод.
- Директен контекст (състояние на системата и активни данни) - Поддържа се в реално време чрез кеширане, съхранение на времеви серии или управлявани от събития актуализации.
- Външен контекст (знание и динамични актуализации) - Запитване при поискване чрез векторно търсене, генериране с разширено извличане (RAG) или представяне на знания, базирано на графики.
На практика многостепенните модели на паметта, комбиниращи краткосрочни кешове, постоянни бази данни и външни механизми за извличане, са необходими за мащабируеми архитектури на AI агенти. Използвайки хибриден подход за съхранение, AI агентите могат:
- Поддържайте информираност в реално време за активните системи.
- Извличайте исторически знания само когато е уместно.
- Динамично коригирайте приоритетите въз основа на променящите се нужди.
Чрез интегрирането на тези стратегии за съхранение, AI агентите могат да функционират автономно, да поддържат контекстуална осведоменост за дълги периоди и да реагират динамично на нова информация – полагайки основата за наистина интелигентни и мащабируеми агентни системи.
Хибридни решения за съхранение
Прилагането на хибридна архитектура за съхранение за AI агенти изисква избор на правилните бази данни и инструменти за съхранение, за да се справят ефективно с различни видове контексти. Най-добрият избор зависи от фактори като изисквания за латентност, мащабируемост, съвместимост на структурата на данните и механизми за извличане.
Добре проектираната система за съхранение на AI агент обикновено включва:
- Транзакционни бази данни за структурирано, постоянно проследяване на задачи.
- Времеви серии и управлявано от събития съхранение за мониторинг на състоянието на системата в реално време.
- Векторно търсене и извличане на знания за гъвкав, неструктуриран достъп до данни.
- Кеширане и бази данни в паметта за бърз достъп до краткосрочна памет.
Нека разгледаме по-подробно всеки от тези елементи.
Транзакционни и разпределени бази данни
AI агентите изискват мащабируеми, високо достъпни транзакционни бази данни, за да съхраняват надеждно задачи, цели и структурирани метаданни. Тези бази данни гарантират, че първичният контекст е винаги наличен и ефикасно достъпен за запитване.
- Apache Cassandra® – Разпределена NoSQL база данни, проектирана за висока достъпност и толерантност към грешки. Идеален за управление на структурирани списъци със задачи и проследяване на цели на агенти в мащаб.
- DataStax Astra DB – управлявана база данни като услуга (DBaaS), изградена на Cassandra, осигуряваща еластична скалируемост и репликация в множество региони за AI приложения, изискващи висока издръжливост.
- PostgreSQL – Популярна релационна база данни със силни гаранции за съгласуваност, подходяща за структурирани метаданни на агенти, постоянни журнали на задачи и прилагане на правила.
Времеви редове и управлявано от събития съхранение
За наблюдение на системата в реално време, AI агентите се нуждаят от бази данни, оптимизирани за регистриране, проследяване на събития и постоянство на състоянието.
- InfluxDB – Водеща база данни с времеви серии, предназначена за високоскоростно поглъщане и ефективни заявки, което я прави идеална за регистриране на активност на AI агент и актуализации на външна система.
- TimescaleDB – Разширение на PostgreSQL, оптимизирано за времеви серии работни натоварвания, подходящо за проследяване на промените в работните процеси на AI агенти и системни събития.
- Apache Kafka + kSQLDB – Платформа за стрийминг на данни, която позволява на AI агентите да консумират, обработват и реагират ефективно на събития в реално време.
- Redis Streams – Леко решение за обработка на събития в реално време и опашка за съобщения, полезно за информиране на AI агентите за новите актуализации, когато се случват.
Векторно търсене за извличане на знания
AI агентите, работещи с неструктурирано знание, изискват ефективни начини за съхраняване, търсене и извличане на вграждания за задачи като семантично търсене, съпоставяне на сходство и генериране с разширено извличане (RAG). Добре оптимизирана система за векторно търсене позволява на агентите да си припомнят съответните минали взаимодействия, документи или факти, без да претоварват паметта или контекстните прозорци.
- DataStax Astra DB – мащабируема, управлявана векторна база данни, изградена на Cassandra, предлагаща високопроизводително търсене по подобие и мултимодално извличане. Astra съчетава разпределена устойчивост с възможности за векторно търсене, което го прави топ избор за AI агенти, които трябва да обработват вграждания ефективно, като същевременно гарантират глобална мащабируемост и висока достъпност.
- Weaviate – Базирана в облака векторна база данни, предназначена за семантично търсене и мултимодално извличане на данни. Той поддържа хибридни методи за търсене и се интегрира добре с графики на знания, което го прави полезен за AI агенти, които разчитат на контекстно разсъждение.
- FAISS (Facebook AI Similarity Search) – Библиотека с отворен код за високоефективно търсене на най-близкия съсед, често вградена в AI тръбопроводи за бързо векторно търсене на големи масиви от данни. Въпреки че не е пълна база данни, FAISS предоставя леко, високоскоростно решение за търсене на локално сходство.
Кеширане и съхранение в паметта
AI агентите изискват достъп с ниска латентност до често препращан контекст, което прави кеширането основен компонент на хибридните архитектури за съхранение.
- Redis – Високоефективно хранилище за ключ-стойност в паметта, широко използвано за краткосрочно контекстно кеширане и управление на сесии в AI агенти.
- Memcached – проста, но ефективна система за разпределено кеширане, която осигурява бърз достъп до често използвани данни на AI агенти.
Чрез интегрирането на тези разнообразни решения за съхранение, AI агентите могат ефективно да управляват краткосрочната памет, постоянните знания и актуализациите в реално време, като гарантират безпроблемно вземане на решения в мащаб. Комбинацията от транзакционни бази данни, съхранение на времеви серии, векторно търсене и кеширане позволява на агентите да балансират скоростта, мащабируемостта и контекстната осведоменост, адаптирайки се динамично към новите входове.
Тъй като приложенията, управлявани от изкуствен интелект, продължават да се развиват, изборът на правилната хибридна архитектура за съхранение ще бъде от решаващо значение за активирането на автономни, отзивчиви и интелигентни агентни системи, които могат да работят надеждно в сложни и непрекъснато променящи се среди.
Бъдещето на AI агентите с хибридни бази данни
Тъй като системите с изкуствен интелект стават все по-сложни, хибридните бази данни ще бъдат от решаващо значение за управлението на краткосрочната и дългосрочната памет, структурираните и неструктурираните данни и прозренията в реално време и историческите данни. Напредъкът в генерирането с допълнено извличане (RAG), семантичното индексиране и разпределеното заключение правят агентите на ИИ по-ефективни, интелигентни и адаптивни. Бъдещите AI агенти ще разчитат на бързо, мащабируемо и съобразено с контекста съхранение, за да поддържат непрекъснатост и да вземат информирани решения във времето.
Защо хибридни бази данни?
AI агентите се нуждаят от решения за съхранение, които ефективно управляват различни видове контекст, като същевременно гарантират скорост, мащабируемост и устойчивост. Хибридните бази данни предлагат най-доброто от двата свята – високоскоростни структурирани данни с дълбоко контекстно извличане – което ги прави основополагащи за интелигентни системи с изкуствен интелект. Те поддържат векторно базирано търсене за дългосрочно съхранение на знания, търсене на транзакции с ниска латентност, актуализации в реално време, управлявани от събития, и разпределена скалируемост за толерантност към грешки.
Изграждане на мащабируема AI инфраструктура за данни
За да поддържат интелигентни AI агенти, разработчиците трябва да проектират архитектури за съхранение, които комбинират множество модели на данни за безпроблемно управление на контекста:
Векторно търсене и колонни данни – съхранявайте семантичен контекст заедно със структурирани метаданни за бързо извличане
Работни потоци, управлявани от събития – предавайте поточно актуализации в реално време, за да информирате AI агентите за променящите се данни
Глобален мащаб и устойчивост – внедряване в разпределени мрежи за висока достъпност и толерантност към грешки
Чрез интегриране на транзакционна обработка, векторно търсене и актуализации в реално време,
Написано от Brian Godsey, DataStax
L O A D I N G
. . . comments & more!
. . . comments & more!
