Darrere dels agents d'IA: la infraestructura que dóna suport a l'autonomia

La majoria de les descripcions d'agents d'IA i sistemes d'agent se centren en la capacitat dels agents d'actuar de manera autònoma, sense intervenció de l'usuari, en moltes situacions en els casos d'ús prevists pels agents. Alguns agents operen amb un model human-in-the-loop, implicant l'usuari només quan es troben amb incertesa, però encara actuen de manera autònoma en circumstàncies típiques i determinades.

Com que l'autonomia és la principal característica que defineix els agents d'IA, hi ha capacitats de suport que els agents necessiten per actuar de manera independent de l'entrada de l'usuari. En una entrada anterior al blog , vam identificar quatre requisits per a les arquitectures d'IA agentic:

1. Capacitat i accés: la capacitat d'actuar en nom de l'usuari, inclosos els permisos i l'accés autenticat als sistemes rellevants.

   
   

2. Raonament i planificació - Utilitzar el raonament per prendre decisions dins d'un procés de pensament estructurat, sovint definit com una cadena, arbre, gràfic o algorisme, que guia les accions de l'agent.

   
   

3. Orquestració de components: coordinació de múltiples parts, incloses les indicacions, els LLM, les fonts de dades disponibles, el context, la memòria, l'historial i l'execució i l'estat d'accions potencials.

   
   

4. Baranes: mecanismes per mantenir l'agent concentrat i eficaç, incloses les garanties per evitar errors o proporcionar informació útil de diagnòstic en cas de fallada.

Cadascun d'aquests quatre requisits té necessitats d'infraestructura diferents. Per a la capacitat i l'accés, les necessitats principals són integracions de programari i gestió de credencials. El raonament i la planificació estan recolzats principalment per LLM i altres models d'IA. El tema de les baranes és ampli i sovint específic per als casos d'ús implicats, així que ho guardarem per a un article futur. Aquí, m'agradaria centrar-me en l'orquestració i la infraestructura necessària per donar suport a l'orquestració intel·ligent en un gran nombre de parts mòbils i una llarga història de dades i context que es poden necessitar en el moment de la decisió.

L'orquestració de components i el paper del context en els agents d'IA

Suposant que els dos primers requisits anteriors (inclosos l'habilitat, l'accés, el raonament i la planificació) funcionen com es pretén, el principal repte de l'orquestració de components es redueix a la gestió del coneixement. El sistema agent ha de mantenir la consciència en una varietat de nivells: les seves tasques i objectius principals, l'estat de diversos sistemes rellevants, l'historial d'interaccions amb l'usuari i altres sistemes externs, i potencialment més.

Amb els LLM, utilitzem el concepte de "finestra de context" per descriure el conjunt d'informació disponible per al model, generalment en un moment puntual. Això és diferent de la informació continguda a la sol·licitud en sí i també diferent del conjunt de coneixements interns del LLM que es va formar durant el procés de formació del model.

En els textos llargs, les finestres de context es poden considerar com un "historial recent" de la informació que està disponible per al LLM en el moment de l'indicació, això està implícit en l'arquitectura dels LLM i les indicacions. D'aquesta manera, la majoria dels LLM tenen un concepte unidimensional de context, i el context més antic simplement cau fora de la finestra amb el temps.

Els agents necessiten un sistema més sofisticat de gestió del context i del coneixement, per tal de garantir que el context més important o urgent es prioritza, sempre que l'agent necessiti prendre una decisió. En lloc d'un únic context monolític, els agents d'IA han de fer un seguiment de diferents tipus de context amb diferents nivells d'importància.

Això es pot comparar amb la memòria dels sistemes informàtics, on els diferents tipus d'emmagatzematge (la memòria cau, la memòria RAM i els discs durs) tenen diferents propòsits segons l'accessibilitat i la freqüència d'ús. Per als agents d'IA, podem estructurar conceptualment el context en tres nivells principals:

1. Context primari: la llista de tasques o objectius principals de l'agent. Això ha de ser sempre el més important, guiant totes les accions.

   
   

2. Context directe: l'estat dels sistemes connectats i rellevants i de l'entorn immediat, inclosos recursos com ara sistemes de missatgeria, fonts de dades, API crítiques o el correu electrònic i els calendaris d'un usuari.

   
   

3. Context extern – Coneixement general, o qualsevol informació que pugui ser rellevant, però que no està dissenyada explícitament per ser una part bàsica del sistema agent. El context extern podria ser proporcionat per alguna cosa tan simple com una cerca a Internet o a la Viquipèdia. O bé, podria ser urgent i complicat, com ara factors inesperats que sorgeixen de notícies o actualitzacions de tercers, que requereixin que l'agent adapti les seves accions de manera dinàmica.

Aquests nivells de context no són definitius, les línies entre ells poden ser molt borroses i hi ha altres maneres útils de descriure els tipus de context, però aquesta estructura conceptual és útil per a la nostra discussió aquí.

Infraestructura d'emmagatzematge per a la gestió del context

Les necessitats d'emmagatzematge dels agents d'IA varien segons el tipus de context que es gestiona. Cada nivell (context primari, directe i extern) requereix diferents estructures de dades, mecanismes de recuperació i freqüències d'actualització. El repte clau és garantir l'accés eficient, la persistència a llarg termini i les actualitzacions dinàmiques sense sobrecarregar la canalització de processament de l'agent.

En lloc de tractar el context com una entitat monolítica, els agents d'IA es beneficien d'arquitectures d'emmagatzematge híbrids que combinen models de dades estructurats i no estructurats. Això permet cerques ràpides, recuperació semàntica i persistència escalable, assegurant que el context rellevant estigui disponible quan sigui necessari alhora que es minimitza el processament de dades redundant.

Context primari: llistes de tasques i objectius de l'agent

El context principal consisteix en els objectius bàsics de l'agent i les tasques actives, la base que impulsa la presa de decisions. Aquesta informació ha de ser persistent, altament estructurada i de fàcil consulta, ja que guia totes les accions de l'agent.

Necessitats potencials d'emmagatzematge:

• Bases de dades transaccionals (clau-valor o magatzems de documents) per a llistes de tasques estructurades i jerarquies d'objectius.
• Indexació de baixa latència per donar suport a cerques ràpides de tasques actives.
• Actualitzacions basades en esdeveniments per garantir que les tasques reflecteixin el progrés en temps real.

Exemple d'implementació d'un agent

Un assistent de programació que gestiona una cua de tasques ha d'emmagatzemar:

• Tasques persistents (p. ex., "Programar una reunió amb l'Àlex") amb actualitzacions d'estat.
• Historial d'execucions (p. ex., "Enviat correu electrònic inicial, esperant resposta").
• Prioritats i dependències, assegurant que les tasques urgents surtin primer.

Un magatzem de dades distribuït i d'alta disponibilitat garanteix que les tasques es facin un seguiment fiable, fins i tot quan l'agent processa nous esdeveniments i actualitzacions de context.

Context directe: estat dels sistemes connectats

El context directe inclou l'estat actual dels sistemes rellevants: calendaris, plataformes de missatgeria, API, bases de dades i altres fonts de dades en temps real. A diferència del context primari, el context directe és dinàmic i sovint requereix una combinació de solucions d'emmagatzematge estructurades i en temps real.

Necessitats potencials d'emmagatzematge:

• Bases de dades de sèries temporals per a registres d'esdeveniments i seguiment de l'estat en temps real.
• Capes de memòria cau per als estats del sistema d'accés freqüent.
• Recuperació basada en vectors per a consultes contextuals sobre interaccions recents.

Exemple d'implementació de l'agent:

Un agent d'AI d'atenció al client que fa un seguiment de les interaccions dels usuaris en directe ha d'emmagatzemar:

• Historial de converses en temps real en una botiga a la memòria.
• Estat de la sessió (p. ex., detalls del bitllet d'assistència en curs) en una base de dades de sèries temporals.
• Memòries cau de resposta de l'API per a cerques de sistemes externs, evitant consultes redundants.

En estructurar l'emmagatzematge de context directe amb una combinació de magatzems de dades sensibles al temps i a llarg termini, els agents d'IA poden actuar amb consciència del seu entorn sense una latència excessiva.

Context extern: Recuperació i Adaptació del Coneixement

El context extern inclou el coneixement general i les actualitzacions inesperades de fonts fora del control immediat de l'agent. Això podria anar des de consultes de cerca sota demanda fins a dades externes ingerides dinàmicament, que requereixen un enfocament flexible per a l'emmagatzematge i la recuperació. A diferència dels contextos primaris i directes, que estan estretament lligats a les tasques en curs de l'agent i als sistemes connectats, el context extern sovint és desestructurat, ampli i de rellevància molt variable.

Consideracions potencials d'emmagatzematge:

• Magatzems de documents i bases de coneixement per a material de referència persistent i estructurat.
• Cerca vectorial per consultar grans conjunts de dades de documents, interns o externs.
• Generació augmentada amb recuperació (RAG ) per obtenir el coneixement rellevant abans de respondre.
• Transmissió en temps real i ingesta basada en esdeveniments per a actualitzacions en temps real de fonts de dades externes.

Exemple d'implementació de l'agent:

Un assistent personal que elabori un informe sobre els darrers descobriments científics en investigació sobre el canvi climàtic ha de:

• Recupereu articles científics de fonts externes, filtrant per rellevància en funció de paraules clau o similitud de vectors.
• Analitzar les relacions entre articles , identificant tendències mitjançant un gràfic de coneixement.
• Resumiu les idees clau mitjançant la generació augmentada per la recuperació basada en LLM.
• Feu un seguiment de les actualitzacions recents subscrivint-vos a fonts de notícies i fonts de notícies en temps real.

Mitjançant l'estructuració de l'emmagatzematge de context extern al voltant de la recuperació ràpida i l'organització semàntica, els agents d'IA poden adaptar-se contínuament a la nova informació alhora que garanteixen que les dades recuperades segueixen sent rellevants, creïbles i accionables.

Emmagatzematge híbrid per a agents d'IA conscients del context

Dissenyar agents d'IA conscients del context requereix un equilibri acurat entre l'accés eficient a la informació crítica i evitar la sobrecàrrega de memòria o de processament. Els agents d'IA han de decidir quan emmagatzemar, recuperar i processar el context de manera dinàmica per optimitzar la presa de decisions.

Una arquitectura d'emmagatzematge híbrida, que integra models transaccionals, vectorials, de sèries temporals i basats en esdeveniments, permet als agents d'IA mantenir la persistència del context, l'eficiència de recuperació i la intel·ligència adaptativa, tot això crucial per a l'autonomia a escala. Aconseguir aquest equilibri requereix estratègies estructurades en tres dimensions clau:

1. Latència versus persistència: el context d'accés freqüent (p. ex., estats de tasques actius) hauria de residir en un emmagatzematge de baixa latència, mentre que els coneixements necessaris amb menys freqüència però essencials (p. ex., interaccions històriques) s'han de recuperar a demanda de l'emmagatzematge a llarg termini.

   
   

2. Dades estructurades versus dades no estructurades: les tasques, els objectius i els estats del sistema es beneficien de l'emmagatzematge estructurat (p. ex., bases de dades clau-valor o documents), mentre que la recuperació de coneixement més àmplia requereix incrustacions no estructurades i relacions de gràfics per capturar el context de manera eficaç.

   
   

3. Consciència en temps real versus històrica: alguns contextos requereixen un seguiment continu (per exemple, respostes d'API en directe), mentre que d'altres (per exemple, decisions o informes previs) només s'han de recuperar quan siguin rellevants per a la tasca actual de l'agent.

Tenint en compte aquests diferents tipus de contextos, els agents d'IA necessiten un enfocament estructurat per emmagatzemar i accedir a la informació. Confiar només en finestres de context de LLM és ineficient, ja que limita la capacitat de l'agent per fer un seguiment de les interaccions a llarg termini i de les situacions en evolució. En lloc d'això, el context s'ha d'emmagatzemar de manera persistent, recuperar-lo dinàmicament i prioritzar segons la rellevància i la urgència.

• Context primari (tasques i objectius) - Emmagatzemat en bases de dades transaccionals per al seguiment estructurat i referenciat en cada cicle d'inferència.

• Context directe (estat del sistema i dades actives): es manté en temps real mitjançant memòria cau, emmagatzematge de sèries temporals o actualitzacions basades en esdeveniments.

• Context extern (coneixement i actualitzacions dinàmiques): consulta sota demanda mitjançant la cerca vectorial, la generació augmentada per la recuperació (RAG) o la representació de coneixement basada en gràfics.

A la pràctica, es requereixen models de memòria multinivell que combinen memòria cau a curt termini, bases de dades persistents i mecanismes de recuperació externs per a arquitectures escalables d'agents d'IA. Aprofitant un enfocament d'emmagatzematge híbrid, els agents d'IA poden:

• Mantenir la consciència en temps real dels sistemes actius.
• Recuperar coneixement històric només quan sigui pertinent.
• Ajustar dinàmicament les prioritats en funció de les necessitats en evolució.

Mitjançant la integració d'aquestes estratègies d'emmagatzematge, els agents d'IA poden funcionar de manera autònoma, mantenir la consciència del context durant llargs períodes i respondre de manera dinàmica a la nova informació, assentant les bases per a sistemes agentics realment intel·ligents i escalables.

Solucions d'emmagatzematge híbrid

La implementació d'una arquitectura d'emmagatzematge híbrida per als agents d'IA requereix seleccionar les bases de dades i les eines d'emmagatzematge adequades per gestionar diferents tipus de contextos de manera eficient. La millor opció depèn de factors com ara els requisits de latència, l'escalabilitat, la compatibilitat de l'estructura de dades i els mecanismes de recuperació.

Un sistema d'emmagatzematge d'agents d'IA ben dissenyat normalment inclou:

• Bases de dades transaccionals per al seguiment de tasques estructurat i persistent.
• Emmagatzematge basat en sèries temporals i esdeveniments per al seguiment de l'estat del sistema en temps real.
• Cerca de vectors i recuperació de coneixement per a un accés flexible i no estructurat a les dades.
• Emmagatzematge en memòria cau i bases de dades a la memòria per a un accés ràpid a la memòria a curt termini.

Fem una ullada més de prop a cadascun d'aquests elements.

Bases de dades transaccionals i distribuïdes

Els agents d'IA requereixen bases de dades transaccionals escalables i altament disponibles per emmagatzemar tasques, objectius i metadades estructurades de manera fiable. Aquestes bases de dades garanteixen que el context primari estigui sempre disponible i que es pugui consultar de manera eficient.

• Apache Cassandra® : una base de dades NoSQL distribuïda dissenyada per a una alta disponibilitat i tolerància a errors. Ideal per gestionar llistes de tasques estructurades i el seguiment d'objectius de l'agent a escala.

• DataStax Astra DB : una base de dades gestionada com a servei (DBaaS) construïda a Cassandra, que proporciona escalabilitat elàstica i replicació multiregional per a aplicacions d'IA que requereixen una gran durabilitat.

• PostgreSQL: una base de dades relacional popular amb fortes garanties de coherència, molt adequada per a metadades d'agents estructurats, registres de tasques persistents i aplicació de polítiques.

Emmagatzematge de sèries temporals i esdeveniments

Per a la supervisió del sistema en temps real, els agents d'IA necessiten bases de dades optimitzades per al registre, el seguiment d'esdeveniments i la persistència de l'estat.

• InfluxDB: una base de dades líder de sèries temporals dissenyada per a la ingestió d'alta velocitat i consultes eficients, la qual cosa la fa ideal per registrar l'activitat de l'agent d'IA i les actualitzacions externes del sistema.

• TimescaleDB: una extensió PostgreSQL optimitzada per a càrregues de treball de sèries temporals, adequada per fer el seguiment dels canvis en els fluxos de treball de l'agent d'IA i els esdeveniments del sistema.

• Apache Kafka + kSQLDB: una plataforma de dades en temps real que permet als agents d'IA consumir, processar i reaccionar als esdeveniments en temps real de manera eficient.

• Redis Streams: una solució lleugera per a la gestió d'esdeveniments en temps real i la cua de missatges, útil per mantenir els agents d'IA al corrent de les noves actualitzacions a mesura que succeeixen.

Cerca vectorial per a la recuperació de coneixement

Els agents d'IA que treballen amb coneixement no estructurat requereixen maneres eficients d'emmagatzemar, cercar i recuperar incrustacions per a tasques com la cerca semàntica, la concordança de semblança i la generació augmentada per la recuperació (RAG). Un sistema de cerca vectorials ben optimitzat permet als agents recordar interaccions, documents o fets passats rellevants sense sobrecarregar la memòria o les finestres de context.

• DataStax Astra DB: una base de dades vectorials gestionada i escalable basada en Cassandra, que ofereix cerca de similitud d'alt rendiment i recuperació multimodal. Astra combina la resiliència distribuïda amb les capacitats de cerca de vectors, la qual cosa la converteix en la millor opció per als agents d'IA que necessiten processar incrustacions de manera eficient alhora que garanteixen una escalabilitat global i una alta disponibilitat.

• Weaviate: una base de dades vectorial nativa del núvol dissenyada per a la cerca semàntica i la recuperació de dades multimodal. Admet mètodes de cerca híbrids i s'integra bé amb els gràfics de coneixement, cosa que el fa útil per als agents d'IA que es basen en el raonament contextual.

• FAISS (Facebook AI Similarity Search): una biblioteca de codi obert per a la cerca de veí més proper d'alt rendiment, sovint incrustada en canalitzacions d'IA per a cerques de vectors ràpides en grans conjunts de dades. Tot i que no és una base de dades completa, FAISS ofereix una solució lleugera i d'alta velocitat per a la cerca de similitud local.

Emmagatzematge a la memòria cau i emmagatzematge a la memòria

Els agents d'IA requereixen un accés de baixa latència al context de referència freqüent, fent de la memòria cau un component essencial de les arquitectures d'emmagatzematge híbrid.

• Redis: un magatzem de valor-clau en memòria d'alt rendiment, molt utilitzat per a la memòria cau del context a curt termini i la gestió de sessions als agents d'IA.

• Memcached: un sistema de memòria cau distribuït senzill però eficaç que proporciona un accés ràpid a les dades de l'agent d'IA d'ús freqüent.

Mitjançant la integració d'aquestes diverses solucions d'emmagatzematge, els agents d'IA poden gestionar de manera eficient la memòria a curt termini, el coneixement persistent i les actualitzacions en temps real, garantint una presa de decisions perfecta a escala. La combinació de bases de dades transaccionals, emmagatzematge de sèries temporals, cerca vectorial i memòria cau permet als agents equilibrar la velocitat, l'escalabilitat i la consciència contextual, adaptant-se de manera dinàmica a les noves entrades.

A mesura que les aplicacions basades en IA continuen evolucionant, la selecció de l'arquitectura d'emmagatzematge híbrida adequada serà crucial per habilitar sistemes agents autònoms, sensibles i intel·ligents que puguin funcionar de manera fiable en entorns complexos i en constant canvi.

El futur dels agents d'IA amb bases de dades híbrides

A mesura que els sistemes d'IA es facin més complexos, les bases de dades híbrides seran crucials per gestionar la memòria a curt i llarg termini, les dades estructurades i no estructurades i la informació històrica i en temps real. Els avenços en la generació augmentada per la recuperació (RAG), la indexació semàntica i la inferència distribuïda fan que els agents d'IA siguin més eficients, intel·ligents i adaptatius. Els futurs agents d'IA confiaran en un emmagatzematge ràpid, escalable i conscient del context per mantenir la continuïtat i prendre decisions informades al llarg del temps.

Per què bases de dades híbrides?

Els agents d'IA necessiten solucions d'emmagatzematge que gestionen de manera eficient diferents tipus de context alhora que garanteixen velocitat, escalabilitat i resiliència. Les bases de dades híbrides ofereixen el millor dels dos mons: dades estructurades d'alta velocitat amb recuperació contextual profunda, fent-les fonamentals per als sistemes intel·ligents d'IA. Admeten la cerca basada en vectors per a l'emmagatzematge de coneixement a llarg termini, cerques transaccionals de baixa latència, actualitzacions en temps real basades en esdeveniments i escalabilitat distribuïda per a la tolerància a errors.

Construcció d'una infraestructura de dades d'IA escalable

Per donar suport als agents intel·ligents d'IA, els desenvolupadors haurien de dissenyar arquitectures d'emmagatzematge que combinin diversos models de dades per a una gestió del context perfecta:

• Cerca vectorial i dades en columna: emmagatzema el context semàntic juntament amb metadades estructurades per a una recuperació ràpida

• Fluxos de treball basats en esdeveniments : transmeteu actualitzacions en temps real per mantenir els agents d'IA al corrent del canvi de dades

• Escala global i resiliència: implementeu-vos a través de xarxes distribuïdes per a una alta disponibilitat i tolerància a errors

  
  

En integrar el processament transaccional, la cerca vectorial i les actualitzacions en temps real, bases de dades híbrides com DataStax Astra DB proporcionar la base òptima per a la memòria de l'agent d'IA, la consciència del context i la presa de decisions. A mesura que evolucionen les aplicacions basades en IA, les solucions d'emmagatzematge híbrids seran essencials per permetre agents d'IA autònoms i rics en context que funcionin de manera fiable en entorns dinàmics i intensius de dades.

Escrit per Brian Godsey, DataStax