Recuerdo sentarme un fin de semana, convencido de que finalmente iba a construir un prototipo decente de un agente asistente de investigación. Nada fantástico - sólo algo que podría leer un PDF, extraer información clave, tal vez responder a algunas preguntas de seguimiento.

En cambio, pasé la mejor parte de dos días saltando entre reposo medio documentado, problemas muertos de GitHub y publicaciones de blog vagas. Una herramienta parecía prometedora hasta que me di cuenta de que no había sido actualizada en ocho meses.

Pero lo que me mantuvo no fue la frustración, sino la curiosidad.¿Cuáles son las herramientas que utilizan los constructores reales?No los que aparecen en los mapas VC brillantes, sino los que instalas silenciosamente, mantén en tu pila, y jura por.

Esa búsqueda me llevó a un conjunto sorprendentemente sólido de bibliotecas de código abierto, herramientas que son ligeras, fiables y construidas con los desarrolladores en mente.

Así que si estás en las trincheras tratando de conseguir que los agentes realmente trabajen, este es para ti.

So, you’re ready to build AI agents?

Es increíble.

Usted puede estar preguntando:

y
• ¿Qué usan las personas para construir agentes de voz?
y
• ¿Cuál es la mejor herramienta de código abierto para el análisis de documentos?
y
• ¿Cómo puedo dar mi memoria de agente sin conducir un vector DB a todo?
y

Esta guía no trata de cubrir todo allí - y eso es intencional.Es una lista curada de herramientas que he utilizado, guardado en mi pila, y volvió a cuando construí prototipos de agentes reales.No los que parecían cool en una demostración o aparecieron en cada hilo de hype, sino los que me ayudaron a pasar de la "idea" a la "cosa que funciona" sin perderme.

Aquí está la pila, dividida en categorías:

y
1. Frameworks para agentes de construcción y orquestación
y

Comience aquí si está construyendo desde cero.Estas herramientas le ayudan a estructurar la lógica de su agente: qué hacer, cuándo hacerlo y cómo manejar las herramientas.Piensa en esto como el cerebro central que convierte un modelo de lenguaje en algo más autónomo.

2. Computer and Browser Use

Esta categoría incluye herramientas que permiten a su agente hacer clic en botones, escribir campos, raspar datos y, en general, controlar aplicaciones o sitios web como un ser humano.

3. Voice

Si su agente necesita hablar o escuchar, estas herramientas manejan el lado de audio - convirtiendo el habla en texto y de nuevo.Util para casos de uso sin manos o agentes de voz.

4. Document Understanding

Muchos datos del mundo real viven en PDF, escaneos u otros formatos confusos.Estas herramientas ayudan a su agente a leer y dar sentido a ese contenido, ya sean facturas, contratos o archivos basados en imágenes.

5. Memory

Para ir más allá de las tareas de un solo disparo, tu agente necesita memoria.Estas bibliotecas le ayudan a recordar lo que acaba de suceder, lo que le has dicho antes, o incluso construir un perfil a largo plazo con el tiempo.

6. Testing and Evaluation

Estas herramientas te ayudan a capturar errores antes de que lleguen a la producción: ejecutando escenarios, simulando interacciones y verificando si el comportamiento del agente tiene sentido.

7. Monitoring and Observability

Una vez que su agente esté en vivo, necesita saber qué está haciendo y qué tan bien está funcionando.Estas herramientas le ayudan a rastrear el uso, los problemas de depuración y comprender los impactos de costo o latencia.

8. Simulation

Antes de lanzar a tu agente al salvaje, pruebalo en un mundo seguro, con caja de arena.Los entornos simulados te permiten experimentar, refinar la lógica de decisión y encontrar casos de punta en un entorno controlado.

9. Vertical Agents

No todo necesita ser construido desde cero. Estos son agentes preparados construidos para tareas específicas, como la codificación, la investigación o el soporte al cliente. Puedes ejecutarlos como están o personalizarlos para adaptarse a tu flujo de trabajo.

Frameworks para Agentes de Construcción y Orquestación

Para construir agentes que realicen las cosas, necesita una base sólida: algo para manejar los flujos de trabajo, la memoria y la integración de herramientas sin convertirse en un desorden de scripts.

y
• CrewAI: Orquesta a varios agentes que trabajan juntos, ideales para tareas que requieren coordinación y comportamiento basado en roles.
y
• Phidata – Se centra en la memoria, el uso de herramientas y las interacciones a largo plazo. Excelente para los asistentes que necesitan recordar y adaptarse.
y
• Camel — Diseñado para la colaboración multiagente, simulación y especialización de tareas.
y
• AutoGPT – Automatiza flujos de trabajo complejos con un ciclo de planificación y ejecución. Mejor para agentes que necesitan ejecutarse de forma independiente.
y
• AutoGen: Permite a los agentes comunicarse entre sí para resolver problemas complejos.
y
• SuperAGI — Configuración fluida para construir y enviar agentes autónomos rápidamente.
y
• Superagent: un kit de herramientas de código abierto flexible para crear asistentes de IA personalizados.
y
• LangChain & LlamaIndex — Las herramientas para la gestión de la memoria, la recuperación y las cadenas de herramientas.
y

Uso del ordenador y del navegador

Una vez que tu agente puede pensar, el siguiente paso es ayudarloporEsto significa interactuar con los ordenadores y la web de la manera que un ser humano haría: hacer clic en botones, rellenar formularios, navegar por páginas y ejecutar comandos.Estas herramientas rompen la brecha entre el razonamiento y la acción, dejando que su agente funcione en el mundo real.

y
• Open Interpreter — Traduce el lenguaje natural en código ejecutable en su máquina. ¿Quieres mover archivos o ejecutar un guión?
y
• Computadora autopropulsada: da a los agentes el control total de su entorno de escritorio, permitiéndoles interactuar con su sistema operativo como una persona.
y
• Agent-S – Un marco flexible que permite a los agentes de IA usar aplicaciones, herramientas e interfaces como un usuario real.
y
• LaVague – Permite a los agentes web navegar por sitios, rellenar formularios y tomar decisiones en tiempo real, ideal para automatizar tareas de navegador.
y
• Playwright – Automatiza las acciones web a través de los navegadores. Handy para probar o simular los flujos de usuarios.
y
• Puppeteer – Una herramienta fiable para controlar Chrome o Firefox. Excelente para raspar y automatizar el comportamiento front-end.
y

3 La voz

La voz es una de las formas más intuitivas para que los humanos interactúen con los agentes de IA. Estas herramientas manejan el reconocimiento de habla, la síntesis de voz y las interacciones en tiempo real, haciendo que su agente se sienta un poco más humano.

Speech2speech

y
• Ultravox – Un modelo de voz a voz de primer nivel que maneja conversaciones de voz en tiempo real sin problemas.
y
• Moshi - Otra opción fuerte para tareas de voz a voz. Fiable para la interacción de voz en vivo, aunque Ultravox tiene la ventaja en el rendimiento.
y
• Pipecat: Un framework de pila completa para la construcción de agentes hablantes. Incluye soporte para interacciones de voz a texto, de texto a voz e incluso de vídeo.
y

Speech2text

y
• Whisper – el modelo de habla a texto de OpenAI – es excelente para la transcripción y el reconocimiento de habla en varios idiomas.
y
• Stable-ts: un engranaje más amigable para el desarrollador en torno a Whisper. agrega timestamps y soporte en tiempo real, lo que lo hace ideal para los agentes de conversación.
y
• Diarización de altavoces 3.1 – El modelo de Pyannote para detectar quién está hablando cuando. crucial para conversaciones con varios altavoces y audio de estilo de reunión.
y

Text2speech

y
• ChatTTS — El mejor modelo que he encontrado hasta ahora. es rápido, estable y listo para la mayoría de los casos de uso.
y
• ElevenLabs (Comercial) – Cuando la calidad importa más que el código abierto, esto es lo que hay que hacer.
y
• Cartesia (Comercial) - Otra opción comercial fuerte si está buscando una síntesis de voz expresiva y de alta fidelidad más allá de lo que pueden ofrecer los modelos abiertos.
y

Miscellaneous Tools

Estos no se encajan bien en una categoría, pero son muy útiles cuando se construyen o refinan agentes capaces de voz.

y
• Vocode — Un conjunto de herramientas para la construcción de agentes LLM de voz. Facilita la conexión de entrada/salida de habla con modelos de idioma.
y
• Voice Lab — Un marco para probar y evaluar los agentes de voz. Útil para llamar en la configuración de prompt, voz persona o modelo.
y

4 Comprensión del documento

La mayoría de los datos comerciales útiles siguen viviendo en formatos no estructurados – PDFs, escaneos, informes basados en imágenes.Estas herramientas ayudan a su agente a leer, extraer y dar sentido a esa confusión, sin necesidad de tuberías OCR frágiles.

y
• Qwen2-VL – Un poderoso modelo de lenguaje de visión de Alibaba. Supera a GPT-4 y Claude 3.5 Sonnet en tareas de documentos que mezclan imágenes y texto – perfecto para el manejo de formatos complejos y reales.
y
• DocOwl2 — Un modelo multimodal ligero construido para la comprensión de documentos sin OCR. Rápido, eficiente y sorprendentemente preciso para extraer estructura y significado de las entradas confusas.
y

5 Memoria

Sin memoria, los agentes se encuentran atrapados en un ciclo, tratando cada interacción como la primera. Estas herramientas les dan la capacidad de recordar conversaciones pasadas, rastrear preferencias y construir continuidad.

y
• Mem0 – Una capa de memoria que se mejora automáticamente que permite a su agente adaptarse a las interacciones anteriores.
y
• Letta (anteriormente MemGPT) - Añade memoria a largo plazo y uso de herramientas a los agentes de LLM. Piensa en ello como una plataforma para los agentes que necesitan recordar, razonar y evolucionar.
y
• LangChain - Incluye componentes de memoria plug-and-play para el seguimiento del historial de conversaciones y el contexto del usuario - útil cuando se construyen agentes que necesitan permanecer en tierra en varias vueltas.
y

6.- Pruebas y evaluación

A medida que sus agentes comienzan a hacer más que simplemente chatear - navegar por páginas web, tomar decisiones, hablar en voz alta - necesita saber cómo manejarán los casos de ventaja.

y
• eeVoice Lab – Un marco integral para probar los agentes de voz, asegurando que el reconocimiento del habla y las respuestas de su agente sean precisas y naturales.
y
• AgentOps – Un conjunto de herramientas para el seguimiento y el benchmarking de los agentes de IA, que te ayudan a detectar cualquier problema y optimizar el rendimiento antes de que impacten en los usuarios.
y
• AgentBench – Una herramienta de referencia para evaluar a los agentes de LLM en varias tareas y entornos, desde la navegación web hasta los juegos, asegurando la versatilidad y la eficacia.
y

7) Monitorización y observabilidad

Para garantizar que sus agentes de IA funcionen de forma suave y eficiente a escala, necesita visibilidad en su rendimiento y uso de los recursos.Estas herramientas proporcionan las ideas necesarias, lo que le permite monitorear el comportamiento de los agentes, optimizar los recursos y capturar los problemas antes de que afecten a los usuarios.

y
• openllmetry - Proporciona observación de extremo a extremo para aplicaciones de LLM utilizando OpenTelemetry, dándole una visión clara del rendimiento del agente y ayudándole a solucionar problemas y optimizar rápidamente.
y
• AgentOps – Una herramienta de seguimiento completa que rastrea el rendimiento del agente, el coste y el benchmarking, lo que le ayuda a asegurarse de que sus agentes son eficientes y dentro del presupuesto.
y

8 Simulación

Simular entornos del mundo real antes de la implementación es un cambio de juego.Estas herramientas te permiten crear espacios virtuales controlados donde tus agentes pueden interactuar, aprender y tomar decisiones sin el riesgo de consecuencias no deseadas en entornos en vivo.

y
• AgentVerse - Soporta el despliegue de múltiples agentes basados en LLM en diversas aplicaciones y simulaciones, asegurando el funcionamiento eficaz en diversos entornos.
y
• Tau-Bench – Una herramienta de benchmarking que evalúa las interacciones agente-usuario en industrias específicas como el comercio minorista o las aerolíneas, asegurando el manejo suave de tareas específicas de dominio.
y
• ChatArena – Un entorno de juego de lenguaje multiagente donde interactúan los agentes, ideal para estudiar el comportamiento de los agentes y refinar los patrones de comunicación en un espacio seguro y controlado.
y
• AI Town – Un entorno virtual donde los personajes de IA interactúan socialmente, prueban la toma de decisiones y simulan escenarios del mundo real, ayudando a ajustar el comportamiento de los agentes.
y
• Un proyecto de Stanford enfocado en crear agentes similares a los humanos que simulan comportamientos complejos, perfectos para probar la memoria y la toma de decisiones en contextos sociales.
y

Los agentes verticales

Los agentes verticales son herramientas especializadas diseñadas para resolver problemas específicos o optimizar tareas en ciertas industrias.Aunque hay un ecosistema en crecimiento de estos, aquí están algunos que he utilizado personalmente y he encontrado especialmente útiles:

Coding:

y
• OpenHands: una plataforma para agentes de desarrollo de software impulsados por la IA, diseñada para automatizar tareas de codificación y acelerar el proceso de desarrollo.
y
• aider – Una herramienta de programación en pareja que se integra directamente con su terminal, ofreciendo un co-piloto de IA para ayudar directamente en su entorno de codificación.
y
• GPT Engineer: Construye aplicaciones usando el lenguaje natural; simplemente describa lo que desea, y la IA aclarará y generará el código necesario.
y
• captura de pantalla a código - Convierte capturas de pantalla en sitios web totalmente funcionales con HTML, Tailwind, React o Vue, perfecto para convertir ideas de diseño en código vivo rápidamente.
y

Research:

y
• Investigador de GPT: Un agente autónomo que realiza investigaciones completas, analiza datos y escribe informes, simplificando el proceso de investigación.
y

SQL:

y
• Vanna - Interactúa con su base de datos SQL usando consultas de lengua natural; no más complicados comandos SQL, solo hace preguntas, y Vanna recupera los datos.
y

Conclusión

Reflexionando sobre mis primeros intentos de construir un asistente de investigación, puedo ver que estaba complicando demasiado las cosas.El proyecto resultó ser un desorden: código desactualizado, herramientas medio cocidas y un sistema que luchaba con algo tan simple como un PDF.

Pero, paradójicamente, es donde aprendí más.

No se trataba de encontrar la herramienta perfecta; se trataba de adherirse a lo que funciona y mantenerlo simple.Este fracaso me enseñó que los agentes más fiables se construyen con una pila pragmática y sencilla, no persiguiendo cada nueva herramienta brillante.

El desarrollo exitoso de agentes no requiere reinventar la rueda.

Se trata de elegir las herramientas adecuadas para el trabajo, integrarlas cuidadosamente y refinar sus prototipos. Ya sea que esté automatizando los flujos de trabajo, construyendo agentes de voz o analizando documentos, una pila bien elegida puede hacer que el proceso sea más suave y más eficiente.

Así que empieza, experimenta y deja que la curiosidad te guíe.El ecosistema está evolucionando, y las posibilidades son infinitas.

¿Quieres oír de mí más a menudo?

¡Contacta conmigo en LinkedIn!

Compartimosdiarioideas, consejos y actualizaciones para ayudarle a evitar errores costosos y seguir adelante en el mundo de la IA.

¿Eres un profesional de la tecnología que busca aumentar su audiencia a través de la escritura?

¡No te pierdas mi newsletter!

míaAccelerador de audiencia tecnológicaestá lleno de estrategias de copywriting y audiencia que han ayudado a cientos de profesionales a destacarse y acelerar su crecimiento.