Je me souviens de m'asseoir un week-end, convaincu que j'allais enfin construire un prototype décent d'un assistant de recherche.Rien de fantastique - juste quelque chose qui pourrait lire un PDF, extraire des informations clés, peut-être répondre à quelques questions de suivi.

Au lieu de cela, j'ai passé la meilleure partie de deux jours à sauter entre le repos semi-documenté, les problèmes de GitHub morts et les messages de blog vagues. Un outil semblait prometteur jusqu'à ce que je me rende compte qu'il n'avait pas été mis à jour en huit mois. Un autre a nécessité de tourner quatre services différents juste pour analyser un seul document.

Mais ce qui m’a maintenu n’était pas la frustration, c’était la curiosité.Quels sont les outils que les constructeurs utilisent réellement?Non pas ceux qui apparaissent sur les cartes VC brillantes, mais ceux que vous installez tranquillement, gardez dans votre pile et jurez.

Cette recherche m’a conduit à un ensemble étonnamment solide de bibliothèques open source – des outils légers, fiables et construits avec les développeurs à l’esprit.

Donc, si vous êtes dans les tranchées essayant d'obtenir que les agents travaillent réellement, celui-ci est pour vous.

So, you’re ready to build AI agents?

fantastique .

Vous pourriez vous demander :

à
• Qu’est-ce que les gens utilisent pour construire des agents vocaux?
à
• Quel est le meilleur outil open source pour le parsing de documents?
à
• Comment puis-je donner ma mémoire d'agent sans conduire un vecteur DB à tout?
à

Ce guide n'essaie pas de couvrir tout là-bas - et c'est intentionnel.Il s'agit d'une liste curée d'outils que j'ai effectivement utilisés, conservé dans ma pile et retourné lors de la construction de prototypes d'agents réels.Non pas ceux qui ont l'air cool dans une démonstration ou sont apparus dans chaque fil d'hype, mais ceux qui m'ont aidé à passer de "idée" à "chose qui fonctionne" sans me perdre.

Voici la pile, divisée en catégories :

à
1. Cadres pour les agents de construction et d'orchestration
à

Commencez ici si vous construisez à partir de zéro. Ces outils vous aident à structurer la logique de votre agent - que faire, quand le faire et comment gérer les outils.

2. Computer and Browser Use

Cette catégorie comprend des outils qui permettent à votre agent de cliquer sur des boutons, de taper dans des champs, de gratter des données et, en général, de contrôler des applications ou des sites Web comme un humain le ferait.

3. Voice

Si votre agent a besoin de parler ou d'écouter, ces outils gèrent le côté audio - transformant la parole en texte, et de nouveau. Utile pour les cas d'utilisation sans mains ou les agents de première voix.

4. Document Understanding

Beaucoup de données du monde réel vivent dans des PDF, des scans ou d’autres formats confus. Ces outils aident votre agent à lire et à donner un sens à ce contenu – qu’il s’agisse de factures, de contrats ou de fichiers basés sur des images.

5. Memory

Pour aller au-delà des tâches à un seul coup, votre agent a besoin de mémoire.Ces bibliothèques l'aident à se souvenir de ce qui vient de se passer, de ce que vous lui avez dit avant, ou même à construire un profil à long terme au fil du temps.

6. Testing and Evaluation

Ces outils vous aident à attraper les erreurs avant qu’elles n’atteignent la production – en exécutant des scénarios, en simulant les interactions et en vérifiant si le comportement de l’agent a du sens.

7. Monitoring and Observability

Une fois que votre agent est en vie, vous devez savoir ce qu'il fait et à quel point il fonctionne. Ces outils vous aident à suivre l'utilisation, les problèmes de dépannage et à comprendre les impacts du coût ou de la latence.

8. Simulation

Avant de jeter votre agent dans la nature, testez-le dans un monde sécurisé et sandboxé.Environnements simulés vous permettent d'expérimenter, de perfectionner la logique des décisions et de trouver des cas d'avantage dans un environnement contrôlé.

9. Vertical Agents

Tout n'a pas besoin d'être construit à partir de zéro. Ce sont des agents prêts à l'emploi conçus pour des tâches spécifiques - comme le codage, la recherche ou le support client. Vous pouvez les exécuter comme il est ou les personnaliser pour correspondre à votre flux de travail.

Les cadres pour les agents de construction et d’orchestration

Pour construire des agents qui font réellement les choses, vous avez besoin d'une base solide - quelque chose pour gérer les flux de travail, la mémoire et l'intégration des outils sans devenir un désordre de scripts.

à
• CrewAI – Orchestre plusieurs agents travaillant ensemble. Idéal pour les tâches qui nécessitent la coordination et le comportement basé sur les rôles.
à
• Phidata – se concentre sur la mémoire, l’utilisation des outils et les interactions à long terme. Idéal pour les assistants qui ont besoin de se souvenir et d’adapter.
à
• Camel - Conçu pour la collaboration multi-agent, la simulation et la spécialisation des tâches.
à
• AutoGPT – Automatise les flux de travail complexes avec un cycle de planification et d’exécution.
à
• AutoGen – Permet aux agents de communiquer entre eux pour résoudre des problèmes complexes.
à
• SuperAGI — Configuration fluide pour construire et expédier rapidement des agents autonomes.
à
• Superagent – Un kit d’outils open source flexible pour créer des assistants d’IA personnalisés.
à
• LangChain & LlamaIndex – Les outils de gestion de la mémoire, de la récupération et des chaînes d’outils.
à

Utilisation de l'ordinateur et du navigateur

Une fois que votre agent peut réfléchir, la prochaine étape est de l'aideràCela signifie interagir avec les ordinateurs et le Web comme un humain le ferait - cliquer sur des boutons, remplir des formulaires, naviguer sur des pages et exécuter des commandes.Ces outils brisent le fossé entre le raisonnement et l'action, permettant à votre agent d'opérer dans le monde réel.

à
• Open Interpreter — Traduction du langage naturel en code exécutable sur votre machine. Voulez-vous déplacer des fichiers ou exécuter un script?
à
• L'ordinateur autonome donne aux agents le contrôle complet de votre environnement de bureau, leur permettant d'interagir avec votre système d'exploitation comme une personne.
à
• Agent-S – Un cadre flexible qui permet aux agents de l’IA d’utiliser des applications, des outils et des interfaces comme un utilisateur réel.
à
• LaVague – Permet aux agents web de naviguer sur les sites, de remplir des formulaires et de prendre des décisions en temps réel – idéal pour l’automatisation des tâches du navigateur.
à
• Playwright – Automatise les actions web sur les navigateurs. pratique pour tester ou simuler les flux d’utilisateurs.
à
• Puppeteer – Un outil fiable pour contrôler Chrome ou Firefox. Excellent pour le scraping et l’automatisation du comportement front-end.
à

3 - La voix

La voix est l’une des façons les plus intuitives pour les humains d’interagir avec les agents de l’IA. Ces outils gèrent la reconnaissance de la parole, la synthèse de la voix et les interactions en temps réel – ce qui rend votre agent un peu plus humain.

Speech2speech

à
• Ultravox – Un modèle haut de gamme de conversations vocales qui gère les conversations vocales en temps réel de manière fluide.
à
• Moshi - Une autre option puissante pour les tâches vocales. fiable pour l'interaction vocale en direct, bien que Ultravox ait l'avantage sur la performance.
à
• Pipecat – Un framework complet pour la construction d’agents vocaux. Inclut le support pour les interactions vocales, vocales et même vidéo.
à

Speech2text

à
• Whisper – le modèle vocal-texte d’OpenAI – est idéal pour la transcription et la reconnaissance vocale dans plusieurs langues.
à
• Stable-ts — Un emballage plus convivial pour les développeurs autour de Whisper. Ajoute des timestamps et un support en temps réel, ce qui le rend idéal pour les agents de conversation.
à
• Diarisation des haut-parleurs 3.1 - Le modèle de Pyannote pour détecter qui parle quand. crucial pour les conversations avec plusieurs haut-parleurs et l'audio de type réunion.
à

Text2speech

à
• ChatTTS — Le meilleur modèle que j'ai trouvé jusqu'à présent. Il est rapide, stable et prêt à la production pour la plupart des cas d'utilisation.
à
• ElevenLabs (Commercial) – Lorsque la qualité compte plus que l’open source, c’est le go-to.
à
• Cartesia (Commercial) – Une autre option commerciale forte si vous recherchez une synthèse vocale expressive et de haute fidélité au-delà de ce que les modèles ouverts peuvent offrir.
à

Miscellaneous Tools

Ceux-ci ne s'intègrent pas bien dans une catégorie, mais sont très utiles lors de la construction ou du raffinage d'agents capables de la voix.

à
• Vocode — Un kit d'outils pour construire des agents LLM à voix. Facilite la connexion de l'entrée/sortie de la parole avec des modèles de langue.
à
• Voice Lab — Un cadre pour tester et évaluer les agents vocaux Utile pour appeler dans le bon prompt, la personne vocale ou la configuration du modèle.
à

Compréhension du document

La plupart des données commerciales utiles vivent toujours dans des formats non structurés – PDF, scans, rapports basés sur des images. Ces outils aident votre agent à lire, extraire et comprendre ce désordre, sans avoir besoin de pipelines OCR fragiles.

à
• Qwen2-VL - Un puissant modèle de langage de vision d'Alibaba. Surpasse GPT-4 et Claude 3.5 Sonnet sur les tâches de document qui mélangent des images et du texte - idéal pour gérer des formats complexes et réels.
à
• DocOwl2 — Un modèle multimodal léger conçu pour la compréhension des documents sans OCR. Rapide, efficace et étonnamment précis pour extraire la structure et le sens des entrées gênantes.
à

5 - Mémoire

Sans mémoire, les agents sont coincés dans une boucle – traitant chaque interaction comme la première. Ces outils leur donnent la possibilité de se rappeler des conversations passées, de suivre les préférences et de construire la continuité.

à
• Mem0 – Une couche de mémoire auto-améliorante qui permet à votre agent de s’adapter aux interactions antérieures.
à
• Letta (anciennement MemGPT) - Ajoute à la mémoire à long terme et à l'utilisation des outils aux agents LLM. Pensez-y comme un support pour les agents qui ont besoin de se souvenir, de raisonner et d'évoluer.
à
• LangChain - Inclut des composants de mémoire plug-and-play pour suivre l'historique des conversations et le contexte de l'utilisateur - utile lors de la construction d'agents qui doivent rester fondés sur plusieurs tours.
à

6 – Test et évaluation

Alors que vos agents commencent à faire plus que simplement discuter - naviguer sur les pages Web, prendre des décisions, parler à haute voix - vous devez savoir comment ils géreront les cas d'avantage. ces outils vous aident à tester comment vos agents se comportent dans différentes situations, à attraper les bugs tôt et à suivre où les choses s'effondrent.

à
• eeVoice Lab – Un cadre complet pour tester les agents vocaux, assurant la reconnaissance vocale de votre agent et les réponses sont précises et naturelles.
à
• AgentOps – Un ensemble d’outils pour suivre et comparer les agents d’IA, vous aidant à repérer les problèmes et à optimiser les performances avant qu’ils n’affectent les utilisateurs.
à
• AgentBench - Un outil de référence pour évaluer les agents LLM dans diverses tâches et environnements, de la navigation sur le web aux jeux, assurant la polyvalence et l'efficacité.
à

7) Surveillance et observabilité

Pour que vos agents d’IA fonctionnent de manière fluide et efficace à l’échelle, vous avez besoin de visibilité sur leurs performances et leur utilisation des ressources. Ces outils fournissent les informations nécessaires, vous permettant de surveiller le comportement des agents, d’optimiser les ressources et d’attraper les problèmes avant qu’ils n’affectent les utilisateurs.

à
• openllmetry - Fournit une observabilité de bout en bout pour les applications LLM à l'aide d'OpenTelemetry, vous donnant une vue claire de la performance des agents et vous aidant à résoudre les problèmes et à optimiser rapidement.
à
• AgentOps – Un outil de surveillance complet qui suit les performances des agents, les coûts et le benchmarking, vous aidant à vous assurer que vos agents sont efficaces et dans le budget.
à

8 - Simulation

Ces outils vous permettent de créer des espaces virtuels contrôlés où vos agents peuvent interagir, apprendre et prendre des décisions sans risque de conséquences inattendues dans des environnements en direct.

à
• AgentVerse - Soutient le déploiement de multiples agents basés sur LLM dans diverses applications et simulations, assurant un fonctionnement efficace dans divers environnements.
à
• Tau-Bench – Un outil de benchmarking qui évalue les interactions agent-utilisateur dans des industries spécifiques telles que le commerce de détail ou les compagnies aériennes, assurant une gestion fluide des tâches spécifiques au domaine.
à
• ChatArena - Un environnement de jeu multi-agent où les agents interagissent, idéal pour étudier le comportement des agents et affiner les modèles de communication dans un espace sécurisé et contrôlé.
à
• AI Town – Un environnement virtuel où les personnages d’IA interagissent socialement, testent la prise de décision et simulent des scénarios du monde réel, aidant à améliorer le comportement des agents.
à
• Agents génératifs - Un projet de Stanford axé sur la création d'agents semblables à des humains qui simulent des comportements complexes, parfaits pour tester la mémoire et la prise de décision dans des contextes sociaux.
à

Les agents verticaux

Les agents verticaux sont des outils spécialisés conçus pour résoudre des problèmes spécifiques ou optimiser des tâches dans certaines industries.Bien qu'il existe un écosystème croissant de ceux-ci, voici quelques-uns que j'ai personnellement utilisés et que j'ai trouvé particulièrement utiles:

Coding:

à
• OpenHands – Une plateforme pour les agents de développement de logiciels alimentés par l’IA, conçue pour automatiser les tâches de codage et accélérer le processus de développement.
à
• aider - Un outil de programmation par paires qui s'intègre directement à votre terminal, offrant un co-pilot d'IA pour vous aider dans votre environnement de codage.
à
• GPT Engineer – Construisez des applications en utilisant le langage naturel ; décrivez simplement ce que vous voulez, et l’IA clarifiera et générera le code nécessaire.
à
• capture d'écran à code - Convertit les captures d'écran en sites Web entièrement fonctionnels avec HTML, Tailwind, React ou Vue, idéal pour transformer rapidement les idées de conception en code en direct.
à

Research:

à
• GPT Researcher – Un agent autonome qui effectue des recherches complètes, analyse les données et écrit des rapports, rationalisant le processus de recherche.
à

SQL:

à
• Interagissez avec votre base de données SQL en utilisant des requêtes de langue naturelle; pas de commandes SQL plus compliquées, posez simplement des questions et Vanna récupère les données.
à

Conclusion

En réfléchissant à mes premières tentatives de construire un assistant de recherche, je peux voir que j'ai trop compliqué les choses.Le projet s'est avéré être un désordre - code obsolète, des outils à moitié cuits et un système qui se battait avec quelque chose de simple comme un PDF.

Mais, paradoxalement, c’est là que j’ai appris le plus.

Il ne s’agissait pas de trouver l’outil parfait ; il s’agissait de s’accrocher à ce qui fonctionne et de le garder simple.Cet échec m’a appris que les agents les plus fiables sont construits avec une pile pragmatique et simple – pas en chassant chaque nouvel outil brillant.

Le succès du développement de l’agent ne nécessite pas de réinventer la roue.

Il s’agit de choisir les bons outils pour le travail, de les intégrer de manière réfléchie et de raffiner vos prototypes. Que vous automatisiez les flux de travail, construisiez des agents vocaux ou analysiez des documents, une pile bien choisie peut rendre le processus plus fluide et plus efficace.

Alors, commencez, expérimentez et laissez votre curiosité vous guider.L'écosystème évolue et les possibilités sont infinies.

Vous voulez m’entendre plus souvent ?

Connectez-vous avec moi sur LinkedIn !

Je partagequotidiennedes informations, des conseils et des mises à jour qui vous aideront à éviter des erreurs coûteuses et à rester à la pointe dans le monde de l’IA.

Êtes-vous un professionnel de la technologie qui cherche à développer votre public à travers l'écriture?

Ne manquez pas notre newsletter !

MienneAccélérateur Tech Audienceest rempli de stratégies de copywriting et de construction d'audience qui ont aidé des centaines de professionnels à se démarquer et à accélérer leur croissance.