Mon projet Open Source : un framework de modèle de langage multimodal flexible pour PyTorch

Les promesses de l’IA multimodale sont omniprésentes, des diagnostics médicaux avancés à la création d’expériences client plus riches et plus dynamiques. Mais pour ceux d’entre nous qui sont sur le terrain, la création de systèmes multimodaux (capables de traiter du texte, des images, de l’audio et bien plus encore) ressemble souvent à un enchevêtrement sans fin d’intégrations personnalisées, de codes standard et de problèmes de compatibilité. C’était ma frustration, et c’est ce qui a finalement conduit à la création d’ AnyModal .

Pourquoi l’IA multimodale ?

Soyons réalistes : les interactions humaines avec le monde ne se limitent pas à un seul type de données. Nous interprétons simultanément les mots, les images, les sons et les sensations physiques. Le concept d’IA multimodale découle de cette idée. En intégrant plusieurs types de données dans le même pipeline de traitement, l’IA multimodale permet aux modèles de s’attaquer à des tâches qui étaient auparavant trop complexes pour les systèmes monomodals. Imaginez des applications de santé qui analysent ensemble les radiographies et les notes médicales, ou des systèmes de service client qui prennent en compte à la fois les signaux textuels et audio pour évaluer avec précision le sentiment des clients.

Mais le défi est là : si les modèles monomodaux pour le texte (comme GPT) ou les images (comme ViT) sont bien établis, les combiner pour interagir de manière fluide n'est pas simple. Les complexités techniques ont empêché de nombreux chercheurs et développeurs d'explorer efficacement l'IA multimodale. C'est là qu'intervient AnyModal .

Le problème des solutions multimodales existantes

Dans mon propre travail sur l'apprentissage automatique, j'ai remarqué que si des outils comme GPT, ViT et les processeurs audio sont puissants de manière isolée, la création de systèmes multimodaux en combinant ces outils implique souvent de les assembler avec un code complexe et spécifique au projet. Cette approche n'est pas évolutive. Les solutions actuelles d'intégration des modalités sont soit hautement spécialisées, conçues uniquement pour des tâches spécifiques (comme le sous-titrage d'images ou la réponse visuelle à des questions), soit elles nécessitent une quantité frustrante de code standard juste pour faire fonctionner les types de données ensemble.

Les cadres existants se concentrent étroitement sur des combinaisons spécifiques de modalités, ce qui rend difficile l'extension à de nouveaux types de données ou l'adaptation de la même configuration à différentes tâches. Cette structure « cloisonnée » des modèles d'IA m'a obligé à réinventer constamment la roue. C'est à ce moment-là que j'ai décidé de créer AnyModal , un cadre flexible et modulaire qui rassemble tous les types de données sans tracas.

Qu'est-ce que AnyModal ?

AnyModal est un framework conçu pour simplifier et rationaliser le développement d'IA multimodale. Il est conçu pour réduire la complexité de la combinaison de divers types d'entrées en gérant la tokenisation, l'encodage et la génération d'entrées non textuelles, ce qui facilite l'ajout de nouveaux types de données aux grands modèles de langage (LLM).

Le concept s'articule autour d'une approche modulaire du pipeline d'entrée. Avec AnyModal, vous pouvez échanger des encodeurs de fonctionnalités (comme un Vision Transformer pour les images ou un processeur de spectrogramme pour l'audio) et les connecter de manière transparente à un LLM. Le framework fait abstraction d'une grande partie de la complexité, ce qui signifie que vous n'avez pas besoin de passer des semaines à écrire du code pour rendre ces systèmes compatibles les uns avec les autres.

Les fondamentaux d'AnyModal : la tokenisation des entrées

Un composant essentiel d'AnyModal est le tokenizer d'entrée , qui comble le fossé entre les données non textuelles et le traitement d'entrée textuel du LLM. Voici comment cela fonctionne :

• Codage des caractéristiques : pour chaque modalité (comme les images ou l'audio), un encodeur spécialisé est utilisé pour extraire les caractéristiques essentielles. Par exemple, lorsque vous travaillez avec des images, AnyModal peut utiliser un Vision Transformer (ViT) qui traite l'image et génère une série de vecteurs de caractéristiques. Ces vecteurs capturent des aspects clés, tels que les objets, les relations spatiales et les textures, essentiels pour des applications telles que le sous-titrage d'images ou la réponse visuelle aux questions.
• Couche de projection : après l'encodage, les vecteurs de caractéristiques ne correspondent souvent pas à l'espace de jetons du LLM. Pour garantir une intégration fluide, AnyModal utilise une couche de projection qui transforme ces vecteurs pour les aligner sur les jetons d'entrée du LLM. Par exemple, les vecteurs encodés à partir de ViT sont mappés dans l'espace d'intégration du LLM, ce qui permet un flux cohérent de données multimodales au sein de l'architecture du LLM.

Cette approche à double couche permet au modèle de traiter les données multimodales comme une séquence unique, ce qui lui permet de générer des réponses qui tiennent compte de tous les types d'entrées. Essentiellement, AnyModal transforme des sources de données disparates en un format unifié que les LLM peuvent comprendre.

Comment ça marche : un exemple avec des entrées d'image

Pour vous donner une idée du fonctionnement d'AnyModal, examinons un exemple d'utilisation de données d'image avec des LLM.

 from transformers import ViTImageProcessor, ViTForImageClassification from anymodal import MultiModalModel from vision import VisionEncoder, Projector # Step 1: Initialize Vision Components processor = ViTImageProcessor.from_pretrained('google/vit-base-patch16-224') vision_model = ViTForImageClassification.from_pretrained('google/vit-base-patch16-224') vision_encoder = VisionEncoder(vision_model) # Step 2: Define Projection Layer for Compatibility vision_tokenizer = Projector(in_features=vision_model.config.hidden_size, out_features=768) # Step 3: Initialize LLM and Tokenizer from transformers import AutoTokenizer, AutoModelForCausalLM llm_tokenizer = AutoTokenizer.from_pretrained("gpt2") llm_model = AutoModelForCausalLM.from_pretrained("gpt2") # Step 4: Build the AnyModal Multimodal Model multimodal_model = MultiModalModel( input_processor=None, input_encoder=vision_encoder, input_tokenizer=vision_tokenizer, language_tokenizer=llm_tokenizer, language_model=llm_model, input_start_token='<|imstart|>', input_end_token='<|imend|>', prompt_text="Describe this image: " )

Cette configuration modulaire permet aux développeurs de connecter et de jouer avec différents encodeurs et LLM, en adaptant le modèle à diverses tâches multimodales, du sous-titrage d'images à la réponse aux questions.

Applications actuelles d'AnyModal

AnyModal a déjà été appliqué à plusieurs cas d’utilisation, avec des résultats intéressants :

• LaTeX OCR : Traduction d'équations mathématiques complexes en texte lisible.
• Sous-titrage des radiographies thoraciques : génération de descriptions médicales pour l'aide au diagnostic dans les soins de santé.
• Sous-titrage d'image : génération automatique de légendes pour le contenu visuel, ce qui est utile pour les applications d'accessibilité et multimédia.

En faisant abstraction des complexités de la gestion de différents types de données, AnyModal permet aux développeurs de créer rapidement des prototypes ou d'affiner des systèmes avancés sans les goulots d'étranglement qui accompagnent généralement l'intégration multimodale.

Pourquoi utiliser AnyModal ?

Si vous essayez de construire un système multimodal, vous avez probablement rencontré ces défis :

• Grande complexité dans l'alignement de différents types de données avec les LLM.
• Code standard redondant et fastidieux pour chaque modalité.
• Évolutivité limitée lors de l'ajout de nouveaux types de données.

AnyModal résout ces problèmes en réduisant le nombre de codes standard, en proposant des modules flexibles et en permettant une personnalisation rapide. Au lieu de se battre avec des problèmes de compatibilité, les développeurs peuvent se concentrer sur la création de systèmes intelligents plus rapidement et plus efficacement.

Quelle est la prochaine étape pour AnyModal ?

Le voyage d'AnyModal ne fait que commencer. Je travaille actuellement à l'ajout de la prise en charge de modalités supplémentaires telles que le sous-titrage audio et à l'extension du framework pour le rendre encore plus adaptable aux cas d'utilisation de niche. Les commentaires et les contributions de la communauté sont essentiels à son développement. Si vous êtes intéressé par l'IA multimodale, j'aimerais entendre vos idées ou collaborer avec vous.

Où trouver AnyModal

• GitHub :

• Communauté Reddit

• Visage qui fait un câlin :

Si vous êtes passionné par l'IA multimodale ou si vous cherchez à rationaliser votre processus de développement, essayez AnyModal. Travaillons ensemble pour ouvrir la prochaine frontière de l'innovation en matière d'IA.