Nyílt forráskódú projektem: Rugalmas multimodális nyelvi modellkeret a PyTorch számára

A multimodális mesterséges intelligencia ígérete mindenhol megtalálható, a fejlett egészségügyi diagnosztikától a gazdagabb, dinamikusabb ügyfélélmények megteremtéséig. De nekünk, akik a lövészárkokban vagyunk, a multimodális rendszerek építése – amelyek képesek szövegek, képek, hangok és egyéb feldolgozására is – gyakran úgy érzik, mint az egyéni integrációk, az alapkód és a kompatibilitási problémák végtelen szövevénye. Ez volt a csalódottságom, és végül ez vezetett az AnyModal létrehozásához.

Miért a multimodális AI?

Lássuk be: az emberi interakciók a világgal nem korlátozódnak egyfajta adatra. Egyszerre értelmezzük a szavakat, a látványt, a hangokat és a fizikai érzéseket. A multimodális mesterséges intelligencia koncepciója ebből az ötletből fakad. Azáltal, hogy több típusú adatot hoznak ugyanabba a feldolgozási folyamatba, a multimodális mesterséges intelligencia lehetővé teszi, hogy a modellek olyan feladatokat kezeljenek, amelyek korábban túl bonyolultak voltak az egymodalitású rendszerek számára. Képzeljen el olyan egészségügyi alkalmazásokat, amelyek együtt elemzik a röntgenfelvételeket és az orvosi feljegyzéseket, vagy olyan ügyfélszolgálati rendszereket, amelyek mind a szöveges, mind a hangjelzéseket figyelembe veszik az ügyfelek hangulatának pontos felméréséhez.

De itt van a kihívás: bár a szöveg (például GPT) vagy a képek (mint például a ViT) egymódusú modelljei jól beváltak, ezek kombinálása a gördülékeny interakcióhoz nem egyszerű. A technikai bonyolultság sok kutatót és fejlesztőt meggátolt a multimodális mesterséges intelligencia hatékony feltárásában. Írja be az AnyModalt .

Probléma a meglévő multimodális megoldásokkal

A gépi tanulással kapcsolatos munkám során észrevettem, hogy bár az olyan eszközök, mint a GPT, a ViT és az audioprocesszorok külön-külön is erőteljesek, a multimodális rendszerek létrehozása ezen eszközök kombinálásával gyakran azt jelenti, hogy nehézkes, projektspecifikus kóddal kell összefűzni őket. Ez a megközelítés nem skálázható. A modalitások integrálására szolgáló jelenlegi megoldások vagy nagyon speciálisak, csak meghatározott feladatokra (például képaláírásra vagy vizuális kérdések megválaszolására) készültek, vagy elkeserítő mennyiségű mintakódot igényelnek, hogy az adattípusok együtt működjenek.

A meglévő keretrendszerek szűken a modalitások meghatározott kombinációira összpontosítanak, megnehezítve az új adattípusokba való kiterjesztést, vagy ugyanazt a beállítást a különböző feladatokhoz. A mesterséges intelligencia modellek „sillózott” szerkezete azt jelentette, hogy folyamatosan újra feltaláltam a kereket. Ekkor döntöttem úgy, hogy megépítem az AnyModalt – egy rugalmas, moduláris keretrendszert, amely minden típusú adatot gond nélkül egyesít.

Mi az AnyModal?

Az AnyModal egy olyan keretrendszer, amelyet a multimodális AI-fejlesztés egyszerűsítésére és ésszerűsítésére terveztek. Úgy készült, hogy csökkentse a különböző beviteli típusok kombinálásának bonyolultságát a tokenizálás, a kódolás és a nem szöveges bevitelek generálása révén, megkönnyítve új adattípusok hozzáadását a nagy nyelvi modellekhez (LLM).

A koncepció a bemeneti csővezeték moduláris megközelítése körül forog. Az AnyModal segítségével kicserélheti a funkciókódolókat (például a Vision Transformert a képekhez vagy a spektrogram processzort a hanghoz), és zökkenőmentesen csatlakoztathatja őket egy LLM-hez. A keretrendszer absztrahálja a bonyolultság nagy részét, ami azt jelenti, hogy nem kell heteket töltenie a kód írásával, hogy ezek a rendszerek kompatibilisek legyenek egymással.

Az AnyModal alapjai: Bemeneti tokenizálás

Az AnyModal kulcsfontosságú összetevője a beviteli tokenizátor , amely áthidalja a szakadékot a nem szöveges adatok és az LLM szövegalapú beviteli feldolgozása között. Így működik:

• Jellemzők kódolása : Minden modalitáshoz (például képekhez vagy hanghoz) speciális kódolót használnak az alapvető funkciók kinyerésére. Például, amikor képekkel dolgozik, az AnyModal Vision Transformert (ViT) használhat, amely feldolgozza a képet, és egy sor jellemzővektort ad ki. Ezek a vektorok olyan kulcsfontosságú szempontokat rögzítenek, mint például az objektumok, a térbeli kapcsolatok és a textúrák, amelyek elengedhetetlenek az olyan alkalmazásokhoz, mint a képaláírások vagy a vizuális kérdések megválaszolása.
• Vetítési réteg : A kódolás után a jellemzővektorok gyakran nem egyeznek meg az LLM tokenterével. A zökkenőmentes integráció biztosítása érdekében az AnyModal egy vetítési réteget használ, amely átalakítja ezeket a vektorokat az LLM bemeneti tokenjeihez igazodva. Például a ViT kódolt vektorai az LLM beágyazási terébe vannak leképezve, lehetővé téve a multimodális adatok koherens áramlását az LLM architektúrán belül.

Ez a kétrétegű megközelítés lehetővé teszi a modell számára, hogy a multimodális adatokat egyetlen sorozatként kezelje, lehetővé téve, hogy olyan válaszokat generáljon, amelyek figyelembe veszik az összes bemeneti típust. Lényegében az AnyModal a különböző adatforrásokat olyan egységes formátumba alakítja, amelyet az LLM-ek megérthetnek.

Hogyan működik: Példa képbemenetekkel

Az AnyModal működésének megértéséhez nézzünk meg egy példát a képadatok LLM-ekkel való használatára.

 from transformers import ViTImageProcessor, ViTForImageClassification from anymodal import MultiModalModel from vision import VisionEncoder, Projector # Step 1: Initialize Vision Components processor = ViTImageProcessor.from_pretrained('google/vit-base-patch16-224') vision_model = ViTForImageClassification.from_pretrained('google/vit-base-patch16-224') vision_encoder = VisionEncoder(vision_model) # Step 2: Define Projection Layer for Compatibility vision_tokenizer = Projector(in_features=vision_model.config.hidden_size, out_features=768) # Step 3: Initialize LLM and Tokenizer from transformers import AutoTokenizer, AutoModelForCausalLM llm_tokenizer = AutoTokenizer.from_pretrained("gpt2") llm_model = AutoModelForCausalLM.from_pretrained("gpt2") # Step 4: Build the AnyModal Multimodal Model multimodal_model = MultiModalModel( input_processor=None, input_encoder=vision_encoder, input_tokenizer=vision_tokenizer, language_tokenizer=llm_tokenizer, language_model=llm_model, input_start_token='<|imstart|>', input_end_token='<|imend|>', prompt_text="Describe this image: " )

Ez a moduláris beállítás lehetővé teszi a fejlesztők számára, hogy különböző kódolókkal és LLM-ekkel csatlakoztassák és játsszanak, így a modellt különféle multimodális feladatokhoz igazítják, a képaláírástól a kérdés megválaszolásáig.

Az AnyModal jelenlegi alkalmazásai

Az AnyModalt már számos felhasználási esetre alkalmazták, izgalmas eredményekkel:

• LaTeX OCR : Összetett matematikai egyenletek fordítása olvasható szöveggé.
• Mellkasröntgen feliratozás : Orvosi leírások generálása az egészségügy diagnosztikai támogatásához.
• Képfeliratok : Képaláírások automatikus generálása vizuális tartalomhoz, ami hasznos a kisegítő lehetőségek és a médiaalkalmazások szempontjából.

A különböző adattípusok kezelésének bonyolultságainak elvonatkoztatásával az AnyModal lehetővé teszi a fejlesztők számára, hogy gyorsan prototípusokat készítsenek vagy fejlett rendszereket finomítsanak anélkül, hogy a multimodális integrációból adódó szűk keresztmetszetek jelentkeznének.

Miért érdemes AnyModalt használni?

Ha multimodális rendszert próbál felépíteni, valószínűleg a következő kihívásokkal találkozott:

• Nagy bonyolultság a különböző adattípusok LLM-ekhez való igazításában.
• Redundáns és fárasztó alapkód minden egyes modalitáshoz.
• Korlátozott méretezhetőség új adattípusok hozzáadásakor.

Az AnyModal kezeli ezeket a fájdalmas pontokat azáltal, hogy csökkenti a hőcserélőt, rugalmas modulokat kínál, és lehetővé teszi a gyors testreszabást. A kompatibilitási problémákkal való küzdelem helyett a fejlesztők az intelligens rendszerek gyorsabb és hatékonyabb kiépítésére összpontosíthatnak.

Mi a következő AnyModal?

Az AnyModal útja még csak most kezdődik. Jelenleg azon dolgozom, hogy kiegészítsem a további módozatokat, például a hangfeliratokat, és bővítsem a keretrendszert, hogy még jobban alkalmazkodhassam a szűk körű felhasználási esetekhez. A közösségi visszajelzések és hozzájárulások kulcsfontosságúak a fejlesztéshez – ha érdekli a multimodális mesterséges intelligencia, szívesen meghallgatom az ötleteit vagy az együttműködést.

Hol található AnyModal

• GitHub :

• Reddit közösség

• Ölelő arc :

Ha izgatja a multimodális mesterséges intelligencia, vagy szeretné leegyszerűsíteni fejlesztési folyamatát, próbálja ki az AnyModalt. Dolgozzunk együtt az AI innováció következő határának feltárásán.