Quand les entreprises d’infrastructure bénéficieront-elles de l’IA générative ?

De nombreuses questions tournent actuellement autour de l’état de l’IA générative. Où en sont les entreprises dans leurs efforts GenAI sur mesure ? Les organisations créent-elles réellement des applications d’IA en utilisant leurs propres données propriétaires d’une manière qui fait bouger les choses ? Quel type d’architecture est nécessaire ?

Ces questions ne sont pas surprenantes : il existe une vaste gamme d'opinions sur l'IA, allant d'un optimisme sans vergogne au cynisme blasé, mêlé à beaucoup de battage médiatique.

J'ai constaté que cela aide à clarifier la situation sur le marché GenAI dans trois domaines : ce que le marché veut voir, les craintes quant à ce qui pourrait arriver et ce qui se passera (et comment) en 2024.

Que veut tout le monde et de quoi a-t-il peur ?

GenAI a explosé sur la scène fin 2022 lorsque OpenAI a publié ChatGPT et a montré à quel point ce type de technologie pouvait être puissant et accessible. L’enthousiasme suscité par les avantages potentiels de l’IA était partout. En peu de temps, GenAI allait être intégré à toutes les applications de chaque entreprise. Les investisseurs envisageaient une courbe de croissance semblable à celle d’un bâton de hockey pour les entreprises qui fournissent l’infrastructure nécessaire à la prise en charge de GenAI.

Les opposants, en revanche, envisageaient un avenir dystopique de l’IA, un croisement entre « Westworld » et « Black Mirror ». D’autres mettent en garde contre une bulle d’IA. Du point de vue de l’investissement, certains disent que c’est à nouveau comme la cryptographie : beaucoup d’enthousiasme et de battage médiatique, puis un cratère fumant.

Je pense que ces deux craintes sont infondées. Bien sûr, à chaque nouvelle vague technologique, de mauvais acteurs utiliseront GenAI pour de mauvaises raisons. Et l’enthousiasme suscité par les possibilités de GenAI est partout ; il a une sensation « pétillante » et pourrait même être plus strident que le buzz crypto.

Mais la grande différence entre GenAI et la cryptographie réside dans le fait qu’il existe de très nombreux cas d’utilisation réels pour la première, dans toutes les organisations et tous les secteurs. Dans le domaine de la cryptographie, il existe un cas d’utilisation important : les transactions financières entre parties non fiables (c’est-à-dire le blanchiment d’argent). C’est quelque chose qui n’intéresse pas autant le grand public.

À l'heure actuelle, la situation des applications GenAI me rappelle le commerce électronique à la fin des années 1990 , lorsque les entreprises essayaient de trouver un moyen de sécuriser l'utilisation des cartes de crédit sur Internet. Il a fallu un certain temps aux organisations pour comprendre comment le faire en toute sécurité, mais une fois qu'elles l'ont fait, tout le monde disposait soudain d'un site de commerce électronique.

Le parallèle que je vois actuellement dans GenAI : comment garantir que les modèles de langage ne renvoient pas de réponses inexactes en hallucinant . La bonne nouvelle? Cela a été compris (grâce à la génération augmentée par récupération , ou RAG ; plus à ce sujet ci-dessous).

Où en sommes-nous maintenant et où allons-nous ?

Une grande partie de ce que nous avons vu l'année dernière était des projets GenAI de validation de principe : des applications destinées à démontrer aux dirigeants d'une entreprise ce qui est possible. Mais très peu d’entreprises sont allées au-delà pour créer des applications en pleine production. Par « production », j’entends qu’une organisation dispose d’une application d’IA qui est utilisée par les clients ou les employés de manière non prototype.

En d’autres termes, il est disponible dans le cadre d’activités de routine au sein de certains segments des opérations commerciales. Il peut s'agir du front office, de ce qui se cache derrière un appel au service client, mais cela se rapproche quelque part de la partie principale de l'entreprise.

Walmart en est un bon exemple. Le détaillant a annoncé en janvier avoir ajouté la recherche basée sur GenAI à son application d'achat. Apple serait en train de tester un outil GenAI pour aider ses employés à fournir une assistance technique plus rapide. Jusqu'à ce que nous commencions à voir davantage d'exemples comme celui-ci, GenAI va s'attarder un peu plus longtemps au début de ce que Gartner appelle le « cycle de battage médiatique ».

Volkswagen vient d'annoncer la création d'un laboratoire interne pour développer des applications GenAI pour les applications de navigation et d'infodivertissement pour ses automobiles.

Cela dit, nous ne sommes pas aussi loin d'atteindre le « plateau de productivité » que certains pourraient le penser. Comme je l'ai mentionné plus tôt, faire confiance aux résultats des modèles a été un obstacle pour les organisations qui se demandent encore comment produire des réponses pertinentes et précises en réduisant les hallucinations.

RAG, qui fournit aux modèles des données ou un contexte supplémentaires en temps réel à partir d'autres sources (le plus souvent, une base de données pouvant stocker des vecteurs), est désormais utilisé pour aider à résoudre ce problème. Cette avancée technologique est essentielle au développement d’applications GenAI sur mesure, spécifiques à un domaine, fondées sur l’atout le plus précieux des organisations : leurs propres données.

Bien que RAG soit devenu la méthode de facto pour intégrer le contexte d'entreprise dans les applications GenAI, le réglage fin (lorsqu'un modèle pré-entraîné est entraîné davantage sur un sous-ensemble de données) est également souvent mentionné. Il y a des moments où cette méthode peut être utile , mais RAG est le bon choix en cas de souci de confidentialité, de sécurité ou de vitesse.

Quelle que soit la manière dont le contexte est ajouté à l'application, la grande question que me posent souvent les investisseurs avec lesquels j'ai parlé est de savoir quand les entreprises commenceront-elles à gagner de l'argent grâce aux applications GenAI ?

Ma réponse : la plupart des entreprises que vous suivez sont des entreprises basées sur la consommation. Beaucoup prennent désormais en charge les expériences, les preuves de concept (POC) et les applications de niche que leurs clients ont créées ; ceux-ci ne font pas grand-chose en termes de consommation.

Mais cela commence à changer à mesure que les principales applications d’IA commencent à passer du POC à la véritable production. Je prédis que cela se produira de manière significative d’ici la fin de 2024. Cela se concrétisera au cours du second semestre 2024, en commençant à deux endroits.

Premièrement, elle s’implante dans le commerce de détail (voir l’exemple de Walmart mentionné plus haut). Vous constaterez également une adoption généralisée dans ce que j'appelle le domaine « Intranet IA » : chat avec PDF, bases de connaissances et centres d'appels internes.

Avec la consommation générée par ce type d’applications, des entreprises comme Microsoft , Google et même Oracle commencent à publier les résultats de l’IA. En dehors du domaine des hyperscalers, d’autres sociétés d’infrastructures d’IA commenceront probablement à souligner des améliorations dans les rapports sur les bénéfices qu’elles publieront en janvier, février et mars de l’année prochaine.

Le chemin vers la production pour les applications GenAI

Les bases ont déjà été posées pour les entreprises d’infrastructures d’IA basées sur la consommation. Nous avons déjà vu des preuves commerciales solides qui montrent ce qui est possible pour une large base d'applications sur mesure spécifiques à un domaine. Des applications créatives d'IA – Midjourney, Adobe Firefly et autres générateurs d'images, par exemple – aux applications de connaissances comme GitHub Copilot ( plus d'un million de développeurs l'utilisent ), Glean et d'autres, ces applications ont été largement adoptées et ont généré une productivité significative. gains.

Les progrès en matière d'applications sur mesure sont les plus avancés dans les secteurs et les cas d'utilisation qui doivent faciliter la transmission des connaissances jusqu'au point d'interaction. Les connaissances proviendront de leurs propres données, en utilisant des modèles disponibles dans le commerce (open source ou propriétaires), RAG et le fournisseur de cloud de leur choix.

Trois éléments sont nécessaires pour que les entreprises puissent créer des applications GenAI sur mesure, prêtes à affronter les rigueurs du fonctionnement à l'échelle de la production : contexte intelligent, pertinence et évolutivité.

Contexte intelligent

Jetons un coup d'œil rapide à la façon dont les données propriétaires sont utilisées pour générer des réponses utiles, pertinentes et précises dans les applications GenAI.

Les applications prennent en compte les entrées de l'utilisateur sous la forme de toutes sortes de données et les alimentent dans un moteur d'intégration, qui tire essentiellement un sens des données, récupère les informations d'une base de données vectorielles à l'aide de RAG et crée le « contexte intelligent » que le LLM peut utiliser. pour générer une réponse contextualisée et sans hallucination qui est présentée à l'utilisateur en temps réel.

Pertinence

Ce n’est pas un sujet dont on entend beaucoup parler dans les sociétés de bases de données opérationnelles. Mais dans le domaine de l’IA et des bases de données vectorielles, la pertinence est un mélange de rappel et de précision qui est essentiel pour produire des réponses utiles, précises et non hallucinatoires.

Contrairement aux opérations de bases de données traditionnelles, les bases de données vectorielles permettent une recherche sémantique ou de similarité, qui est de nature non déterministe. De ce fait, les résultats renvoyés pour la même requête peuvent être différents selon le contexte et la manière dont le processus de recherche est exécuté. C’est là que la précision et la pertinence jouent un rôle clé dans le fonctionnement de la base de données vectorielles dans les applications du monde réel. L'interaction naturelle nécessite que les résultats renvoyés lors d'une recherche de similarité soient précis ET pertinents par rapport à la requête demandée.

Évolutivité

Les applications GenAI qui vont au-delà des POC et entrent en production nécessitent un débit élevé. Le débit correspond essentiellement à la quantité de données qui peuvent être stockées, consultées ou récupérées dans un laps de temps donné. Un débit élevé est essentiel pour fournir à grande échelle des fonctionnalités en temps réel, interactives et gourmandes en données ; les écritures impliquent souvent des milliards de vecteurs provenant de plusieurs sources, et les applications GenAI peuvent générer d'énormes quantités de requêtes par seconde.

Emballer

Comme pour les vagues précédentes d’innovation technologique, GenAI suit un modèle établi, et tous les signes indiquent qu’elle évolue encore plus rapidement que les révolutions technologiques précédentes. Si l'on fait abstraction de tout le battage médiatique négatif et positif à ce sujet, il est clair que des progrès prometteurs sont réalisés par les entreprises qui s'efforcent de mettre leurs applications POC GenAI en production.

Et les entreprises comme mon employeur DataStax, qui fournissent les bases évolutives et faciles à construire pour ces applications, commenceront à percevoir les avantages de la consommation de leurs clients plus tôt que certains ne le pensent.

Par Ed Anuff, DataStax

Découvrez comment DataStax permet aux clients de mettre leurs applications GenAI en production .