100 jours d'IA, jour 11 : devenir un assistant de réglage fin dans les applications Gen AI

Si vous avez suivi l'espace IA générative ou LLM, vous avez déjà entendu parler du Finetuning. Dans cet article, essayons de comprendre ce qu'est le réglage fin et quel est son rôle dans le développement d'applications gen AI.

Qu’est-ce que le réglage fin ?

Le réglage fin est un processus de modification d'un modèle de base à usage général pour le faire fonctionner pour un cas d'utilisation spécialisé. Par exemple, prenons le modèle gpt-3 d'Open AI. Gpt-3 est un modèle de base qui a été affiné dans le but de devenir un chatbot, ce qui a abouti à ce que les gens appellent désormais l'application chat-gpt. Un autre exemple serait de modifier le modèle GPT-4 pour en faire un copilote pour les codeurs, ce qui a été fait pour créer le copilote GitHub.

Pourquoi devons-nous affiner les modèles de base ?

Le réglage fin nous permet de surmonter les limitations des modèles de base. Les modèles de base comme le gpt-3 d'Open AI ou le Llama de Meta sont généralement formés sur l'ensemble des données d'Internet. Mais ils ne disposent pas du contexte des données internes à votre organisation. Et il n'est pas possible de fournir toutes les données pertinentes pour votre organisation ou votre cas d'utilisation propriétaire via une invite. Le réglage fin nous permet d'intégrer beaucoup plus de données que ce que l'ingénierie rapide nous permet. Le réglage fin permet également au modèle de générer des résultats cohérents, de réduire les hallucinations et de personnaliser le modèle pour un cas d'utilisation particulier.

En quoi le réglage fin est-il différent de l’ingénierie rapide ?

Nous avons vu dans les articles précédents à quel point l'ingénierie des invites peut être puissante. Alors, en quoi le réglage fin est-il différent ? Le réglage fin est destiné aux cas d'utilisation des applications d'entreprise, tandis que l'ingénierie rapide est destinée aux cas d'utilisation généraux et ne nécessite pas de données. Il peut être utilisé avec des données supplémentaires avec RAG comme technique, mais il ne peut pas être utilisé avec des données volumineuses qui existent dans les cas d'utilisation en entreprise. Le réglage fin permet un nombre illimité de données, permet au modèle d'apprendre de nouvelles informations et peut également être utilisé avec un RAG.

Comparaison des réponses affinées et non affinées

Prenons un exemple qui pourrait vous donner une meilleure intuition de la différence entre les modèles affinés et non affinés. J'utilise les bibliothèques de Lamini pour appeler des modèles Llama affinés et non affinés afin de montrer la différence. Vous aurez besoin de la clé API de Lamini à cet effet. Lamini fournit un moyen simple et facile d'interagir avec les LLM open source. Découvrez-le ici si vous souhaitez en savoir plus.

Dans cet exemple, j'ai posé la même question aux deux modèles : « Que pensez-vous de la mort ? et voici les réponses.

Réponse du modèle de lama non optimisé :

Réponse du modèle de lama affiné :

Vous remarquerez que la première réponse n’était qu’une répétition d’une seule ligne, tandis que la deuxième réponse était beaucoup plus cohérente. Avant de parler de ce qui se passe ici, prenons un autre exemple où je demande au modèle « Quel est votre prénom ? ». Voici ce que j'ai obtenu.

Réponse du modèle de lama non optimisé :

Réponse du modèle de lama affiné :

Dans les réponses du modèle non affinées, les réponses sont étranges car le modèle ne fait qu'une seule chose. Il essaie de prédire le prochain texte probable en fonction de votre texte saisi, sans se rendre compte que vous lui avez posé une question. Les modèles basés sur les données Internet sont des machines de prédiction de texte et tentent de prédire le prochain meilleur texte. Avec un réglage fin, le modèle est formé pour baser sa réponse en fournissant des données supplémentaires et il apprend un nouveau comportement qui consiste à agir comme un chatbot destiné à répondre aux questions. Notez également que la plupart des modèles fermés comme le gpt-3 ou le gpt-4 d'Open AI, nous ne savons pas exactement sur quelles données ils sont formés. Mais il existe des ensembles de données ouvertes intéressantes qui peuvent être utilisées pour entraîner vos modèles. Nous en reparlerons plus tard.

C'est tout pour le jour 11 des 100 jours d'IA.

J'écris une newsletter intitulée Above Average dans laquelle je parle des idées de second ordre derrière tout ce qui se passe dans la grande technologie. Si vous êtes dans la technologie et que vous ne voulez pas être dans la moyenne, abonnez-vous .

Suivez-moi sur Twitter , LinkedIn ou HackerNoon pour les dernières mises à jour sur 100 jours d'IA. Si vous êtes dans le domaine de la technologie, vous pourriez être intéressé à rejoindre ma communauté de professionnels de la technologie ici .