La IA generativa representa la última técnica que una empresa puede emplear para desbloquear los datos atrapados dentro de sus límites. La forma más sencilla de conceptualizar lo que es posible con la IA generativa es imaginar un modelo de lenguaje grande personalizado, similar al que impulsa ChatGPT, ejecutándose dentro de su firewall. Ahora bien, este LLM personalizado no es el mismo que el que OpenAI aloja en la Internet pública. En cambio, ha adquirido una “educación avanzada” sobre su negocio. Esto se hace dándole acceso a un corpus de documentos inaccesibles para el mundo exterior. Sin embargo, esta nueva herramienta no es un motor de búsqueda convencional que proporcionará una lista de enlaces que le llevará horas revisar y filtrar. Más bien, es una solución que puede generar el contenido que necesitas. Con el tiempo, te encontrarás dándole órdenes y haciéndole preguntas. A continuación se muestran algunos ejemplos para darle una idea de lo que es posible:

• "Encuentre nuestros hallazgos recientes en el mercado de valores europeo".

• "Crear un resumen para mi charla sobre IA generativa".

• "Encuentra todo lo que hemos publicado este trimestre".

  
  

Los ejemplos anteriores son escenarios de investigación, pero un modelo de lenguaje grande (LLM) bien construido también se puede utilizar para atención al cliente (chatbot), resúmenes, investigación, traducción y creación de documentos, solo por nombrar algunos.

Estos ejemplos simples resaltan el poder de la IA generativa: es una herramienta para realizar su trabajo de manera más eficiente en lugar de generar una lista de lectura.

Una herramienta de este tipo no puede existir por voluntad propia, y las cosas pueden salir muy mal si no se tienen en cuenta cuestiones como la seguridad y la calidad de los datos. Además, los modelos que impulsan la IA generativa no pueden ejecutarse dentro de un centro de datos convencional. Necesitan un entorno moderno con herramientas modernas para administrar datos no estructurados (lago de datos), crear canales de IA/ML para sus LLM (herramientas MLOP) y nuevas herramientas que permitan a los LLM obtener la educación que necesitan sobre su corpus personalizado. (Estoy hablando de bases de datos vectoriales para implementar la generación aumentada de recuperación; lo explicaré con más detalle más adelante en esta publicación).

En esta publicación quiero cubrir a nivel conceptual lo que se debe considerar para que una empresa implemente la IA generativa con éxito.

Comencemos con una conversación sobre datos.

Fuentes de datos (datos sin procesar)

Una distinción importante es que los datos necesarios para la IA generativa no son los mismos que los datos utilizados para la IA convencional. Los datos no estarán estructurados; específicamente, los datos que necesitará serán documentos guardados en herramientas como SharePoint, Confluence y archivos compartidos en red. Una buena solución de IA generativa también puede manejar contenido no textual, como archivos de audio y vídeo. Necesitará una canalización de datos que recopile todos estos datos y los coloque bajo un mismo techo.

Esta puede ser la tarea más desafiante de una iniciativa de IA generativa. Todos sabemos lo rápido que surgen los sitios de Confluence y Sharepoint dentro de una organización. No hay garantía de que los documentos que contienen sean completos, verdaderos y precisos. Otras preocupaciones son la seguridad, la información de identificación personal y los términos de la licencia si los documentos provienen de una fuente externa.

Una vez que haya identificado los documentos que contienen verdadera inteligencia, necesitará un lugar para colocarlos. Desafortunadamente, no pueden permanecer en su ubicación original. SharePoint, Confluence y los archivos compartidos de red son herramientas que no fueron diseñadas para entregar documentos rápidamente para capacitación e inferencia. Aquí es donde entra en juego MinIO. Querrá almacenar sus documentos en una solución de almacenamiento que tenga todas las capacidades a las que está acostumbrado: escalable según sus necesidades , rendimiento a escala , confiable , tolerante a fallas y una interfaz nativa en la nube . La conclusión es que necesita crear una canalización de datos que agregue datos sin procesar de múltiples fuentes y luego los transforme para su consumo por parte de un LLM. El siguiente diagrama muestra la variedad de fuentes que pueden existir dentro de una organización y las comprobaciones de alto nivel que deben realizarse.

Echemos un vistazo más de cerca a la canalización de datos profundizando en los controles de seguridad y calidad necesarios para transformar datos sin procesar en datos de calidad.

Preprocesamiento de datos (datos de calidad)

Las organizaciones deberían comenzar por hacer un inventario de todas las fuentes de documentos. Para cada fuente documental, se deben catalogar todos los documentos encontrados. Se deben revisar los documentos relacionados con licencias y seguridad. Es posible que sea necesario excluir algunos documentos de su solución. Una parte importante de este proceso es identificar los datos restringidos que deben modificarse antes de incluirse en su solución de IA generativa.

Una vez que haya revisado sus documentos en cuanto a seguridad y licencia, lo siguiente son los controles de calidad. Por ejemplo, veracidad, diversidad (si se trata de personas) y redundancia. No se pueden crear modelos precisos sin datos de alta calidad. Esto es cierto con la IA convencional (aprendizaje supervisado, aprendizaje no supervisado y aprendizaje por refuerzo), y es especialmente cierto con la IA generativa. Los documentos de baja calidad, los documentos redundantes y los documentos que contienen datos inexactos diluirán las respuestas de un LLM o incluso crearán alucinaciones.

Una visualización de una canalización más detallada se ve así:

Algunas reflexiones sobre la importancia de una solución de almacenamiento: sus documentos de calidad deben estar en una solución de almacenamiento que pueda servir sus datos rápidamente para capacitación, ajuste e inferencia. Cuantos más experimentos puedan realizar sus ingenieros, mejor funcionarán sus modelos. También querrá realizar un seguimiento de los experimentos, guardar los datos procesados y versionar sus modelos. Esto se puede hacer manualmente guardando directamente esta información en MinIO o utilizando la herramienta MLOP de su elección. Muchas herramientas MLOP utilizan almacenamiento de objetos oculto. Por ejemplo, MLFlow de DataBricks y KubeFlow de Google utilizan MinIO. Además, la instancia de MinIO que se muestra en los diagramas anteriores debería provenir de una implementación de un lago de datos moderno. Un lago de datos moderno es el centro de una arquitectura de sistema que puede soportar la IA.

Sigamos adelante y analicemos cómo los LLM pueden utilizar el almacén de objetos que contiene sus documentos de calidad.

Cómo los LLM utilizan datos de calidad

En esta sección, veremos dos formas de utilizar LLM de código abierto y sus documentos de calidad para generar contenido específico de un dominio. Estas dos técnicas son la generación aumentada de ajuste y recuperación (RAG).

Ajustar un modelo de código abierto

Cuando ajustamos un modelo, lo entrenamos un poco más con información personalizada. Esta podría ser una buena manera de obtener un LLM específico de un dominio. Si bien esta opción requiere computación para realizar el ajuste fino en su corpus personalizado, no es tan intensiva como entrenar un modelo desde cero y se puede completar en un período de tiempo modesto.

Si su dominio incluye términos que no se encuentran en el uso diario, el ajuste mejorará la calidad de las respuestas del LLM. Por ejemplo, los proyectos que utilizarán documentos de investigación médica, investigación ambiental y cualquier cosa relacionada con las ciencias naturales se beneficiarán de un ajuste. El ajuste fino toma la lengua vernácula altamente específica que se encuentra en sus documentos y la integra en los parámetros paramétricos del modelo.

Desventajas

• El ajuste fino requerirá recursos informáticos.

• La explicabilidad no es posible.

• Periódicamente necesitarás realizar ajustes con nuevos datos a medida que tu corpus evolucione.

• Las alucinaciones son una preocupación.

  
  

Ventajas

• El LLM tiene conocimientos de su corpus personalizado mediante ajustes.

• Mejor momento para valorar en comparación con RAG.

  
  

Si bien el ajuste es una buena manera de enseñarle a un LLM sobre el lenguaje de su negocio, diluye los datos ya que la mayoría de los LLM contienen miles de millones de parámetros y sus datos se distribuirán entre todos estos parámetros.

Veamos una técnica que combina sus datos personalizados y datos paramétricos en el momento de la inferencia.

Recuperación de Generación Aumentada (RAG)

La generación aumentada de recuperación (RAG) es una técnica que comienza con la pregunta que se hace, la combina con datos adicionales y luego pasa la pregunta y los datos a un LLM y a una base de datos vectorial para la creación de contenido. Con RAG, no se necesita capacitación porque educamos al LLM enviándole fragmentos de texto relevantes de nuestro corpus de documentos de calidad.

Funciona así mediante una tarea de respuesta a preguntas: un usuario hace una pregunta en la interfaz de usuario de su aplicación. Su aplicación tomará la pregunta (específicamente las palabras que contiene) y, utilizando una base de datos vectorial, buscará en su corpus de documentos de calidad fragmentos de texto que sean contextualmente relevantes. Estos fragmentos, junto con la pregunta original, se envían al LLM. Este paquete completo: pregunta más fragmentos (contexto) se conoce como mensaje. El LLM utilizará esta información para generar su respuesta. Esto puede parecer una tontería: si ya conoce la respuesta (los fragmentos), ¿por qué molestarse con el LLM? Bueno, recuerde, esto sucede en tiempo real y el objetivo es generar texto, algo que puede copiar y pegar en su investigación. Necesita el LLM para crear el texto que incorpora la información de su corpus personalizado.

Esto es más complicado que un ajuste fino. Es posible que haya oído hablar de las bases de datos vectoriales: son un componente clave a la hora de buscar el mejor contexto para una pregunta. Configurar bases de datos vectoriales puede resultar complicado. Si necesita una solución provisional simple, puede utilizar una herramienta de búsqueda de texto como Elastic Search. Sin embargo, las bases de datos vectoriales son mejores porque pueden aprender el significado semántico de las palabras y extraer un contexto que utiliza diferentes palabras con el mismo o similar significado.

Desventajas

• Requiere una base de datos vectorial.

• Mayor tiempo para valorar en comparación con el ajuste fino. (Debido a la base de datos de vectores y al preprocesamiento necesario antes de enviar una solicitud al LLM).

  
  

Ventajas

• El LLM tiene conocimiento directo de su corpus personalizado.
• La explicabilidad es posible.
• No es necesario ningún ajuste.
• Las alucinaciones se reducen significativamente y pueden controlarse examinando los resultados de las consultas de la base de datos de vectores.

Resumen

La implementación exitosa de la IA generativa está al alcance de cualquier empresa dispuesta a planificar adecuadamente.

Como todo lo relacionado con la IA, la IA generativa comienza con los datos. Los datos que necesitan los modelos de lenguajes grandes que impulsan la IA generativa son el corpus personalizado que define el conocimiento único dentro de sus firewalls. No se limite a documentos basados en texto. Se pueden utilizar vídeos de formación, reuniones grabadas y eventos grabados tanto en formato de audio como de vídeo. Construir un canal de datos no será fácil; se debe tener cuidado para preservar la seguridad y las licencias y, al mismo tiempo, garantizar la calidad.

Los modelos de código abierto eliminan la complejidad del diseño de modelos y, dado que la mayoría están previamente entrenados, también eliminan el alto costo de la capacitación inicial. Las organizaciones deberían experimentar con ajustes para ver si mejoran la calidad del contenido generado.

Finalmente, la recuperación de generación aumentada (RAG) es una técnica poderosa que se puede utilizar para combinar el conocimiento del corpus de documentos personalizado de su organización con el conocimiento paramétrico de un LLM. A diferencia del ajuste fino, la información de su corpus no se adapta a los parámetros paramétricos del modelo. Más bien, los fragmentos relevantes se ubican en el momento de la inferencia y se pasan al modelo como contexto.

Próximos pasos

La IA generativa es una nueva tecnología y las nuevas tecnologías requieren actualizaciones de infraestructura. Para las organizaciones que se toman en serio la IA generativa, el siguiente paso es crear una arquitectura de sistema que incluya un canal de IA/ML, un canal de datos, un lago de datos moderno y una base de datos vectorial (si se va a utilizar RAG). En esta publicación, cubrí estas tecnologías a un alto nivel.

Estén atentos a este blog para obtener una explicación más detallada de la arquitectura del sistema de IA generativa. Si tiene alguna pregunta, envíenos un mensaje de texto a [email protected] o únase a la comunidad de Slack .