¿Es realmente "código abierto" ese LLM? Necesitamos hablar sobre el lavado de información en la gobernanza de la IA

Figura que demuestra cómo los juicios de apertura cuantitativa pueden convertirse en métricas procesables asignando pesos a características específicas para crear un gradiente de evaluación.

Lo que aprenderás

En este blog, profundizamos en las complejidades de la apertura de la IA, centrándonos en cómo los principios de código abierto se aplican (o no) a los modelos de lenguaje grandes (LLM) como BloomZ y Llama 2. Al final de este artículo, comprenderá el contexto histórico de las licencias de código abierto, los desafíos actuales para definir la "apertura" en IA y el fenómeno del "open-washing", que está engañando tanto a los consumidores como a los desarrolladores. También presentamos un marco de evaluación integral que integra la Definición de IA de código abierto (OSAID) con información complementaria de otros marcos para ayudarlo a tomar decisiones más informadas sobre los modelos de IA. Finalmente, concluiremos con las mejores prácticas viables para desarrollar el juicio compuesto para medir cuantitativamente la transparencia de cualquier modelo de lenguaje grande de "código abierto".

También resulta útil explorar alternativas que complementen las definiciones ampliamente aceptadas. Como veremos, algunas perspectivas (incluidos análisis recientes) sugieren que los marcos como la Definición de IA de Código Abierto (OSAID, por sus siglas en inglés) se benefician de dimensiones adicionales, en particular en la forma en que abordan cuestiones como la transparencia de los datos. El Marco de Apertura de Modelos y sus raíces en los principios de la Ciencia Abierta ofrecen una perspectiva complementaria que puede servir como una guía adicional para evaluar la apertura de la IA. Todavía estamos en las primeras etapas del cumplimiento normativo en este espacio.

Por qué esto es importante

El mundo de la IA es complejo y evoluciona rápidamente, y a menudo lleva los principios del código abierto hasta sus límites. Comprender estos matices es vital para los desarrolladores, investigadores y consumidores que quieren asegurarse de que los sistemas de IA no solo sean innovadores, sino también transparentes, éticos y responsables. Con el auge del "open-washing" (la publicidad engañosa de modelos de IA como de código abierto), es más importante que nunca contar con un marco sólido para evaluar estas afirmaciones. Al estar equipado con este conocimiento, puede tomar decisiones informadas que se alineen con los verdaderos valores de apertura y transparencia en el desarrollo de la IA.

El contexto histórico de las licencias de código abierto

Para entender hacia dónde vamos, es esencial saber dónde hemos estado. El movimiento de código abierto nació de una rebelión contra el creciente dominio del software propietario en la década de 1980, cuando la Free Software Foundation (FSF) introdujo la Licencia Pública General GNU (GPL). Esta licencia supuso un cambio radical, ya que garantizó a los usuarios la libertad de usar, modificar y compartir software, devolviendo el poder a los desarrolladores y los usuarios.

A fines de los años 90, se creó la Iniciativa de Código Abierto (OSI, por sus siglas en inglés) para promover y proteger el software de código abierto mediante la certificación de licencias que cumplieran con la Definición de Código Abierto (OSD, por sus siglas en inglés). La OSD estableció las leyes sobre lo que se podía y no se podía llamar "código abierto", y se aseguró de que el término no se diluyera ni se usara de manera incorrecta.

El ejemplo de los grandes modelos lingüísticos (LLM) y los límites de la "apertura"

Entramos en el mundo de la IA, donde las líneas entre sistemas abiertos y cerrados se vuelven aún más difusas. Los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés), como GPT-3 o sus sucesores, son ejemplos claros de cómo el término "código abierto" puede ser engañoso en el panorama de la IA. Los LLM son sofisticados sistemas de IA entrenados en conjuntos de datos masivos para generar textos similares a los humanos. Estos modelos han despertado un interés y una inversión significativos debido a su capacidad para realizar una amplia gama de tareas, desde la traducción hasta la escritura creativa. Sin embargo, a pesar de las impresionantes capacidades de estos modelos, el concepto de "apertura" a menudo se queda corto cuando se lo examina de cerca.

En el artículo de investigación “Rethinking Open Source Generative AI: Open-Washing and the EU AI Act”, en su análisis, los investigadores Dr. Liesenfeld y su equipo comparan BloomZ y Llama 2, dos importantes LLM, como ejemplos de distintos grados de apertura en IA. Esta comparación ofrece una demostración práctica de cómo aplicar una matriz de apertura a los modelos de IA generativa:

BloomZ: un estudio de caso sobre la verdadera apertura

BloomZ representa un modelo que adopta genuinamente los principios del código abierto, estableciendo un alto estándar de transparencia y accesibilidad en IA.

• Disponibilidad : BloomZ pone a disposición el código fuente para el entrenamiento, el ajuste y la ejecución del modelo, lo que representa un alto grado de apertura. Los datos LLM utilizados para entrenar BloomZ están ampliamente documentados, lo que hace que sea transparente en cuanto a sus fuentes de datos y procesos. Tanto los pesos del modelo base como la versión ajustada por instrucciones están disponibles abiertamente, lo que permite la replicación y el escrutinio por parte de la comunidad en general.
• Documentación : El proyecto BloomZ está bien documentado, con descripciones detalladas disponibles en varios artículos científicos y un repositorio activo en GitHub . Los procesos de curación y ajuste de datos están cubiertos de manera exhaustiva, lo que brinda información sobre la arquitectura del modelo, los datos de entrenamiento y el uso responsable. Los artículos revisados por pares respaldan aún más su transparencia, incluida una estimación de la huella de carbono, que rara vez se documenta en los proyectos de IA.
• Acceso y licencias : BloomZ se distribuye a través de la API Petals y su código fuente se publica bajo la licencia Apache 2.0 , una licencia aprobada por OSI. Los pesos del modelo están cubiertos por la Licencia de IA Responsable (RAIL), que impone restricciones para evitar un uso perjudicial, lo que agrega una capa de responsabilidad ética.

Llama 2 : Los peligros del lavado a cielo abierto

En marcado contraste, Llama 2 ejemplifica el concepto de "open-washing", donde se aplica la etiqueta de código abierto sin cumplir plenamente los principios de apertura.

• Disponibilidad : En contraste, Llama 2 no pone a disposición su código fuente. Solo se comparten los scripts para ejecutar el modelo y los datos de LLM se describen vagamente, con detalles limitados proporcionados en una preimpresión corporativa. El acceso a los pesos del modelo base está restringido, requiriendo un formulario de consentimiento, y los datos utilizados para ajustar las instrucciones permanecen en secreto, lo que limita aún más la transparencia.

• Documentación : La documentación de Llama 2 es mínima, y el código fuente en sí no está abierto. La arquitectura se describe con menos detalle, dispersa en sitios web corporativos y en una única versión preliminar . A diferencia de BloomZ, Llama carece de documentación completa de sus conjuntos de datos de entrenamiento, ajuste de instrucciones y procesos de ajuste fino.

• Acceso y licencias : Llama 2 está disponible a través de un formulario de registro que desafía la privacidad, y su licencia se gestiona según la licencia comunitaria de Meta. Esta licencia es menos estricta que la RAIL de BloomZ, con un nivel más bajo para la forma en que se representa el contenido generado, lo que deja lugar a aplicaciones potencialmente engañosas.

  
  

La comparación entre BloomZ y Llama 2 destaca las marcadas diferencias en su enfoque de la apertura. BloomZ es un excelente ejemplo de un modelo que adopta genuinamente los principios del código abierto, con transparencia en su código, datos y documentación. En contraste, Llama 2 ejemplifica el "lavado de cara al público", donde el modelo se etiqueta como de código abierto pero no cumple con la mayoría de los aspectos de la verdadera apertura, y solo se puede acceder a los pesos del modelo bajo términos restrictivos. Esta comparación subraya la necesidad de una comprensión más matizada de la apertura en IA y la importancia de evaluar los modelos en función de un conjunto integral de criterios en lugar de depender de afirmaciones superficiales de apertura.

El desafío del lavado abierto

El "open-washing" es la práctica de ponerle una etiqueta de código abierto a algo que no es realmente abierto. En el mundo de la IA, el open-washing está muy extendido, ya que las empresas ofrecen partes de sus sistemas de IA mientras mantienen los componentes más cruciales bajo llave.

El artículo de investigación analiza los detalles sucios del lavado abierto en IA y destaca algunos de los desafíos clave:

Apertura compuesta: la apertura en IA no es un concepto único para todos. Es un rompecabezas con muchas piezas, y cada una de ellas contribuye a la transparencia general del sistema. Sin embargo, con demasiada frecuencia, las empresas solo publican algunas de las piezas, lo que genera una sensación engañosa de apertura. La investigación introduce el concepto de apertura de gradiente, enfatizando que la apertura en IA debe verse como un espectro en lugar de un estado binario. Los diferentes componentes de un sistema de IA (código fuente, datos, modelos) pueden estar abiertos en distintos grados, y es fundamental evaluar cada componente individualmente. Al comprender este gradiente, podemos evaluar mejor la verdadera apertura de los sistemas de IA y evitar ser engañados por la transparencia parcial.

Apertura selectiva: algunos modelos de IA se lanzan con la apertura justa para funcionar (normalmente, los pesos del modelo), pero los componentes críticos, como los datos y el proceso de entrenamiento, siguen siendo de propiedad exclusiva. Esta apertura selectiva es un intento a medias de transparencia que hace más daño que bien. Al proporcionar solo un acceso parcial, las empresas pueden afirmar que son abiertas sin proporcionar realmente la transparencia total necesaria para una colaboración y una comprensión significativas.

Vacíos regulatorios: La Ley de IA de la UE, un marco regulatorio bien intencionado, puede incentivar inadvertidamente el lavado de información al permitir que los modelos de IA publicados bajo licencias abiertas eludan requisitos de documentación detallados. Este vacío legal podría conducir a una inundación de sistemas de IA que son "abiertos" solo de nombre, con poca o ninguna transparencia real. Si bien la intención detrás de estas regulaciones es promover la apertura, sin una implementación y supervisión cuidadosas, pueden ser explotadas para crear la ilusión de apertura sin la sustancia.

Julia Ferraioli también aborda el tema del lavado de información en su blog , señalando que "el quid de la cuestión es que términos como 'código abierto' se están ampliando y redefiniendo para que se ajusten a las agendas de las grandes empresas que están más interesadas en el marketing que en la verdadera transparencia y colaboración". Esta idea refuerza la necesidad de un marco de evaluación sólido para filtrar estas afirmaciones engañosas.

Perspectivas de investigación: Las realidades de la IA de código abierto

El Marco de Apertura de Modelos presentado en debates recientes complementa algunas de estas ideas al ofrecer un enfoque de transparencia alineado con la Ciencia Abierta. Si bien la Definición de IA de Código Abierto (OSAID, por sus siglas en inglés) proporciona una base sólida, muchos en el campo, incluidos algunos investigadores, creen que puede no ser suficiente, en particular cuando se trata de la transparencia de los datos. El Marco de Apertura de Modelos, en cambio, establece un parámetro de referencia más estricto, que enfatiza no solo la apertura del código sino también la disponibilidad de conjuntos de datos, metodologías y procesos de capacitación en línea con los valores de la Ciencia Abierta.

Expansión con apertura de gradiente

Basándonos en OSAID, el concepto de apertura gradual aporta matices al proceso de evaluación. Al evaluar cada componente de un sistema de IA (código fuente, datos, modelos) de forma individual, podemos comprender mejor el verdadero nivel de transparencia y apertura.

El presente artículo ofrece información clave extraída de la investigación:

• Desafíos de los ajustes en las licencias: Las licencias de código abierto tradicionales fueron diseñadas para el software, no para la naturaleza compleja y multifacética de la IA. El artículo sostiene que se necesitan nuevas estrategias de licencias para abordar los desafíos únicos que plantea la IA. Estas licencias deben garantizar que no solo el código fuente, sino también los datos, los modelos y los parámetros estén cubiertos por los principios de código abierto. Este enfoque holístico de las licencias es crucial para mantener la integridad del movimiento de código abierto en la era de la IA.

  
  

• Consideraciones éticas: Más allá de la apertura técnica, el documento también destaca la importancia de las consideraciones éticas en el desarrollo y la implementación de la IA. Señala que garantizar la equidad, la rendición de cuentas y la transparencia en los sistemas de IA no es solo un desafío técnico sino un imperativo moral. La dimensión ética del desarrollo de la IA debe integrarse en cualquier debate sobre la apertura, ya que la transparencia sin responsabilidad puede conducir a daños significativos.

  
  

• Un enfoque práctico: Los investigadores describen algunas formas razonables de establecer la confiabilidad categórica incluso bajo una licencia compuesta. Al integrar la Definición de IA de Código Abierto (OSAID) con estos conocimientos más profundos, podemos construir un marco más sólido para evaluar los sistemas de IA. Este enfoque permite una evaluación más matizada y completa de los modelos de IA, asegurando que cumplan con los estándares técnicos y éticos de apertura.

El problema de las versiones de LLM: un aspecto de la apertura que se pasa por alto

Uno de los desafíos más matizados en la apertura de la IA es la cuestión del control de versiones de los LLM. A diferencia de los paquetes de software tradicionales, donde las actualizaciones de versiones suelen estar bien documentadas y son transparentes, los LLM pueden sufrir actualizaciones que son opacas, dejando a los usuarios a oscuras sobre lo que ha cambiado. Esta falta de transparencia es similar a instalar una actualización del sistema operativo sin saber qué se ha modificado, excepto que, en el caso de los LLM, lo que está en juego es posiblemente incluso más.

Comparación de sistemas operativos: imagina instalar un sistema operativo en tu computadora y recibir actualizaciones regularmente. Normalmente, esperarías ver un registro de cambios, que detalle lo que se ha corregido, mejorado o agregado. Esta transparencia es crucial para que los usuarios comprendan el estado de su sistema. Ahora, considera un LLM que se actualiza continuamente sin dicha transparencia. Los usuarios pueden encontrarse trabajando con un modelo que ha cambiado de manera sutil o significativa sin una comprensión clara de esos cambios. Esta falta de transparencia puede generar problemas que van desde un rendimiento degradado hasta preocupaciones éticas, ya que el modelo puede comportarse de manera inesperada. La comparación resalta los riesgos asociados con el uso de modelos de IA que no son transparentes sobre sus actualizaciones, lo que enfatiza la necesidad de una información de versiones clara y accesible.

Los riesgos de las actualizaciones opacas: sin transparencia, los usuarios no pueden confiar plenamente en los sistemas de IA que utilizan. Del mismo modo que no instalarías una actualización del sistema operativo sin saber qué se ha modificado, confiar en un LLM que se somete a actualizaciones opacas es arriesgado. Esto es especialmente preocupante en entornos de alto riesgo en los que se utiliza la IA para procesos de toma de decisiones que afectan a la vida real. Si una actualización del LLM introduce nuevos sesgos o elimina una funcionalidad importante, las consecuencias podrían ser graves. La falta de transparencia no solo socava la confianza de los usuarios, sino que también plantea importantes riesgos éticos y operativos.

Establecimiento de un marco de evaluación integral: integración de OSIAID

Para ayudar a superar estos desafíos, presentamos un marco de evaluación integral que combina las fortalezas de la Definición de IA de Código Abierto (OSIAID) con conocimientos más profundos de investigaciones recientes. Este marco tiene como objetivo proporcionar un método más sólido para evaluar la apertura de los sistemas de IA.

OSIAID como base: la definición de IA de código abierto proporciona una base sólida para comprender qué constituye un sistema de IA de código abierto. Establece criterios claros de transparencia, accesibilidad y uso ético, garantizando que los modelos de IA cumplan con un estándar mínimo de apertura. Al adherirse a OSIAID, los desarrolladores y los usuarios pueden tener la confianza de que un modelo de IA cumple con los estándares básicos de apertura y transparencia.

Ampliación con apertura de gradiente: Basándose en OSIAID, el concepto de apertura de gradiente agrega matices al proceso de evaluación. Al evaluar cada componente de un sistema de IA (código fuente, datos, modelos) de forma individual, podemos comprender mejor el verdadero nivel de transparencia y apertura. Estos pueden ser indicadores del marco y la tolerancia al riesgo de su propia organización o estandarizados entre organizaciones. Este enfoque permite una evaluación más detallada y precisa de los modelos de IA, identificando áreas en las que la apertura es sólida y en las que puede ser necesario mejorar.

Abordar las implicaciones éticas y legales: el marco también incorpora consideraciones éticas y legales, lo que garantiza que los sistemas de IA no solo sean técnicamente abiertos, sino que también estén alineados con valores sociales y requisitos legales más amplios. Al integrar estas consideraciones, el marco garantiza que la apertura no solo tenga que ver con la transparencia técnica, sino también con el cumplimiento de los estándares éticos y legales que son cruciales en el desarrollo de la IA.

El énfasis de Julia Ferraioli en la necesidad de definiciones claras y un compromiso con los principios del código abierto coincide con este enfoque. Ella escribe: "La comunidad del código abierto debe aferrarse a sus valores, asegurando que cualquier desviación sea tratada con un escrutinio crítico y una demanda de transparencia". Estas prácticas están diseñadas para satisfacer esa necesidad, proporcionando un marco sólido y completo para evaluar los sistemas de IA.

Tenga en mente el horizonte regulatorio

A medida que el panorama de la regulación de la IA continúa evolucionando, es fundamental mantenerse informado y participar en los avances normativos. La Ley de IA de la UE y otros marcos similares desempeñarán un papel importante a la hora de dar forma al futuro de la apertura y la transparencia de la IA. Si comprende estos debates y participa en ellos, podrá ayudar a garantizar que los marcos normativos promuevan eficazmente la transparencia y la rendición de cuentas en la IA.

• Evalúe la apertura en múltiples dimensiones: utilice el marco para evaluar los sistemas de IA en varias dimensiones de apertura, incluidos el código fuente, los datos, los pesos de los modelos y la documentación. Una evaluación integral garantiza que no se deje engañar por afirmaciones superficiales de apertura y que pueda tomar decisiones informadas sobre los modelos de IA que utiliza.
• Cuidado con el lavado de información: tenga cuidado con los modelos de IA que afirman ser de código abierto pero solo ofrecen una transparencia parcial. Busque señales de apertura selectiva, donde solo se ponen a disposición ciertos componentes. Comprender estas tácticas puede ayudarlo a evitar ser engañado por modelos que no se adhieren verdaderamente a los principios del código abierto.
• Exija una documentación completa: exija una documentación detallada de los sistemas de IA, que incluya información sobre los datos de entrenamiento, los procesos de ajuste y las consideraciones éticas. Esta transparencia es fundamental para comprender las capacidades y limitaciones del modelo. Una documentación completa permite una mejor evaluación y uso de los modelos de IA, lo que garantiza que esté completamente informado sobre las herramientas que está utilizando.
• Apoye las licencias específicas para IA: abogue por el desarrollo y la adopción de licencias específicas para IA que cubran no solo el código, sino también los datos, los modelos y los parámetros. Esto ayudará a evitar que las empresas se escondan detrás de una apertura parcial. Las licencias específicas para IA pueden abordar los desafíos únicos del desarrollo de IA, garantizando que todos los aspectos del modelo sean abiertos y transparentes.
• Interactúe con los marcos regulatorios: manténgase informado sobre los avances regulatorios, como la Ley de IA de la UE, y participe activamente en los debates para garantizar que estos marcos promuevan de manera efectiva la transparencia y la rendición de cuentas en materia de IA. Interactuar con los marcos regulatorios garantiza que su voz se escuche en el desarrollo de políticas que darán forma al futuro de la IA.

Conclusión: Cómo garantizar la apertura de la IA en un mundo complejo

El mundo de la IA es complejo, desordenado y lleno de desafíos que el movimiento de código abierto no fue diseñado originalmente para abordar. Pero eso no significa que debamos renunciar a los ideales de transparencia, colaboración y apertura. En cambio, necesitamos adaptarnos, evolucionar y asegurarnos de que la IA de código abierto aún represente las cuatro libertades necesarias para cumplir con la definición.

A medida que avanzamos en este nuevo mundo, la colaboración entre la comunidad de código abierto, los organismos reguladores y los desarrolladores de IA será crucial. Si abordamos los desafíos del lavado de información, repensamos nuestro enfoque en materia de licencias y adoptamos marcos regulatorios sólidos, podemos construir un ecosistema de IA que no solo sea innovador, sino también ético y responsable.

La IA llegó para quedarse y depende de nosotros asegurarnos de que sirva al bien común. Por último, les dejo con esta importante reflexión directamente de los investigadores de este importante trabajo:

“Tal vez no sea coincidencia que los investigadores financiados con fondos públicos estén liderando el camino para denunciar el lavado de información: sin estar en deuda con los intereses corporativos y sin incentivos para promocionar la IA, podemos dar un paso atrás y dejar al descubierto lo que están haciendo las grandes tecnológicas, e idear formas constructivas de exigirles cuentas”. Dr. Liesenfeld.

Este equipo de investigación participa activamente en varias iniciativas relacionadas con la Ley de IA de la UE, centrándose especialmente en lo que implicará en la práctica un "resumen suficientemente detallado" en la documentación de IA. Este trabajo se está llevando a cabo en colaboración con la Fundación Mozilla y la Fundación Open Future . El equipo también continúa su trabajo académico sobre evaluación de tecnología y tiene previsto lanzar un nuevo sitio web a finales de este año que servirá como recurso público para la evaluación de la apertura, haciendo que estas herramientas sean más accesibles para el público en general. Esta iniciativa tiene como objetivo proporcionar estándares y marcos más claros para que las empresas rindan cuentas de la transparencia en la IA.

La definición de IA de código abierto (OSAID) aún está abierta a la revisión y los comentarios del público. Si desea participar en la configuración del futuro de la IA de código abierto, puede enviar comentarios sobre el borrador actual aquí . La versión final de la definición se anunciará en la conferencia All Things Open (ATO) , que tendrá lugar en 2024. Esté atento a más actualizaciones a medida que la comunidad continúa perfeccionando este marco crítico para el desarrollo de la IA abierta.

Al final del día, si vas a asumir un riesgo calculado al utilizar estos LLM, entonces necesitas medir ese riesgo. Espero que esto te brinde algunas formas de hacerlo y quiero que te comuniques conmigo si tienes alguna métrica cuantitativa o mejoras para las soluciones ofrecidas anteriormente o, en general, cualquier pregunta sobre este tema que no haya podido abordar aquí.