Una nueva investigación revela vulnerabilidades en las herramientas de protección del arte popular contra el robo de IA

Tabla de enlaces

Resumen y 1. Introducción

2. Antecedentes y trabajos relacionados

3. Modelo de amenaza

4. Mímica de estilo robusto

5. Configuración experimental

6. Resultados

   6.1 Principales hallazgos: Todas las protecciones se eluden fácilmente

   6.2 Análisis

7. Discusión e impacto más amplio, agradecimientos y referencias

A. Ejemplos de arte detallados

B. Generaciones de mimetismo robusto

C. Resultados detallados

D. Diferencias con el ajuste fino del esmalte

E. Hallazgos en el esmalte 2.0

F. Hallazgos en Mist v2

G. Métodos para la imitación de estilos

H. Protecciones de imitación de estilo existentes

I. Métodos de mimetismo robusto

J. Configuración experimental

K. Estudio de usuarios

L. Recursos informáticos

Abstracto

Los artistas están cada vez más preocupados por los avances en los modelos de generación de imágenes que puedan replicar fielmente sus estilos artísticos únicos. En respuesta, se han desarrollado varias herramientas de protección contra la imitación de estilos que incorporan pequeñas perturbaciones adversarias en las obras de arte publicadas en línea. En este trabajo, evaluamos la eficacia de las protecciones populares (con millones de descargas) y demostramos que solo brindan una falsa sensación de seguridad. Descubrimos que las técnicas de bajo esfuerzo y "listas para usar", como el aumento de escala de imágenes, son suficientes para crear métodos de imitación robustos que degradan significativamente las protecciones existentes. A través de un estudio de usuarios, demostramos que todas las protecciones existentes se pueden eludir fácilmente, lo que deja a los artistas vulnerables a la imitación de estilos. Advertimos que las herramientas basadas en perturbaciones adversarias no pueden proteger de manera confiable a los artistas del uso indebido de la IA generativa e instamos al desarrollo de soluciones de protección alternativas.

1 Introducción

La imitación de estilo es una aplicación popular de los modelos generativos de conversión de texto en imágenes. Dadas unas cuantas imágenes de un artista, se puede ajustar un modelo para generar nuevas imágenes en ese estilo (por ejemplo, una nave espacial al estilo de Van Gogh). Pero la imitación de estilo tiene el potencial de causar un daño significativo si se utiliza incorrectamente. En particular, a muchos artistas contemporáneos les preocupa que otros puedan producir imágenes que copien su estilo artístico único y potencialmente robarles clientes (Heikkila¨, 2022). Como respuesta, se han desarrollado varias protecciones para proteger a los artistas de la imitación de estilo (Shan et al., 2023a; Van Le et al., 2023; Liang et al., 2023). Estas protecciones agregan perturbaciones adversas a las imágenes que los artistas publican en línea, con el fin de inhibir el proceso de ajuste. Estas protecciones han recibido una atención significativa de los medios de comunicación (con artículos en el New York Times (Hill, 2023), CNN (Thorbecke, 2023) y Scientific American (Leffer, 2023)) y se han descargado más de un millón de veces (Shan et al., 2023a).

Sin embargo, no está claro hasta qué punto estas herramientas realmente protegen a los artistas contra la imitación de estilo, especialmente si alguien intenta activamente eludirlas (Radiya-Dixit et al., 2021). En este trabajo, demostramos que las herramientas de protección de estilo de última generación (Glaze [Shan et al., 2023a], Mist [Liang et al., 2023] y Anti-DreamBooth [Van Le et al., 2023]) son ineficaces cuando se enfrentan a métodos de imitación robustos simples. Los métodos de imitación robustos que consideramos van desde estrategias de bajo esfuerzo (como usar un script de ajuste fino diferente o agregar ruido gaussiano a las imágenes antes del entrenamiento) hasta estrategias de varios pasos que combinan herramientas estándar. Validamos nuestros resultados con un estudio de usuarios, que revela que los métodos de imitación robustos pueden producir resultados indistinguibles en calidad de los obtenidos a partir de obras de arte sin protección (consulte la Figura 1 para ver un ejemplo ilustrativo).

Demostramos que las herramientas de protección existentes sólo brindan una falsa sensación de seguridad. Nuestros métodos de mimetismo robustos no requieren el desarrollo de nuevas herramientas o métodos de ajuste, sino sólo una cuidadosa

¡Combinando técnicas de procesamiento de imágenes estándar que ya existían en el momento en que se introdujeron por primera vez estas herramientas de protección! Por lo tanto, creemos que incluso los falsificadores poco cualificados podrían haber burlado fácilmente estas herramientas desde su creación.

Aunque evaluamos herramientas de protección específicas que existen en la actualidad, las limitaciones de las protecciones contra la imitación de estilo son inherentes. Los artistas están necesariamente en desventaja, ya que tienen que actuar primero (es decir, una vez que alguien descarga arte protegido, la protección ya no se puede cambiar). Para ser efectivas, las herramientas de protección se enfrentan a la difícil tarea de crear perturbaciones que se transfieran a cualquier técnica de ajuste fino, incluso las que se elijan de forma adaptativa en el futuro. Radiya-Dixit et al. (Radiya-Dixit et al., 2021) llegaron a una conclusión similar, argumentando que las perturbaciones adversarias no pueden proteger a los usuarios de los sistemas de reconocimiento facial. Por lo tanto, advertimos que las técnicas de aprendizaje automático adversarias no podrán proteger de manera confiable a los artistas de la imitación de estilo generativa, e instamos al desarrollo de medidas alternativas para proteger a los artistas.

Divulgamos nuestros resultados a las herramientas de protección afectadas antes de su publicación, para que pudieran determinar el mejor curso de acción para los usuarios existentes.