Convirtiendo monstruosidades generadas por IA en humanos con CodeFormer

Un viaje práctico por el mundo de la restauración de imágenes con IA

A veces, las fotos generadas por IA salen un poco... torcidas. Tal vez sean de baja calidad, o tal vez haya artefactos extraños que hacen que la imagen se vea menos que perfecta. ¡Pero no temas! CodeFormer está aquí para salvar el día, ayudándole a arreglar esas imágenes en poco tiempo. En esta guía, le presentaré el modelo de CodeFormer, le mostraré cómo funciona y le explicaré cómo usarlo para arreglar una foto generada por IA ligeramente deformada. Lo guiaré a través de los pasos exactos que usé para limpiar la imagen extraña que obtuve de otro modelo de IA, que se muestra a continuación:

Esta imagen vino de la difusión arcana modelo, que estaba usando para otra publicación de blog. Le mostraré cómo puede usar el mismo flujo de trabajo que seguí para limpiar sus propias imágenes generadas e incluso mejorarlas para que se vean mejor. Haré este tutorial usando el SDK de Replicate python, pero también se admiten muchos otros idiomas. en replicar .

En esta guía, también le mostraré cómo podemos usar Códice replicado para encontrar modelos similares y decidir cuál nos gusta. Replicate Codex es una herramienta comunitaria gratuita que le permite buscar, filtrar, ordenar y comparar modelos de IA y encontrar el adecuado para su proyecto de IA.

CodeFormer ocupa el sexto lugar en Replicate Codex. Es súper popular, con más de 8 millones de ejecuciones. Por lo tanto, es seguro decir que a la comunidad realmente le gusta esta herramienta, ¡y eso significa que a usted también le gustaría usarla!

Acerca de CodeFormer

CodeFormer, creado por sczhou , es un algoritmo sólido de restauración de rostros diseñado para funcionar tanto con fotos antiguas como con rostros generados por IA. Es un modelo de imagen a imagen que cuesta $0.0055 por ejecución, con un tiempo de ejecución promedio de 10 segundos en el hardware de GPU Nvidia T4.

La tecnología subyacente de CodeFormer se basa en una red de predicción basada en Transformer, que modela la composición global y el contexto para la predicción del código. Esto permite que el modelo descubra caras naturales que se aproximan mucho a las caras objetivo, incluso cuando las entradas están muy degradadas. También se incluye un módulo de transformación de funciones controlable, que permite un compromiso flexible entre fidelidad y calidad. Puede leer más sobre cómo funciona CodeFormer en Github .

Comprender las entradas y salidas de CodeFormer

Antes de comenzar a trabajar en este proyecto, tomemos un segundo para comprender las entradas y salidas que espera el modelo.

Entradas

1. image (archivo): la imagen de entrada que desea corregir.
2. codeformer_fidelity (número): Un equilibrio entre calidad (número más bajo) y fidelidad (número más alto). Valor por defecto: 0,5.
3. background_enhance (booleano): Si realzar la imagen de fondo con Real-ESRGAN. Valor por defecto: falso.
4. face_upsample (booleano): si se debe aumentar la muestra de rostros restaurados para imágenes de alta resolución creadas por IA. Valor por defecto: falso.
5. upscale (entero): la escala final de muestreo ascendente de la imagen. Valor predeterminado: 2.

Salidas

La salida del modelo es una cadena URI que representa la imagen fija. Es un objeto JSON y tiene el siguiente formato:

 { "type": "string", "title": "Output", "format": "uri" }

Ahora que entendemos las entradas y salidas, profundicemos en el uso de CodeFormer para arreglar una foto deformada generada por IA.

Una guía paso a paso para usar CodeFormer

Si no está preparado para la codificación, puede interactuar directamente con la "demostración" de CodeFormer en Replicate a través de su interfaz de usuario. Puede utiliza este enlace para interactuar directamente con la interfaz y probarla! Esta es una buena manera de jugar con los parámetros del modelo y obtener comentarios y validación rápidos.

Si es más técnico y busca eventualmente crear una herramienta genial sobre CodeFormer, puede seguir estos sencillos pasos para restaurar y mejorar sus imágenes usando el modelo en Replicate.

¡Asegúrese de tener una cuenta de Replicate y su clave API a mano!

Paso 1: Instale el cliente de Python

Esto es bastante fácil de hacer:

 pip install replicate

Paso 2: configure su token de API

Puede obtener esto de Replicar en la pestaña de su cuenta.

 export REPLICATE_API_TOKEN=[token]

Paso 3: Ejecutar el modelo

Solo necesita unas pocas líneas de código para hacer esto con el SDK de Replicate python.

 import replicate output = replicate.run( "sczhou/codeformer:7de2ea26c616d5bf2245ad0d5e24f0ff9a6204578a5c876db53142edd9d2cd56", input={"image": open("path/to/file", "rb")} ) print(output)

En este paso, importamos la biblioteca replicate y llamamos a la función run para ejecutar el modelo de CodeFormer con la imagen de entrada proporcionada. La salida se imprimirá como una cadena URI que representa la imagen fija.

Aquí está la imagen de salida que obtuve de este proceso, que se muestra contra la horrible entrada con la que comencé. ¡Qué mejora!

Llevándolo más lejos: encontrar otros modelos de restauración de imágenes con Replicate Codex

Replicate Codex es un recurso fantástico para descubrir modelos de IA que se adaptan a diversas necesidades creativas, incluida la generación de imágenes, la conversión de imagen a imagen y mucho más. Es una base de datos etiquetada, filtrable y con capacidad de búsqueda completa de todos los modelos en Replicate, y también le permite comparar modelos y ordenar por precio o explorar por el creador. Es gratis y también tiene un correo electrónico de resumen que te avisará cuando salgan nuevos modelos para que puedas probarlos.

Si estás interesado en encontrar modelos similares a CodeFormer...

Paso 1: Visite Replicar Codex

Dirigirse a Códice replicado para comenzar su búsqueda de modelos similares.

Paso 2: usa la barra de búsqueda

Utilice la barra de búsqueda en la parte superior de la página para buscar modelos con palabras clave específicas, como "restauración de imagen", "mejora de la cara" o "superresolución". Esto le mostrará una lista de modelos relacionados con su consulta de búsqueda.

Paso 3: filtrar los resultados

En el lado derecho de la página de resultados de búsqueda, encontrará varios filtros que pueden ayudarlo a reducir la lista de modelos. Puede filtrar y ordenar por modelos por tipo (Imagen a imagen, Texto a imagen, etc.), costo, popularidad o incluso creadores específicos.

Al aplicar estos filtros, puede encontrar los modelos que mejor se adapten a sus necesidades y preferencias específicas. Por ejemplo, si está buscando un modelo de restauración de imágenes que sea el más popular, puede buscar y luego ordenar por el número de ejecuciones. En ese caso, encontrará el modelo GFPGAN, que también he usado para restaurar fotos antiguas; consulte mi escrito aquí para más información. He incluido un ejemplo de restauración de GFPGAN a continuación para que pueda tener una idea de cómo maneja las imágenes también.

Conclusión

En esta guía, exploramos el modelo de CodeFormer, aprendimos sobre sus entradas y salidas, y demostramos cómo usarlo para corregir fotos deformadas generadas por IA. También discutimos cómo aprovechar las funciones de búsqueda y filtro en Replicate Codex para encontrar modelos similares y comparar sus resultados, lo que nos permite ampliar nuestros horizontes en el mundo de la mejora y restauración de imágenes con tecnología de IA.

Espero que esta guía lo haya inspirado para explorar las posibilidades creativas de la IA y darle vida a su imaginación. Gracias por leer. ¡Feliz mejora de imágenes y exploración del mundo de la IA con Replicate Codex!

También publicado aquí