Presentamos BANMo: de imágenes de gatos a modelos 3D deformables

Aquí está BANMo, un enfoque inspirado en NeRF compartido en el evento CVPR 2022 al que asistí hace unas semanas.

BANMo toma fotografías para crear modelos 3D deformables. Si te dedicas a los efectos visuales, al desarrollo de juegos o a la creación de escenas en 3D, este nuevo modelo de IA es para ti. No me sorprendería ver este modelo o enfoques similares en su canal de creación muy pronto, permitiéndole gastar mucho menos tiempo, dinero y esfuerzo en la creación de modelos 3D. Conoce más en el vídeo...

Referencias

►Lea el artículo completo: https://www.louisbouchard.ai/banmo/
►Página del proyecto: https://banmo-www.github.io/
►Artículo: Yang, G., Vo, M., Neverova, N., Ramanan, D., Vedaldi, A. y
Joo, H., 2022. Banmo: creación de modelos neuronales 3D animables a partir de muchos
vídeos casuales. En Actas de la Conferencia IEEE/CVF sobre Informática
Visión y reconocimiento de patrones (págs. 2863–2873).
►Código: https://github.com/facebookresearch/banmo
►My Newsletter (¡Una nueva aplicación de IA explicada semanalmente en sus correos electrónicos!): https://www.louisbouchard.ai/newsletter/

Transcripción del vídeo

0:00

si estás en el desarrollo de juegos VFX o

0:02

creando escenas 3D, este nuevo modelo de IA es

0:06

por ti no me sorprendería ver

0:08

este modelo o enfoques similares en su

0:10

tubería de creación muy pronto que permite

0:12

gastar mucho menos tiempo dinero y

0:14

esfuerzo en hacer modelos 3D solo mira

0:18

que por supuesto no es perfecto pero eso

0:20

se hizo al instante con un video casual

0:23

tomado de un teléfono no necesitaba un

0:25

configuración de cámara midi costosa o compleja

0:28

sensores de profundidad una de las bellezas detrás

0:31

La IA se vuelve compleja y costosa

0:33

Las tecnologías disponibles para las startups son

0:35

individuales para crear proyectos

0:37

con resultados de calidad profesional solo

0:40

filmar un objeto y transformarlo en un

0:42

modelo que puede importar de inmediato puede

0:45

luego ajuste los detalles si está

0:46

no satisfecho, pero todo el modelo lo hará

0:49

estar allí dentro de unos segundos lo que

0:51

que has estado viendo son los resultados de

0:52

un modelo de IA llamado banmu compartido recientemente

0:55

en el evento cvpr al que asistí estaré

0:58

sinceramente me llamaron la atencion porque

1:00

por culpa de los gatos aun no era

1:02

completamente clickbait el papel y

1:05

enfoque son en realidad bastante impresionantes

1:07

no es como el otro enfoque de Nerf para

1:09

reconstruir objetos en modelos 3D

1:11

el modo prohibido aborda una tarea de recuperación

1:13

reconstrucción de forma 3D articulada

1:16

lo que significa que funciona con videos y

1:18

imágenes para modelar objetos deformables y

1:22

¿Qué es más deformable que un gato y

1:24

¿Qué es aún más genial que ver el

1:26

resultados es entender cómo funciona

1:29

el modelo comienza con algunos casualmente

1:31

tomado videos del objeto que desea

1:34

captura que muestra cómo se mueve y se deforma

1:36

en sí mismo ahí es donde desea enviar un

1:38

video de tu gato sorbiendo en un jarrón

1:41

Bamboo toma esos videos para crear luego

1:44

a lo que se refieren como un espacio canónico

1:47

este resultado inicial te dará

1:49

información sobre la forma del objeto

1:51

apariencia y articulaciones es el

1:53

comprensión del modelo de su objeto

1:55

dar forma a cómo se mueve a través del espacio y

1:57

donde pertenece entre un ladrillo y un

1:59

sangre descrita por esas grandes bolas y

2:01

varios colores luego toma este 3D

2:04

representación y aplica cualquier pose que

2:06

quiere simular el comportamiento del gato y

2:08

articulaciones tan cercanas a la realidad como

2:11

posible parece magia ¿no?

2:13

eso es porque no hemos terminado aquí

2:16

rápidamente pasó de un video a la modelo

2:18

pero aqui es donde se pone interesante

2:20

entonces, ¿qué usan para pasar de imágenes de

2:23

un video a tal representación en este

2:25

espacio canónico lo has adivinado un

2:28

modelo tipo nerf si no está familiarizado

2:30

con este enfoque te invito encarecidamente

2:32

para ver uno de los muchos videos que hice

2:34

cubrirlos y volver por el resto

2:36

inserte el método inspirado en Nerf

2:39

hay que predecir tres esenciales

2:40

propiedades utilizadas para cada

2:42

píxel tridimensional o vóxeles de la

2:46

objeto como se ve aquí densidad de color y

2:49

una incrustación canónica usando un neural

2:51

red entrenada para que logre un 3D

2:54

modelo con articulaciones realistas y

2:56

movimiento banmu utiliza el espacio de la cámara

2:59

ubicación en varios marcos para

3:01

entender la matriz de la que es

3:03

filmación que le permite reconstruir y

3:05

mejorar el modelo 3D iterativamente a través de

3:07

todos los cuadros de los videos similares a lo que

3:10

haremos para entender el movimiento de un objeto

3:12

alrededor y míralo en todos

3:14

direcciones esta parte se hace

3:16

automáticamente al observar los videos

3:18

gracias a la incrustación canónica que

3:20

acabo de mencionar esta voluntad de incrustación

3:22

contienen todas las características necesarias de cada

3:24

parte del objeto para permitirle consultar

3:27

con una nueva posición deseada para el

3:29

objeto y forzando una coherencia

3:31

reconstrucción dadas las observaciones

3:33

básicamente mapeará la posición de The Wanted

3:35

desde la imagen hasta el modelo 3D con

3:38

los puntos de vista y la iluminación correctos

3:40

condiciones y proporcionar Q es para el

3:42

forma y articulaciones necesarias una última

3:45

Lo que hay que mencionar son nuestros colores esos

3:47

los colores representan el cuerpo del gato

3:49

atributos compartidos en los diferentes

3:51

videos e imágenes que usamos este es el

3:54

característica que aprenderemos y veremos para

3:57

tomar información valiosa de todos

3:59

videos y fusionarlos en el mismo 3D

4:01

modelo para mejorar nuestros resultados y listo

4:05

terminas con este hermoso 3D

4:08

Corte calórico deformable que puedes usar en

4:10

sus aplicaciones, por supuesto, esto fue

4:13

solo una descripción general de banmu e invito

4:15

que lea el periódico para una más profunda

4:17

comprensión del modelo que debe

4:19

Definitivamente suscríbete al canal si

4:21

este tipo de noticias de IA te interesan como

4:23

Estoy compartiendo enfoques emocionantes similares

4:26

cada semana gracias por mirar hasta

4:28

el final y te veré la próxima semana

4:30

con otro papel increíble

4:32

extranjero

4:36

[Música]