Apresentando o BANMo: de imagens de gatos a modelos 3D deformáveis

Aqui está o BANMo, uma abordagem inspirada em NeRF compartilhada no evento CVPR 2022 do qual participei algumas semanas atrás.

O BANMo tira fotos para criar modelos 3D deformáveis. Se você trabalha com efeitos visuais, desenvolvimento de jogos ou criação de cenas 3D, este novo modelo de IA é para você. Eu não ficaria surpreso em ver este modelo ou abordagens semelhantes em seu pipeline de criação muito em breve, permitindo que você gaste muito menos tempo, dinheiro e esforço na criação de modelos 3D. Saiba mais no vídeo...

Referências

►Leia o artigo completo: https://www.louisbouchard.ai/banmo/
►Página do projeto: https://banmo-www.github.io/
►Papel: Yang, G., Vo, M., Neverova, N., Ramanan, D., Vedaldi, A. e
Joo, H., 2022. Banmo: Construindo modelos 3D neurais animáveis de muitos
vídeos casuais. In Proceedings of the IEEE/CVF Conference on Computer
Visão e Reconhecimento de Padrões (pp. 2863–2873).
►Código: https://github.com/facebookresearch/banmo
►Meu boletim informativo (um novo aplicativo de IA explicado semanalmente para seus e-mails!): https://www.louisbouchard.ai/newsletter/

Transcrição de vídeo

0:00

se você estiver no desenvolvimento de jogos VFX ou

0:02

criando cenas 3D este novo modelo AI é

0:06

para você eu não ficaria surpreso em ver

0:08

este modelo ou abordagens semelhantes em seu

0:10

pipeline de criação muito em breve permitindo

0:12

você gaste muito menos tempo dinheiro e

0:14

esforço em fazer modelos 3D basta olhar

0:18

que é claro que não é perfeito, mas que

0:20

foi feito instantaneamente com um vídeo casual

0:23

tirado de um telefone que não precisava de um

0:25

configuração de câmera midi cara ou complexa

0:28

sensores de profundidade uma das belezas por trás

0:31

IA tornando complexa e cara

0:33

As tecnologias disponíveis para startups são

0:35

individuais para criar projetos

0:37

com resultados de qualidade profissional apenas

0:40

filmar um objeto e transformá-lo em um

0:42

modelo que você pode importar imediatamente você pode

0:45

em seguida, ajuste os detalhes se você estiver

0:46

não satisfeito, mas todo o modelo vai

0:49

estar lá dentro de alguns segundos o que

0:51

você tem visto são os resultados de

0:52

um modelo de IA chamado banmu recentemente compartilhado

0:55

no evento da cvpr que participei estarei

0:58

honestamente, eles chamaram minha atenção porque

1:00

por causa dos gatos ainda não foi

1:02

clickbait completamente o papel e

1:05

abordagem é realmente incrível

1:07

não é como a outra abordagem Nerf para

1:09

reconstrução de objetos em modelos 3D

1:11

o modo banido aborda uma rechamada de tarefa

1:13

reconstrução de forma 3D articulada

1:16

o que significa que funciona com vídeos e

1:18

imagens para modelar objetos deformáveis e

1:22

o que é mais deformável do que um gato e

1:24

o que é ainda mais legal do que ver o

1:26

resultados é entender como funciona

1:29

o modelo começa com alguns casualmente

1:31

vídeos feitos do objeto que você deseja

1:34

captura mostrando como ele se move e se deforma

1:36

em si é onde você deseja enviar um

1:38

vídeo do seu gato comendo em um vaso

1:41

bamboo leva esses vídeos para criar então

1:44

o que eles chamam de espaço canônico

1:47

este resultado inicial lhe dará

1:49

informações sobre a forma do objeto

1:51

aparência e articulações é o

1:53

compreensão do modelo de seu objeto

1:55

moldar como ele se move através do espaço e

1:57

onde ele pertence entre um tijolo e um

1:59

sangue descrito por aquelas grandes bolas e

2:01

várias cores então leva este 3D

2:04

representação e aplica qualquer pose que você

2:06

quer simular o comportamento do gato e

2:08

articulações tão próximas da realidade quanto

2:11

possível parece mágica não é

2:13

isso é porque não terminamos aqui nós

2:16

rapidamente passou de um vídeo para o modelo

2:18

mas é aqui que se torna interessante

2:20

então o que eles usam para ir de imagens de

2:23

um vídeo para tal representação neste

2:25

espaço canônico você adivinhou um

2:28

modelo tipo nerf se você não estiver familiarizado

2:30

com esta abordagem eu convido você

2:32

para assistir a um dos muitos vídeos que fiz

2:34

cobrindo-os e volte para o resto

2:36

inserir o método inspirado em Nerf irá

2:39

tem que prever três essenciais

2:40

propriedades usadas para cada

2:42

pixel tridimensional ou voxels do

2:46

objeto como você vê aqui densidade de cor e

2:49

uma incorporação canônica usando um neural

2:51

rede treinada para isso conseguir um 3D

2:54

modelo com articulações realistas e

2:56

o movimento banmu usa o espaço da câmera

2:59

localização em vários quadros para

3:01

entender a matriz da qual é

3:03

filmagem permitindo-lhe reconstruir e

3:05

melhorar o modelo 3D de forma iterativa através

3:07

todos os quadros dos vídeos semelhantes ao que

3:10

faremos para entender o movimento de um objeto

3:12

ao redor e olhe para ele em tudo

3:14

direções esta parte é feita

3:16

automaticamente observando os vídeos

3:18

graças à incorporação canônica que

3:20

acabei de mencionar que esta incorporação irá

3:22

conter todas as características necessárias de cada

3:24

parte do objeto para permitir que você consulte

3:27

com uma nova posição desejada para o

3:29

objeto e forçando um coerente

3:31

reconstrução dada observações

3:33

irá basicamente mapear a posição Procurada

3:35

da imagem até o modelo 3D com

3:38

os pontos de vista e iluminação corretos

3:40

condições e fornecer Q é para o

3:42

forma necessária e articulações um último

3:45

coisa a mencionar é nossas cores aquelas

3:47

as cores representam o corpo do gato

3:49

atributos compartilhados nos diferentes

3:51

vídeos e imagens que usamos este é o

3:54

recurso que vamos aprender e olhar para

3:57

obter informações valiosas de todos

3:59

vídeos e mesclá-los no mesmo 3D

4:01

modelo para melhorar nossos resultados e pronto

4:05

você acaba com este lindo 3D

4:08

corte de calorias deformável que você pode usar em

4:10

suas aplicações é claro que isso foi

4:13

apenas uma visão geral de banmu e eu convido

4:15

você a ler o jornal para um conhecimento mais profundo

4:17

compreensão do modelo que você deve

4:19

com certeza se inscreva no canal se

4:21

esse tipo de notícia de IA interessa a você como

4:23

Estou compartilhando abordagens emocionantes semelhantes

4:26

toda semana obrigado por assistir até

4:28

o fim e eu vou te ver na próxima semana

4:30

com outro papel incrível

4:32

estrangeiro

4:36

[Música]