Présentation de BANMo : des images de chat aux modèles 3D déformables

Voici BANMo, une approche inspirée de NeRF partagée lors de l'événement CVPR 2022 auquel j'ai assisté il y a quelques semaines.

BANMo prend des photos pour créer des modèles 3D déformables. Si vous êtes dans les effets visuels, le développement de jeux ou la création de scènes 3D, ce nouveau modèle d'IA est fait pour vous. Je ne serais pas surpris de voir ce modèle ou des approches similaires dans votre pipeline de création très prochainement, vous permettant de consacrer beaucoup moins de temps, d'argent et d'efforts à la création de modèles 3D. En savoir plus dans la vidéo...

Références

►Lire l'article complet : https://www.louisbouchard.ai/banmo/
►Page du projet : https://banmo-www.github.io/
►Article : Yang, G., Vo, M., Neverova, N., Ramanan, D., Vedaldi, A. et
Joo, H., 2022. Banmo : Création de modèles neuronaux 3D animables à partir de nombreux
vidéos occasionnelles. Dans Actes de la conférence IEEE/CVF sur l'informatique
Vision et reconnaissance de formes (pp. 2863–2873).
►Code : https://github.com/facebookresearch/banmo
►Ma Newsletter (Une nouvelle application d'IA expliquée chaque semaine à vos mails !) : https://www.louisbouchard.ai/newsletter/

Transcription vidéo

0:00

si vous êtes dans le développement de jeux VFX ou

0:02

créer des scènes 3D ce nouveau modèle AI est

0:06

pour toi je ne serais pas surpris de voir

0:08

ce modèle ou des approches similaires dans votre

0:10

pipeline de création très prochainement permettant

0:12

vous faire passer beaucoup moins de temps et d'argent

0:14

effort pour créer des modèles 3D, il suffit de regarder

0:18

que bien sûr ce n'est pas parfait mais que

0:20

a été fait instantanément avec une vidéo décontractée

0:23

pris à partir d'un téléphone, il n'avait pas besoin d'un

0:25

configuration de caméra midi coûteuse ou complexe

0:28

capteurs de profondeur l'une des beautés derrière

0:31

Rendre l'IA complexe et coûteuse

0:33

Les technologies disponibles pour les startups sont

0:35

des individus seuls pour créer des projets

0:37

avec des résultats de qualité professionnelle juste

0:40

filmer un objet et le transformer en

0:42

modèle que vous pouvez importer immédiatement vous pouvez

0:45

puis peaufinez les détails si vous êtes

0:46

pas satisfait mais tout le modèle le sera

0:49

être là en quelques secondes quoi

0:51

vous avez vu sont les résultats de

0:52

un modèle d'IA appelé banmu a récemment été partagé

0:55

à l'événement cvpr auquel j'ai assisté, je serai

0:58

Honnêtement, ils ont attiré mon attention parce que

1:00

à cause des chats ce n'était toujours pas le cas

1:02

clickbait complètement le papier et

1:05

l'approche est en fait assez géniale

1:07

n'est pas comme l'autre approche Nerf pour

1:09

reconstruction d'objets dans des modèles 3D

1:11

le mode interdit s'attaque à un rappel de tâche

1:13

reconstruction de forme 3D articulée

1:16

ce qui signifie que cela fonctionne avec des vidéos et

1:18

images pour modéliser des objets déformables et

1:22

quoi de plus déformable qu'un chat et

1:24

quoi de plus cool que de voir le

1:26

résultats est de comprendre comment cela fonctionne

1:29

le modèle commence avec quelques désinvolture

1:31

pris des vidéos de l'objet que vous voulez

1:34

capture montrant comment il bouge et se déforme

1:36

lui-même c'est là que vous voulez envoyer un

1:38

vidéo de votre chat qui aspire dans un vase

1:41

bambou prend ces vidéos pour créer ensuite

1:44

ce qu'ils appellent un espace canonique

1:47

ce premier résultat vous donnera

1:49

informations sur la forme de l'objet

1:51

l'apparence et les articulations c'est le

1:53

la compréhension du modèle de votre objet

1:55

façonner son déplacement dans l'espace et

1:57

où il appartient entre une brique et un

1:59

sang décrit par ces grosses boules et

2:01

différentes couleurs il faut alors cette 3D

2:04

représentation et applique toute pose que vous

2:06

veulent simuler le comportement du chat et

2:08

articulations aussi proches de la réalité que

2:11

possible semble magique n'est-ce pas

2:13

c'est parce que nous n'avons pas fini ici nous

2:16

est passé rapidement d'une vidéo au modèle

2:18

mais c'est là que ça devient intéressant

2:20

alors qu'est-ce qu'ils utilisent pour passer d'images de

2:23

une vidéo à une telle représentation dans ce

2:25

espace canonique vous l'avez deviné un

2:28

modèle de type nerf si vous n'êtes pas familier

2h30

avec cette approche je vous invite fortement

2:32

pour regarder une des nombreuses vidéos que j'ai faites

2:34

les couvrir et revenir pour le reste

2:36

insérer la méthode inspirée de Nerf

2:39

faut prévoir trois choses essentielles

2:40

propriétés utilisées pour chaque

2:42

pixel tridimensionnel ou voxels du

2:46

objet comme vous le voyez ici densité de couleur et

2:49

une intégration canonique utilisant un neurone

2:51

réseau formé pour cela afin de réaliser une 3D

2:54

modèle avec des articulations réalistes et

2:56

mouvement banmu utilise l'espace de la caméra

2:59

emplacement dans plusieurs images pour

3:01

comprendre de quel tableau il s'agit

3:03

tournage lui permettant de reconstituer et

3:05

améliorer le modèle 3D de manière itérative à travers

3:07

toutes les images des vidéos similaires à quoi

3:10

on va faire pour comprendre un mouvement d'objet

3:12

autour et regardez-le dans tous

3:14

directions cette partie est faite

3:16

automatiquement en observant les vidéos

3:18

grâce à l'intégration canonique nous

3:20

vient de mentionner que cette intégration sera

3:22

contiennent toutes les fonctionnalités nécessaires de chaque

3:24

une partie de l'objet pour vous permettre d'interroger

3:27

avec une nouvelle position souhaitée pour le

3:29

objet et forçant une cohérence

3:31

reconstruction compte tenu des observations

3:33

cartographiera essentiellement la position recherchée

3:35

de l'image jusqu'au modèle 3D avec

3:38

les bons points de vue et l'éclairage

3:40

conditions et fournir Q est pour le

3:42

besoin de forme et d'articulations une dernière fois

3:45

chose à mentionner est nos couleurs ceux

3:47

les couleurs représentent le corps du chat

3:49

attributs partagés dans les différents

3:51

vidéos et images que nous avons utilisées c'est le

3:54

fonctionnalité que nous allons apprendre et examiner pour

3:57

prendre des informations précieuses de tous

3:59

vidéos et fusionnez-les dans la même 3D

4:01

modèle pour améliorer nos résultats et le tour est joué

4:05

vous vous retrouvez avec cette belle 3D

4:08

coupe calorique déformable que vous pouvez utiliser dans

4:10

vos applications bien sûr c'était

4:13

juste un aperçu de banmu et j'invite

4:15

vous de lire le papier pour une plus profonde

4:17

compréhension du modèle que vous devriez

4:19

abonne toi a la chaine si

4:21

ce genre d'actualités sur l'IA vous intéresse en tant que

4:23

Je partage des approches passionnantes similaires

4:26

chaque semaine merci d'avoir regardé jusqu'à

4:28

la fin et je vous verrai la semaine prochaine

4h30

avec un autre papier incroyable

4:32

étranger

4:36

[Musique]