BANMo の紹介: 猫の写真から変形可能な 3D モデルまで

これは、数週間前に参加した CVPR 2022 イベントで共有された、NeRF にヒントを得たアプローチである BANMo です。

BANMo は写真を撮って変形可能な 3D モデルを作成します。 VFX、ゲーム開発、または 3D シーンの作成に携わっている場合、この新しい AI モデルは最適です。作成パイプラインでこのモデルまたは同様のアプローチが間もなく登場し、3D モデルの作成に費やす時間、費用、および労力が大幅に削減されても、私は驚かないでしょう。動画で詳しく...

参考文献

►記事全文を読む: https://www.louisbouchard.ai/banmo/
►プロジェクトページ： https ://banmo-www.github.io/
►論文: Yang, G., Vo, M., Neverova, N., Ramanan, D., Vedaldi, A.
Joo, H., 2022. Banmo: 多くのモデルからアニメート可能な 3D ニューラル モデルを構築する
カジュアル動画。コンピュータに関する IEEE/CVF 会議の議事録
視覚とパターン認識 (pp. 2863–2873)。
►コード: https://github.com/facebookresearch/banmo
►マイ ニュースレター (毎週メールで説明される新しい AI アプリケーション!): https://www.louisbouchard.ai/newsletter/

ビデオトランスクリプト

0:00

VFX ゲーム開発に携わっている場合、または

0:02

3D シーンを作成するこの新しい AI モデルは、

0:06

あなたにとって、私は見ても驚かないでしょう

0:08

このモデルまたは同様のアプローチ

0:10

作成パイプラインを非常に短時間で許可する

0:12

お金を費やす時間を大幅に削減し、

0:14

見るだけで3Dモデルを作る努力

0:18

もちろん完璧ではありませんが、

0:20

カジュアルなビデオで即座に行われました

0:23

必要のない電話から取った

0:25

高価な midi カメラのセットアップまたは複雑な

0:28

深さセンサーの背後にある美しさの 1 つ

0:31

AI は複雑でコストがかかる

0:33

スタートアップが利用できるテクノロジーは、

0:35

プロジェクトを作成する個人

0:37

プロ品質の結果で

0:40

オブジェクトを撮影し、

0:42

すぐにインポートできるモデル

0:45

必要に応じて詳細を微調整します

0:46

満足していませんが、モデル全体が

0:49

数秒以内にそこにいる

0:51

あなたが見てきたのは

0:52

最近共有された banmu という AI モデル

0:55

私が参加した cvpr イベントで

0:58

正直なところ、彼らは私の注目を集めました

1:00

猫のせいでまだそうではなかった

1:02

紙を完全にクリックベイトし、

1:05

アプローチは実際にはかなり素晴らしいです

1:07

他の Nerf のアプローチとは異なります

1:09

3D モデルでのオブジェクトの再構築

1:11

禁止モードはタスクのリコールに取り組みます

1:13

多関節の 3D 形状再構成

1:16

つまり、ビデオで動作し、

1:18

変形可能なオブジェクトをモデル化するための画像と

1:22

猫よりも変形しやすいものと

1:24

見るよりもさらにクールなことは何ですか

1:26

結果はそれがどのように機能するかを理解することです

1:29

モデルはさりげなくいくつかから始まります

1:31

あなたがしたいオブジェクトのビデオを撮りました

1:34

動きや変形の様子をキャプチャ

1:36

それ自体があなたが送信したい場所です

1:38

猫が花瓶にすする動画

1:41

竹はそれらのビデオを作成してから作成します

1:44

彼らが正準空間と呼ぶもの

1:47

この最初の結果はあなたに与える

1:49

オブジェクトの形状に関する情報

1:51

外観とアーティキュレーション

1:53

オブジェクトのモデルの理解

1:55

空間を移動する方法を形作り、

1:57

レンガとブロックの間に属する場所

1:59

それらの大きなボールによって描写される血と

2:01

この 3D を取るさまざまな色

2:04

表現し、任意のポーズを適用します

2:06

猫の行動をシミュレートしたい

2:08

現実に近いアーティキュレーション

2:11

可能性は魔法のようですね

2:13

それは私たちがここで終わっていないからです

2:16

すぐにビデオからモデルになりました

2:18

しかし、これは興味深いところです

2:20

彼らは何を使って

2:23

このような表現へのビデオ

2:25

あなたが推測した正準空間

2:28

慣れていない場合はnerfのようなモデル

2:30

このアプローチで、私はあなたを強く招待します

2:32

私が作った多くのビデオの1つを見るために

2:34

それらをカバーし、残りのために戻ってきます

2:36

ナーフにインスパイアされたメソッドを挿入します

2:39

3つの重要な要素を予測する必要があります

2:40

それぞれに使用されるプロパティ

2:42

の 3 次元ピクセルまたはボクセル

2:46

ここに表示されているオブジェクトの色密度と

2:49

ニューラルを使用した標準的な埋め込み

2:51

3D を実現するために訓練されたネットワーク

2:54

リアルなアーティキュレーションを備えたモデルと

2:56

動き banmu は、カメラの空間を使用します

2:59

複数のフレーム内の位置

3:01

元の配列を理解する

3:03

再構築を可能にする撮影と

3:05

を通じて 3D モデルを繰り返し改善する

3:07

何に似ているビデオのすべてのフレーム

3:10

オブジェクトの動きを理解するために行います

3:12

ぐるぐるまわって全体を見る

3:14

この部分が行われる方向

3:16

動画を見て自動的に

3:18

標準的な埋め込みのおかげで

3:20

先ほど述べたように、この埋め込みは

3:22

それぞれに必要なすべての機能が含まれています

3:24

クエリを実行できるオブジェクトの一部

3:27

の新しい希望の位置で

3:29

オブジェクトと一貫性のある強制

3:31

観測を与えられた再構成

3:33

基本的に指名手配の位置をマッピングします

3:35

写真から3Dモデルまで

3:38

正しい視点と照明

3:40

条件と提供 Q は

3:42

最後に必要な形状とアーティキュレーション

3:45

言及することは私たちの色です

3:47

色は猫の体を表しています

3:49

さまざまな要素で共有される属性

3:51

私たちが使用したビデオと画像はこれです

3:54

私たちが学び、見る機能

3:57

みんなから貴重な情報を

3:59

ビデオとそれらを同じ 3D にマージする

4:01

結果を改善するためのモデルと出来上がり

4:05

あなたはこの美しい3Dで終わる

4:08

で使えるデフォルメカロリーカット

4:10

もちろん、これはあなたのアプリケーションでした

4:13

banmuの概要と私は招待します

4:15

あなたは論文をより深く読むために

4:17

あなたがすべきモデルの理解

4:19

だったら絶対チャンネル登録

4:21

この種の AI ニュースは、次のように興味があります

4:23

同様のエキサイティングなアプローチを共有しています

4:26

毎週 までご覧いただきありがとうございます

4:28

最後に、また来週お会いしましょう

4:30

別の素晴らしい紙で

4:32

外国

4:36

[音楽]