Giới thiệu BANMo: Từ Hình ảnh con mèo đến Mô hình 3D có thể biến dạng

Đây là BANMo, một cách tiếp cận lấy cảm hứng từ NeRF được chia sẻ tại sự kiện CVPR 2022 mà tôi đã tham dự vài tuần trước.

BANMo chụp ảnh để tạo mô hình 3D có thể biến dạng. Nếu bạn đang sử dụng VFX, phát triển trò chơi hoặc tạo cảnh 3D, mô hình AI mới này là dành cho bạn. Tôi sẽ không ngạc nhiên khi thấy mô hình này hoặc các cách tiếp cận tương tự trong quá trình sáng tạo của bạn trong thời gian ngắn, cho phép bạn dành ít thời gian, tiền bạc và công sức hơn nhiều để tạo mô hình 3D. Tìm hiểu thêm trong video ...

Người giới thiệu

►Đọc toàn bộ bài viết: https://www.louisbouchard.ai/banmo/
► Trang dự án: https://banmo-www.github.io/
► Giấy: Yang, G., Vo, M., Neverova, N., Ramanan, D., Vedaldi, A. và
Joo, H., 2022. Banmo: Xây dựng các mô hình thần kinh 3D sinh động từ nhiều
video bình thường. Trong Kỷ yếu của Hội nghị IEEE / CVF về Máy tính
Nhận dạng Thị giác và Mẫu (trang 2863–2873).
►Code: https://github.com/facebookresearch/banmo
►Bản tin của tôi (Một ứng dụng AI mới được giải thích hàng tuần cho email của bạn!): Https://www.louisbouchard.ai/newsletter/

Bản ghi video

0:00

nếu bạn đang phát triển trò chơi VFX hoặc

0:02

tạo cảnh 3D mà mô hình AI mới này là

0:06

cho bạn, tôi sẽ không ngạc nhiên khi thấy

0:08

mô hình này hoặc các cách tiếp cận tương tự trong

0:10

quá trình tạo rất nhanh chóng cho phép

0:12

bạn sẽ tốn ít thời gian hơn và tiền bạc và

0:14

nỗ lực tạo mô hình 3D chỉ cần nhìn vào

0:18

tất nhiên nó không hoàn hảo nhưng điều đó

0:20

đã được thực hiện ngay lập tức với một video bình thường

0:23

lấy từ điện thoại nó không cần

0:25

thiết lập máy ảnh midi đắt tiền hoặc phức tạp

0:28

cảm biến độ sâu một trong những Người đẹp đằng sau

0:31

AI làm phức tạp và tốn kém

0:33

Các công nghệ có sẵn cho các công ty khởi nghiệp là

0:35

các cá nhân đơn lẻ để tạo ra các dự án

0:37

với kết quả chất lượng chuyên nghiệp chỉ

0:40

quay phim một đối tượng và biến nó thành một

0:42

mô hình bạn có thể nhập ngay lập tức bạn có thể

0:45

sau đó tinh chỉnh các chi tiết nếu bạn

0:46

không hài lòng nhưng toàn bộ mô hình sẽ

0:49

ở đó trong vòng vài giây cái gì

0:51

bạn đã thấy là kết quả từ

0:52

một mô hình AI có tên là banmu được chia sẻ gần đây

0:55

tại sự kiện cvpr mà tôi đã tham dự, tôi sẽ

0:58

thành thật mà nói, họ đã thu hút sự chú ý của tôi bởi vì

1:00

bởi vì những con mèo vẫn còn nó, nó đã không

1:02

hoàn toàn clickbait tờ giấy và

1:05

cách tiếp cận thực sự khá tuyệt vời nó

1:07

không giống như cách tiếp cận Nerf khác đối với

1:09

tái tạo lại các đối tượng trong mô hình 3D

1:11

chế độ bị cấm giải quyết việc thu hồi nhiệm vụ

1:13

tái tạo hình dạng 3D khớp nối

1:16

có nghĩa là nó hoạt động với video và

1:18

hình ảnh để mô hình hóa các vật thể có thể biến dạng và

1:22

còn gì có thể biến dạng hơn một con mèo và

1:24

còn gì tuyệt hơn khi nhìn thấy

1:26

kết quả là hiểu cách nó hoạt động

1:29

mô hình bắt đầu với một vài

1:31

quay video về đối tượng bạn muốn

1:34

chụp cho thấy nó di chuyển và biến dạng như thế nào

1:36

chính nó là nơi bạn muốn gửi một

1:38

video con mèo của bạn húp vào một cái bình

1:41

tre lấy những video đó để tạo sau đó

1:44

những gì họ gọi là một không gian kinh điển

1:47

kết quả ban đầu này sẽ cung cấp cho bạn

1:49

thông tin về hình dạng của đối tượng

1:51

sự xuất hiện và sự khớp nối nó là

1:53

sự hiểu biết của mô hình về đối tượng của bạn

1:55

định hình cách nó di chuyển trong không gian và

1:57

nơi nó thuộc về giữa một viên gạch và một

1:59

máu được mô tả bởi những quả bóng lớn và

2:01

nhiều màu sắc khác nhau, sau đó nó sẽ có 3D này

2:04

đại diện và áp dụng bất kỳ tư thế nào bạn

2:06

muốn mô phỏng hành vi của mèo và

2:08

khớp với thực tế như

2:11

có thể có vẻ như phép thuật phải không

2:13

đó là bởi vì chúng tôi chưa hoàn thành ở đây chúng tôi

2:16

nhanh chóng chuyển từ video sang mô hình

2:18

nhưng đây là nơi nó trở nên thú vị

2:20

vậy họ sử dụng gì để đi từ hình ảnh của

2:23

một video đại diện cho điều này

2:25

không gian kinh điển bạn đoán nó

2:28

mô hình giống nerf nếu bạn không quen

2:30

với cách tiếp cận này, tôi thực sự mời bạn

2:32

để xem một trong nhiều video tôi đã làm

2:34

che chúng và quay lại phần còn lại

2:36

chèn phương pháp lấy cảm hứng từ Nerf sẽ

2:39

phải dự đoán ba điều cần thiết

2:40

thuộc tính được sử dụng cho mỗi

2:42

pixel ba chiều hoặc voxels của

2:46

đối tượng như bạn thấy ở đây, mật độ màu và

2:49

một phương pháp nhúng chuẩn bằng cách sử dụng nơ-ron

2:51

mạng được đào tạo để đạt được 3D

2:54

mô hình với các khớp nối thực tế và

2:56

banmu chuyển động sử dụng không gian của máy ảnh

2:59

vị trí trong nhiều khung hình để

3:01

hiểu mảng mà từ đó nó là

3:03

quay phim cho phép nó tái tạo và

3:05

cải thiện mô hình 3D lặp đi lặp lại thông qua

3:07

tất cả các khung hình của video tương tự như những gì

3:10

chúng tôi sẽ làm để hiểu một đối tượng di chuyển

3:12

nó xung quanh và nhìn nó trong tất cả

3:14

hướng dẫn phần này được thực hiện

3:16

tự động bằng cách quan sát các video

3:18

nhờ nhúng chuẩn, chúng tôi

3:20

vừa đề cập đến việc nhúng này sẽ

3:22

chứa tất cả các tính năng cần thiết của mỗi

3:24

một phần của đối tượng để cho phép bạn truy vấn

3:27

với một vị trí mong muốn mới cho

3:29

phản đối và buộc một mạch lạc

3:31

xây dựng lại cho các quan sát nó

3:33

về cơ bản sẽ lập bản đồ vị trí Truy nã

3:35

từ hình ảnh đến mô hình 3D với

3:38

quan điểm và ánh sáng chính xác

3:40

điều kiện và cung cấp Q là

3:42

hình dạng và khớp nối cần thiết cuối cùng

3:45

điều cần đề cập là màu sắc của chúng tôi

3:47

màu sắc đại diện cho cơ thể của con mèo

3:49

các thuộc tính được chia sẻ trong các

3:51

video và hình ảnh chúng tôi đã sử dụng, đây là

3:54

tính năng chúng tôi sẽ tìm hiểu và xem xét

3:57

lấy thông tin có giá trị từ tất cả

3:59

video và hợp nhất chúng trong cùng một 3D

4:01

mô hình để cải thiện kết quả của chúng tôi và thì đấy

4:05

bạn kết thúc với 3D tuyệt đẹp này

4:08

cắt giảm calo có thể biến dạng mà bạn có thể sử dụng

4:10

ứng dụng của bạn tất nhiên đây là

4:13

chỉ là tổng quan về banmu và tôi mời

4:15

bạn đọc bài báo để hiểu sâu hơn

4:17

hiểu biết về mô hình bạn nên

4:19

chắc chắn đăng ký kênh nếu

4:21

loại tin tức AI này làm bạn quan tâm

4:23

Tôi đang chia sẻ những cách tiếp cận thú vị tương tự

4:26

mỗi tuần cảm ơn bạn đã xem cho đến khi

4:28

kết thúc và tôi sẽ gặp bạn vào tuần tới

4:30

với một bài báo tuyệt vời khác

4:32

ngoại quốc

4:36

[Âm nhạc]