पेश है BANMo: कैट पिक्चर्स से विकृत 3D मॉडल तक

यहाँ BANMo, एक NeRF-प्रेरित दृष्टिकोण है जिसे CVPR 2022 कार्यक्रम में साझा किया गया था जिसमें मैंने कुछ सप्ताह पहले भाग लिया था।

BANMo विकृत 3D मॉडल बनाने के लिए तस्वीरें लेता है। अगर आप वीएफएक्स, गेम डेवलपमेंट या 3डी सीन बना रहे हैं, तो यह नया एआई मॉडल आपके लिए है। मुझे इस मॉडल या इसी तरह के दृष्टिकोण को आपकी निर्माण पाइपलाइन में बहुत जल्द देखकर आश्चर्य नहीं होगा, जिससे आप 3D मॉडल बनाने में बहुत कम समय, पैसा और प्रयास खर्च कर सकते हैं। वीडियो में और जानें...

संदर्भ

►पूरा लेख पढ़ें: https://www.louisbouchard.ai/banmo/
प्रोजेक्ट पेज: https://banmo-www.github.io/
पेपर: यांग, जी।, वो, एम।, नेवरोवा, एन।, रामनन, डी।, वेदाल्डी, ए। और
जू, एच।, 2022। बनमो: कई से एनिमेटेबल 3 डी न्यूरल मॉडल बनाना
आकस्मिक वीडियो। कंप्यूटर पर आईईईई/सीवीएफ सम्मेलन की कार्यवाही में
विजन और पैटर्न पहचान (पीपी। 2863-2873)।
कोड: https://github.com/facebookresearch/banmo
►माई न्यूज़लेटर (आपके ईमेल पर साप्ताहिक रूप से समझाया गया एक नया AI एप्लिकेशन!): https://www.louisbouchard.ai/newsletter/

वीडियो प्रतिलेख

0:00

यदि आप वीएफएक्स गेम डेवलपमेंट में हैं या

0:02

3D दृश्य बनाना यह नया AI मॉडल है

0:06

आपके लिए मुझे देखकर आश्चर्य नहीं होगा

0:08

यह मॉडल या इसी तरह के दृष्टिकोण आपके

0:10

निर्माण पाइपलाइन बहुत जल्द अनुमति देता है

0:12

आप बहुत कम समय पैसा खर्च करने के लिए और

0:14

3डी मॉडल बनाने का प्रयास जरा देखिए

0:18

बेशक यह सही नहीं है लेकिन वह

0:20

एक आकस्मिक वीडियो के साथ तुरंत किया गया था

0:23

एक फोन से लिया गया जिसकी जरूरत नहीं थी

0:25

महंगा मिडी कैमरा सेटअप या कॉम्प्लेक्स

0:28

गहराई सेंसर पीछे सुंदरियों में से एक

0:31

एआई को जटिल और महंगा बनाना

0:33

स्टार्टअप के लिए उपलब्ध तकनीकें हैं

0:35

परियोजनाओं को बनाने के लिए एकल व्यक्ति

0:37

पेशेवर गुणवत्ता परिणामों के साथ बस

0:40

किसी वस्तु को फिल्माना और उसे एक में बदलना

0:42

मॉडल आप तुरंत आयात कर सकते हैं आप कर सकते हैं

0:45

तो विवरण को ठीक करें यदि आप हैं

0:46

संतुष्ट नहीं है लेकिन पूरा मॉडल होगा

0:49

कुछ सेकंड के भीतर वहाँ हो क्या

0:51

आप देख रहे हैं के परिणाम हैं

0:52

हाल ही में साझा किया गया बनमु नामक एक एआई मॉडल

0:55

cvpr कार्यक्रम में मैंने भाग लिया

0:58

ईमानदारी से उन्होंने मेरा ध्यान आकर्षित किया क्योंकि

1:00

बिल्लियों की वजह से अभी भी यह नहीं था

1:02

कागज पर पूरी तरह से क्लिक करें और

1:05

दृष्टिकोण वास्तव में बहुत बढ़िया हैं I

1:07

अन्य Nerf दृष्टिकोण की तरह नहीं है

1:09

3D मॉडल में वस्तुओं का पुनर्निर्माण

1:11

प्रतिबंधित मोड एक टास्क रिकॉल से निपटता है

1:13

व्यक्त 3D आकार पुनर्निर्माण

1:16

जिसका अर्थ है कि यह वीडियो के साथ काम करता है और

1:18

विकृत वस्तुओं को मॉडल करने के लिए चित्र और

1:22

एक बिल्ली से ज्यादा विकृत क्या है और

1:24

देखने से ज्यादा अच्छा क्या है

1:26

परिणाम समझ रहे हैं कि यह कैसे काम करता है

1:29

मॉडल कुछ आकस्मिक रूप से शुरू होता है

1:31

उस वस्तु का वीडियो लिया जिसे आप चाहते हैं

1:34

कैप्चर दिखाता है कि यह कैसे चलता है और विकृत होता है

1:36

आप यहीं पर भेजना चाहते हैं a

1:38

आपकी बिल्ली का एक फूलदान में थपकी देने का वीडियो

1:41

बांस उन वीडियो को तब बनाता है

1:44

जिसे वे विहित स्थान कहते हैं

1:47

यह प्रारंभिक परिणाम आपको देगा

1:49

वस्तु के आकार के बारे में जानकारी

1:51

उपस्थिति और अभिव्यक्तियाँ यह है

1:53

आपके ऑब्जेक्ट के मॉडल की समझ

1:55

आकार दें कि यह अंतरिक्ष के माध्यम से कैसे चलता है और

1:57

जहां यह एक ईंट और a . के बीच है

1:59

उन बड़ी गेंदों द्वारा वर्णित रक्त और

2:01

विभिन्न रंग यह तब यह 3D लेता है

2:04

प्रतिनिधित्व और किसी भी मुद्रा को लागू करता है

2:06

बिल्ली के व्यवहार का अनुकरण करना चाहते हैं और

2:08

वास्तविकता के करीब के रूप में अभिव्यक्तियाँ

2:11

संभव लगता है जैसे जादू है ना

2:13

ऐसा इसलिए है क्योंकि हम यहां काम नहीं कर रहे हैं

2:16

जल्दी से एक वीडियो से मॉडल में चला गया

2:18

लेकिन यह वह जगह है जहाँ यह दिलचस्प हो जाता है

2:20

तो वे की छवियों से जाने के लिए क्या उपयोग करते हैं

2:23

इसमें इस तरह के प्रतिनिधित्व के लिए एक वीडियो

2:25

कैनोनिकल स्पेस आपने अनुमान लगाया a

2:28

यदि आप परिचित नहीं हैं तो nerf जैसा मॉडल

2:30

इस दृष्टिकोण के साथ मैं आपको पुरजोर तरीके से आमंत्रित करता हूं

2:32

मेरे द्वारा बनाए गए कई वीडियो में से एक देखने के लिए

2:34

उन्हें ढँक दें और आराम के लिए वापस आ जाएँ

2:36

Nerf प्रेरित विधि सम्मिलित करें

2:39

तीन आवश्यक भविष्यवाणी करना है

2:40

प्रत्येक के लिए उपयोग किए जाने वाले गुण

2:42

के त्रि-आयामी पिक्सेल या स्वर

2:46

वस्तु जैसा कि आप यहाँ देख रहे हैं रंग घनत्व और

2:49

एक तंत्रिका का उपयोग कर एक विहित एम्बेडिंग

2:51

एक 3D . प्राप्त करने के लिए उसके लिए प्रशिक्षित नेटवर्क

2:54

यथार्थवादी अभिव्यक्ति के साथ मॉडल और

2:56

आंदोलन बनमु कैमरे के स्थानिक का उपयोग करता है

2:59

कई फ्रेम में स्थान

3:01

उस सरणी को समझें जिससे यह है

3:03

फिल्मांकन इसे पुनर्निर्माण करने की अनुमति देता है और

3:05

3D मॉडल को पुनरावृत्त रूप से सुधारें

3:07

वीडियो के सभी फ्रेम What . के समान

3:10

हम एक वस्तु चाल को समझने के लिए क्या करेंगे

3:12

इसे चारों ओर देखें और इसे सभी में देखें

3:14

निर्देश यह भाग किया जाता है

3:16

वीडियो देखकर स्वचालित रूप से

3:18

विहित एम्बेडिंग के लिए धन्यवाद हम

3:20

अभी इस एम्बेडिंग वसीयत का उल्लेख किया है

3:22

प्रत्येक की सभी आवश्यक विशेषताएं शामिल करें

3:24

ऑब्जेक्ट का हिस्सा आपको क्वेरी करने की अनुमति देता है

3:27

के लिए एक नई वांछित स्थिति के साथ

3:29

वस्तु और एक सुसंगत को मजबूर करना

3:31

पुनर्निर्माण दिए गए अवलोकन यह

3:33

मूल रूप से वांछित स्थिति को मैप करेगा

3:35

चित्र से लेकर 3D मॉडल तक

3:38

सही दृष्टिकोण और प्रकाश व्यवस्था

3:40

शर्तों और प्रदान क्यू के लिए है

3:42

आवश्यक आकार और अभिव्यक्तियाँ एक आखिरी

3:45

उल्लेख करने की बात हमारे रंग हैं

3:47

रंग बिल्ली के शरीर का प्रतिनिधित्व करते हैं

3:49

अलग-अलग में साझा की गई विशेषताएँ

3:51

हमारे द्वारा उपयोग किए गए वीडियो और चित्र यह है

3:54

सुविधा हम सीखेंगे और देखेंगे

3:57

सभी से बहुमूल्य जानकारी लें

3:59

वीडियो और उन्हें उसी 3D में मर्ज करें

4:01

हमारे परिणामों और वॉइला को बेहतर बनाने के लिए मॉडल

4:05

आप इस खूबसूरत 3D . के साथ समाप्त होते हैं

4:08

विकृत कैलोरी कटौती आप में उपयोग कर सकते हैं

4:10

आपके आवेदन निश्चित रूप से यह थे

4:13

बन्मू का सिर्फ एक सिंहावलोकन और मैं आमंत्रित करता हूं

4:15

आप पेपर को गहराई से पढ़ने के लिए

4:17

मॉडल की समझ आपको चाहिए

4:19

चैनल को सब्सक्राइब जरूर करें अगर

4:21

इस तरह के AI समाचार में आपकी रुचि है

4:23

मैं ऐसे ही रोमांचक तरीके साझा कर रहा हूँ

4:26

हर हफ्ते देखने के लिए धन्यवाद

4:28

अंत और मैं आपको अगले सप्ताह देखूंगा

4:30

एक और अद्भुत कागज के साथ

4:32

विदेशी

4:36

[संगीत]