पीएसजी एआई के लिए एक नया कार्य है जिसके लिए उच्च स्तर की समझ की आवश्यकता होती है

पैनोप्टिक दृश्य ग्राफ पीढ़ी, या पीएसजी, एक नया समस्या कार्य है जिसका लक्ष्य बाउंडिंग बॉक्स के बजाय पैनोप्टिक विभाजन के आधार पर एक छवि या दृश्य का अधिक व्यापक ग्राफ प्रतिनिधित्व उत्पन्न करना है। इसका उपयोग छवियों को समझने और जो हो रहा है उसका वर्णन करने वाले वाक्यों को उत्पन्न करने के लिए किया जा सकता है। एआई के लिए यह सबसे चुनौतीपूर्ण कार्य हो सकता है! वीडियो में और जानें...

संदर्भ

►पूरा लेख पढ़ें: https://www.louisbouchard.ai/psg/
यांग, जे।, एंग, वाईजेड, गुओ, जेड।, झोउ, के।, झांग, डब्ल्यू। और लियू, जेड।, 2022।
पैनोप्टिक सीन ग्राफ जनरेशन। arXiv प्रीप्रिंट arXiv:2207.11247.
कोड: https://github.com/Jingkang50/OpenPSG
प्रोजेक्ट पेज (PSG डेटासेट): https://psgdataset.org/
इसे आज़माएं: https://replicate.com/cjwbw/openpsg , https://huggingface.co/spaces/ECCV2022/PSG
►माई न्यूज़लेटर (आपके ईमेल को साप्ताहिक रूप से समझाया गया एक नया AI एप्लिकेशन!): https://www.louisbouchard.ai/newsletter/

वीडियो प्रतिलेख

0:00

आप ai का उपयोग यह पहचानने के लिए कर सकते हैं कि an . में क्या है

0:02

छवि यह पता लगाने की तरह है कि क्या कोई है

0:04

इस दृश्य में बिल्ली है या नहीं, अगर कोई है

0:07

आप किसी अन्य एआई का उपयोग यह पता लगाने के लिए कर सकते हैं कि यह कहाँ है

0:10

छवि में है और आप इसे बहुत ढूंढ सकते हैं

0:12

ठीक इन कार्यों को छवि कहा जाता है

0:15

वर्गीकरण वस्तु का पता लगाने और

0:17

अंत में उदाहरण विभाजन तो आप

0:20

निकालने के लिए कूल एप्लिकेशन बना सकते हैं

0:23

एक छवि से अपनी बिल्ली और इसे एक में डाल दिया

0:25

मजेदार उपहार कार्ड या एक मेम लेकिन क्या होगा यदि आप

0:27

एक ऐसा एप्लिकेशन चाहते हैं जो को समझता हो

0:29

दृश्य और छवि न केवल करने में सक्षम है

0:32

पहचानें कि क्या कोई वस्तु है और

0:34

यह कहाँ है लेकिन आपको क्या हो रहा है

0:36

पहचान नहीं करना चाहता अगर वहाँ एक है

0:38

ग्राहक या आपकी दुकान में नहीं लेकिन आप

0:40

ग्राहक की पहचान करना चाह सकते हैं

0:42

प्रश्न में आपको चुरा रहा है कि क्या

0:44

ऐसी निगरानी का उपयोग करना नैतिक रूप से है

0:46

सही है या नहीं यह एक और सवाल है

0:49

आपको अभी भी विचार करने की आवश्यकता है मान लीजिए

0:51

हम यह पता लगाने पर ध्यान केंद्रित करते हैं कि क्या हो रहा है

0:53

एक दृश्य या उसमें एक विशेष छवि में

0:56

यदि आप एक कार्य का उपयोग करना चाहते हैं जिसे कहा जाता है

0:58

दृश्य ग्राफ पीढ़ी जहां वस्तुएं हैं

1:01

दिखाए गए अनुसार बाउंडिंग बॉक्स का उपयोग करके निर्देशित किया गया

1:04

पहले वस्तु का पता लगाने के साथ जो

1:06

तब प्रत्येक के साथ एक ग्राफ बनाने के लिए उपयोग किया जाता है

1:09

एक दूसरे से वस्तु का संबंध

1:11

वस्तु यह मूल रूप से करने की कोशिश करेगा

1:13

समझें कि सब से क्या हो रहा है

1:15

दृश्य की प्रमुख वस्तुएं यह काम करती हैं

1:17

काफी अच्छी तरह से और इन मुख्य का पता लगाता है

1:19

छवि की विशेषताएं लेकिन वहाँ है

1:21

एक बड़ी समस्या यह संबंध पर निर्भर करती है

1:23

बॉक्स सटीकता और पूरी तरह से अवहेलना

1:26

पृष्ठभूमि जो अक्सर महत्वपूर्ण होती है

1:28

समझ क्या हो रहा है या पर

1:30

कम से कम अधिक यथार्थवादी सारांश देना

1:33

इसके बजाय आप इस नए का उपयोग करना चाह सकते हैं

1:35

पैनोप्टिक दृश्य ग्राफ नामक कार्य

1:38

पीढ़ी या psg psg एक नई समस्या है

1:42

अधिक उत्पन्न करने का लक्ष्य कार्य

1:43

एक का व्यापक ग्राफ प्रतिनिधित्व

1:46

पैनोप्टिक पर आधारित छवि या दृश्य

1:49

बंधन बक्से के बजाय विभाजन

1:52

कुछ और अधिक सटीक में लेना

1:54

एक छवि के सभी पिक्सेल खाते जैसा हमने देखा

1:57

और इस कार्य के निर्माता नहीं थे

1:58

केवल इसका आविष्कार किया लेकिन उन्होंने एक भी बनाया

2:01

डेटा सेट के साथ-साथ बेसलाइन मॉडल भी

2:03

अपने परिणामों का परीक्षण करें जिसके विरुद्ध है

2:05

वास्तव में अच्छा है इस कार्य में बहुत कुछ है

2:07

क्या है को समझने की क्षमता

2:09

एक छवि में हो रहा अविश्वसनीय है

2:11

मशीनों के लिए भी उपयोगी और जटिल

2:14

हालांकि मनुष्य इसे स्वचालित रूप से करते हैं

2:16

किसी प्रकार की आवश्यक बुद्धि लाता है

2:18

अंतर करने वाली मशीनों के लिए

2:20

जैसे कूल फनी ऐप होने के बीच

2:23

उस उत्पाद के लिए स्नैपचैट जिसे आप सहेजने के लिए उपयोग करेंगे

2:25

समय या किसी आवश्यकता को पूरा करें जैसे

2:27

समझना जब आपकी बिल्ली चाहती है

2:29

खेलते हैं और इसके साथ खेलने के लिए रोबोट का उपयोग करते हैं

2:31

स्वचालित रूप से तो यह सब ऊब नहीं है

2:33

समय

2:34

एक दृश्य को समझना वाकई अच्छा है लेकिन

2:36

एक मशीन वह अच्छी तरह से कैसे कर सकती है जिसकी आपको आवश्यकता है

2:39

दो चीजें एक डेटा सेट और एक शक्तिशाली

2:42

मॉडल हम जानते हैं कि हमारे पास पहले से ही है

2:44

डेटा सेट क्योंकि उन्होंने इसे अभी हमारे लिए बनाया है

2:47

दूसरी बात इससे कैसे सीखे

2:50

डेटा सेट जिसका अर्थ है कि इसे कैसे बनाया जाए

2:52

एआई मॉडल और इसे वहां क्या करना चाहिए

2:55

इस समस्या से निपटने के कई तरीके

2:58

और मैं आपको उनका पेपर पढ़ने के लिए आमंत्रित करता हूं

3:00

अधिक जानकारी प्राप्त करें लेकिन यहाँ एक तरीका है

3:02

यह

3:03

इसमें जाने से पहले मुझे कुछ दे दो

3:05

मेरा खुद का प्रायोजक बनने और बात करने के लिए सेकंड

3:07

हमारे समुदाय के बारे में जब से आप हैं

3:09

इस वीडियो को देखकर मुझे पता है कि आप प्यार करेंगे

3:11

यह मूल रूप से आपके लिए बनाया गया था

3:13

बेशक हमारे पास youtube समुदाय है

3:15

जिससे आपको जरूर जुड़ना चाहिए

3:17

थोड़ा सब्सक्राइब बटन पर क्लिक करें और

3:19

उदाहरण के लिए नीचे टिप्पणी करना मुझे अच्छा लगेगा

3:21

यह जानने के लिए कि आप इस कार्य के बारे में क्या सोचते हैं

3:23

और अगर यह दिलचस्प है या नहीं ai

3:25

समुदाय मैं भी हमारे साझा करना चाहता था

3:28

कलह समुदाय एआई एक साथ सीखता है यह

3:31

साथी ai . के साथ जुड़ने के लिए एक जगह

3:33

किसी भी कौशल स्तर के उत्साही खोजें

3:35

लोगों के साथ सीखने के लिए लोगों को काम करने के लिए खोजें

3:37

अपने प्रश्न पूछें या यहां तक कि ढूंढें

3:40

दिलचस्प नौकरी के प्रस्ताव हम आयोजित कर रहे हैं

3:42

बहुत अच्छी घटनाएँ और q जैसा पसंद है

3:44

जिसके साथ हम वर्तमान में चल रहे हैं

3:46

डीपमाइंड से माइन आरएल आयोजकों और

3:49

openai लिंक विवरण में है

3:51

नीचे और मुझे आपको एक में शामिल होते हुए देखना अच्छा लगेगा

3:53

हमारे साथ विनिमय करें

3:55

जैसा कि हमने कहा कि मॉडल को खोजने की जरूरत है

3:57

छवि के प्रत्येक पिक्सेल के लिए वर्ग

3:59

जिसका अर्थ है कि इसे प्रत्येक की पहचान करनी है

4:01

छवि का पिक्सेल का पहला चरण

4:04

इसके लिए मॉडल जिम्मेदार होगा

4:06

यह पैनोप्टिक fpn . नामक एक मॉडल होगा

4:09

प्रत्येक पिक्सेल को वर्गीकृत करने के लिए पहले से ही प्रशिक्षित

4:12

ऐसा मॉडल पहले से ही ऑनलाइन उपलब्ध है

4:14

और काफी शक्तिशाली यह एक छवि लेगा

4:17

और जिसे हम प्रत्येक के साथ एक मुखौटा कहते हैं उसे वापस कर दें

4:19

पिक्सेल किसी मौजूदा वस्तु से मेल खाता है जैसे

4:22

एक गेंद मानव या घास इस मामले में आप

4:25

अब विभाजन है और आप जानते हैं

4:28

छवि में क्या है और यदि आप हैं तो क्या है

4:30

इस तरह का मॉडल कैसे काम करता है, इससे परिचित नहीं हैं

4:32

मैं आपको एक वीडियो देखने के लिए आमंत्रित करता हूं

4:34

मैंने इसी तरह के दृष्टिकोणों को कवर किया है जैसे

4:36

यह पता लगाने के लिए अगला कदम है

4:38

उन वस्तुओं के साथ क्या हो रहा है

4:41

यहाँ आप पहले से ही जानते हैं कि यह एक आदमी खेल रहा है

4:43

मैदान पर फुटबॉल लेकिन मशीन

4:45

वास्तव में केवल एक चीज का पता नहीं है

4:48

जानता है कि एक आदमी एक गेंद है और

4:50

बहुत आत्मविश्वास वाला क्षेत्र लेकिन यह

4:53

कुछ समझ में नहीं आता और नहीं कर सकता

4:55

डॉट्स कनेक्ट करें जैसा कि हम आसानी से करते हैं हम

4:58

सिर्फ लेने के लिए प्रशिक्षित एक दूसरे मॉडल की जरूरत है

5:00

उन वस्तुओं और पता लगाएं कि वे क्यों

5:03

एक ही तस्वीर में हैं यह

5:05

दृश्य ग्राफ़ जनरेशन चरण जहाँ a

5:07

मोडल सीखेगा कि कैसे मिलान करें a

5:09

शब्दों और अवधारणाओं का शब्दकोश

5:12

कई संभावित वस्तु को कवर करना

5:13

एक दृश्य में वस्तुओं के संबंध का उपयोग कर

5:16

पहले से निकाली गई जानकारी

5:19

स्टेज सीखना कि कैसे संरचना करना है

5:21

एक दूसरे के साथ वस्तुएँ वस्तु और वॉयला

5:25

आप एक स्पष्ट ग्राफ के साथ समाप्त होते हैं कि आप

5:27

कवरिंग वाक्य बनाने के लिए उपयोग कर सकते हैं

5:29

आपकी छवि में क्या हो रहा है आप कर सकते हैं

5:31

अब इस दृष्टिकोण का उपयोग अपने अगले में करें

5:32

आवेदन करें और कुछ बुद्धि अंक दें

5:35

आपका दृष्टिकोण इसे करीब ले जा रहा है

5:37

कुछ बुद्धिमान अगर आप करना चाहते हैं

5:39

इस नए कार्य के बारे में अधिक जानें i

5:41

पेपर पढ़ने के लिए आपको पुरजोर तरीके से आमंत्रित करते हैं

5:43

नीचे लिंक किया गया देखने के लिए धन्यवाद

5:45

अंत तक और मैं आपको आगे देखूंगा

एक और अद्भुत पेपर के साथ सप्ताह