מה אם בינה מלאכותית מבינה תמונות כמונו? הדגם הזה עשוי

טבלת קישורים

תקציר ומבוא 1

2. עבודה קשורה

3. גיאומטריה היפרבולית

4. שיטה

4.1. סקירה כללית

4.2. עץ היררכיה הסתברותית

4.3. פירוק היררכיה חזותית

4.4. היררכיה למידה במרחב ההיפרבולי

4.5. קידוד היררכיה חזותית

5. ניסויים ו-5.1. סיווג תמונה

5.2. זיהוי אובייקטים ופילוח מופעים

5.3. פילוח סמנטי

5.4. רְאִיָה

6. לימודי אבלציה ודיון

7. מסקנה והפניות

א.ארכיטקטורת רשת

ב. קו בסיס תיאורטי

ג. תוצאות נוספות

ד. הדמיה נוספת

7. מסקנה

במאמר זה, הצגנו מפה היררכי חזותי חדש (Hi-Mapper) החוקר את הארגון ההיררכי של סצנות חזותיות. השגנו את המטרה על ידי הגדרה חדשה של מבנה דמוי עץ עם התפלגות הסתברות ולמידת היחסים ההיררכיים במרחב ההיפרבולי. שילבנו את הפירוש ההיררכי באובדן הניגודי וזיהינו ביעילות את ההיררכיה החזותית בצורה יעילה בנתונים. באמצעות פירוק היררכיה יעיל ונהלי קידוד, ההיררכיה שזוהתה נפרסה בהצלחה לייצוג החזותי הגלובלי, תוך שיפור ההבנה המובנית של סצנה שלמה. Hi-Mapper שיפרה בעקביות את הביצועים של ה-DNN הקיימים כשהם משולבים איתם, וגם הוכיחה את היעילות בתחזיות צפופות שונות.

הכרה . מחקר זה נתמך על ידי תוכנית אשכול המחקר של חתימות יונסאי לשנת 2022 (2022-22-0002).

הפניות

[1] אלכסנדר ארמולוב, ליילה מירוואקובובה, ולנטין חרולקוב, ניקו סבה, ואיבן אוסלדטס. שנאי ראייה היפרבוליים: שילוב שיפורים בלמידה מטרית. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 7409–7419, 2022. 1, 3

[2] סונגיאון קים, בוסונג ג'ונג וסוהא קוואק. Hier: למידה מטרית מעבר לתוויות הכיתה באמצעות רגולציה היררכית. בהליכי כנס IEEE/CVF בנושא ראיית מחשב וזיהוי דפוסים, עמודים 19903–19912, 2023. 1, 3

[3] ג'ורג'יה גקיוקסארי, רוס גירשיק, פיוטר דולר וקאימינג ה. זיהוי וזיהוי אינטראקציות בין אדם לאובייקט. בהליכי כנס IEEE בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 8359–8367, 2018. 1

[4] Jinhyun Jang, Jungin Park, Jin Kim, Hyeongjun Kwon, ו-Kwanghoon Sohn. לדעת היכן להתמקד: שנאי Eventaware להארקת וידאו. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 13846–13856, 2023. 1

[5] Zhi Hou, Baosheng Yu, Yu Qiao, Xiaojiang Peng ודאצ'נג טאו. למידת העברת תקציב לזיהוי אינטראקציה בין אדם לאובייקט. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 495–504, 2021. 1

[6] Hyeongjun Kwon, Taeyong Song, Somi Jeong, Jin Kim, Jinhyun Jang ו-Kwanghoon Sohn. למידה מהירה הסתברותית לחיזוי צפוף. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 6768–6777, 2023. 1, 3

[7] Jin Kim, Jiyoung Lee, Jungin Park, Dongbo Min, ו-Kwanghoon Sohn. הצמד את הזיכרון: ללמוד להכליל פילוח סמנטי. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 4350–4360, 2022. 1

[8] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. תמונה שווה 16x16 מילים: רובוטריקים לזיהוי תמונה בקנה מידה. arXiv preprint arXiv:2010.11929, 2020. 1

[9] פראג'יט רמצ'נדראן, ניקי פארמאר, אשיש ואסואני, אירוואן בלו, אנסלם לבסקאיה וג'ון שלנס. תשומת לב עצמית עצמאית במודלים של חזון. התקדמות במערכות עיבוד מידע עצבי, 32, 2019. 1

[10] Hengshuang Zhao, Jiaya Jia, ולאדלן קולטון. חקר תשומת לב עצמית לזיהוי תמונה. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 10076–10085, 2020. 7

[11] Jianyuan Guo, Kai Han, Han Wu, Yehui Tang, Xinghao Chen, Yunhe Wang וצ'אנג שו. Cmt: רשתות עצביות מתהפכות פוגשות שנאי ראייה. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 12175–12185, 2022.

[12] Haiping Wu, Bin Xiao, Noel Codella, Mengchen Liu, Xiyang Dai, Lu Yuan, and Lei Zhang. Cvt: הצגת פיתולים לשנאי ראייה. בהליכי הכנס הבינלאומי IEEE/CVF בנושא ראייה ממוחשבת, עמודים 22–31, 2021. 1, 6

[13] Xiaoyi Dong, Jianmin Bao, Dongdong Chen, Weiming Zhang, Nenghai Yu, Lu Yuan, Dong Chen, and Baining Guo. שנאי Cswin: עמוד שדרה של שנאי ראייה כללית עם חלונות בצורת צלב. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 12124–12134, 2022. 1

[14] Wenhai Wang, Enze Xie, Xiang Li, Deng-Ping Fan, Kaitao Song, Ding Liang, Tong Lu, Ping Luo, and Ling Shao. שנאי ראיית פירמידה: עמוד שדרה רב תכליתי לחיזוי צפוף ללא פיתולים. בהליכי הכנס הבינלאומי IEEE/CVF בנושא ראייה ממוחשבת, עמודים 568–578, 2021.

[15] Yanghao Li, Chao-Yuan Wu, Haoqi Fan, Karttikeya Mangalam, Bo Xiong, Jitendra Malik, ו-Christoph Feichtenhofer. Mvitv2: שנאי ראייה רב קנה מידה משופרים לסיווג וזיהוי. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 4804–4814, 2022. 1

[16] צ'ון-פו ריצ'רד צ'ן, קוואנפו פאן ורמסוואר פנדה. Crossvit: שנאי ראייה רב קנה מידה עם תשומת לב צולבת לסיווג תמונה. ב-Proceedings of the IEEE/CVF הכנס הבינלאומי לראייה ממוחשבת, עמודים 357–366, 2021. 1, 2, 6

[17] Pengzhen Ren, Changlin Li, Guangrun Wang, Yun Xiao, Qing Du, Xiaodan Liang, ו-Xiaojun Chang. מעבר לקיבוע: שנאי חזותי חלון דינמי. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 11987–11997, 2022. 1

[18] שיטאו טאנג, ג'יאהוי ג'אנג, סייו ג'ו ופינג טאן. Quadtree תשומת לב לשנאי ראייה. arXiv preprint arXiv:2201.02767, 2022. 2, 4

[19] Mingyu Ding, Yikang Shen, Lijie Fan, Zhenfang Chen, Zitian Chen, Ping Luo, Joshua B Tenenbaum, and Chuang Gan. שנאי תלות חזותית: עץ התלות יוצא מתשומת לב הפוכה. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 14528–14539, 2023. 2, 6, 7

[20] Tsung-Wei Ke, Sangwoo Mo, ו-X Yu Stella. לימוד פילוח תמונה היררכי לצורך זיהוי ועל ידי זיהוי. בכנס הבינלאומי ה-12 על ייצוגי למידה, 2023. 2, 4

[21] N. Linial, E. London, and Y. Rabinovich. הגיאומטריה של גרפים וחלק מהיישומים האלגוריתמיים שלה. ב-Proceedings 35th Annual Symposium on Foundations of Science Computer, pages 577–591, 1994. doi: 10.1109/ SFCS.1994.365733. 2

[22] הונגבין פיי, Bingzhe Wei, Kevin Chang, Chunxu Zhang ובו יאנג. הסדרת עקמומיות למניעת עיוות בהטמעת גרפים. התקדמות במערכות עיבוד מידע עצבי, 33:20779–20790, 2020.

[23] מקסימיליאן ניקל ודואו קיאלה. הטמעות Poincare ´ ללימוד ייצוגים היררכיים. התקדמות במערכות עיבוד מידע עצבי, 30, 2017.

[24] מקסימיליאן ניקל ודואו קיאלה. לימוד היררכיות מתמשכות במודל לורנץ של גיאומטריה היפרבולית. בכנס בינלאומי על למידת מכונה, עמודים 3779– 3788. PMLR, 2018. 3

[25] Zhi Gao, Yuwei Wu, Yunde Jia ומהרטאש הרנדי. יצירת עקמומיות בחללים מעוקלים ללמידה של מספר יריות. ב-Proceedings of the IEEE/CVF הבינלאומי לראייה ממוחשבת, עמודים 8691–8700, 2021. 3

[26] אלכסנדרו טיפריה, גארי בצ'ניול ואוקטביאן-אוגן גאנה. כפפת Poincar\'e: הטמעות מילים היפרבוליות. arXiv preprint arXiv:1810.06546, 2018. 3

[27] יודונג ג'ו, די ג'ואו, ג'ינגהוי שיאו, שין ג'יאנג, שיאו צ'ן וקון ליו. היפרטקסט: הענקת טקסט מהיר בגיאומטריה היפרבולית. arXiv preprint arXiv:2010.16143, 2020. 3

[28] אינס צ'אמי, ז'יטאו יינג, כריסטופר רה וג'ורה לסקובץ. גרף היפרבולי רשתות עצביות קונבולוציוניות. התקדמות במערכות עיבוד מידע עצבי, 32, 2019.

[29] קארן דסאי, מקסימיליאן ניקל, טנמאי ראג'פורוהיט, ג'סטין ג'ונסון, ושנמוקה רמקרישנה ודנטם. ייצוגי תמונה-טקסט היפרבוליים. בכנס בינלאומי על למידת מכונה, עמודים 7694–7731. PMLR, 2023. 2, 3, 5

[30] לוק וילניס ואנדרו מקאלום. ייצוגי מילים באמצעות הטבעה גאוסית. בכנס בינלאומי על ייצוגי למידה, 2015. 2

[31] בן אתיוורטקון ואנדרו גורדון ווילסון. הפצות מילים רב-מודאליות. arXiv preprint arXiv:1704.08424, 2017. 3

[32] בן אתיוורטקון ואנדרו גורדון ווילסון. הטמעות סדר צפיפות היררכי. בכנס בינלאומי על ייצוגי למידה, 2018.

[33] ג'נגקונג יאנג, ג'ינגי ג'אנג, יונג ג'אנג, באויואן וו ויוג'יו יאנג. מודל הסתברותי של עמימות סמנטית ליצירת גרפי סצנה. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 12527–12536, 2021. 2

[34] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun. למידה שארית עמוקה לזיהוי תמונה. בהליכי כנס IEEE בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 770–778, 2016. 2, 6, 12

[35] הוגו טוברון, מתיאו קורד, מתייס דוזה, פרנסיסקו מאסה, אלכסנדר סבליירולס והרווה ג'גו. הכשרת שנאי תמונה יעילים בנתונים וזיקוק באמצעות תשומת לב. בכנס בינלאומי על למידת מכונה, עמודים 10347–10357. PMLR, 2021. 2, 6, 7, 12

[36] ג'יה דנג, ווי דונג, ריצ'רד סוצ'ר, לי-ג'יה לי, קאי לי ולי פיי-פיי. Imagenet: מאגר תמונות היררכי בקנה מידה גדול. בשנת 2009 כנס IEEE בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 248–255. איי, 2009. 2, 6, 7, 8, 12, 14

[37] טסונג-יי לין, מייקל מאייר, סרג' בלונגי, ג'יימס הייז, פייטרו פרונה, דווה רמנאן, פיוטר דולר, וס' לורנס זיטניק. Microsoft coco: אובייקטים נפוצים בהקשר. ב-Computer Vision–ECCV 2014: 13th European Conference, ציריך, שוויץ, 6-12 בספטמבר, 2014, Proceedings, Part V 13, pages 740–755. שפרינגר, 2014. 6, 7

[38] בולי ג'ואו, האנג ז'או, חאבייר פויג, סנג'ה פידלר, אדלה באריוסו ואנטוניו טוראלבה. ניתוח סצינות דרך מערך הנתונים של ade20k. בהליכי כנס IEEE בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 633–641, 2017. 2, 7

[39] פדרו פ. פלזנסוואלב, רוס בי גירשיק, דיוויד מקאלסטר ודווה רמנאן. זיהוי אובייקטים עם מודלים מבוססי חלקים מאומנים באופן אבחנה. עסקאות IEEE על ניתוח דפוסים ובינת מכונה, 32(9):1627–1645, 2009. 2

[40] פנג האן וסונג-צ'ון ז'ו. ניתוח תמונה מלמטה למעלה/מלמעלה למטה עם דקדוק של תכונות. עסקאות IEEE בנושא ניתוח דפוסים ומודיעין מכונה, 31(1):59–73, 2008.

[41] אריק בי סודרת', אנטוניו טוראלבה, וויליאם טי פרימן, ואלן ס ווילסקי. לימוד מודלים היררכיים של סצנות, אובייקטים וחלקים. בכנס העשירי IEEE הבינלאומי לראייה ממוחשבת (ICCV'05) כרך 1, כרך 2, עמודים 1331–1338. IEEE, 2005.

[42] Zhuowen Tu, Xiangrong Chen, Alan L Yuille, and Song-Chun Zhu. ניתוח תמונות: איחוד פילוח, זיהוי וזיהוי. International Journal of Computer vision, 63: 113–140, 2005. 2

[43] טיאנפו וו וסונג-צ'ון ז'ו. מחקר מספרי של תהליכי ההסקה מלמטה למעלה ומלמעלה למטה בגרפים ו-או. כתב העת הבינלאומי לראייה ממוחשבת, 93:226–252, 2011. 2

[44] Wenguan Wang, Zhijie Zhang, Siyuan Qi, Jianbing Shen, Yanwei Pang ו-Ling Shao. לימוד היתוך מידע עצבי קומפוזיציוני לניתוח אנושי. בהליכי הכנס הבינלאומי IEEE/CVF לראייה ממוחשבת, עמודים 5703–5713, 2019. 2

[45] Wenguan Wang, Hailong Zhu, Jifeng Dai, Yanwei Pang, Jianbing Shen ו-Ling Shao. ניתוח אנושי היררכי עם נימוקים מודפסים של יחסי חלק. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 8929–8939, 2020. 2

[46] סנדרו בראון, פטריק איסר וביורן אומר. גילוי חלק ללא פיקוח על ידי התנתקות ללא פיקוח. בזיהוי דפוסים: ועידת גרמניה ה-42 של DAGM, DAGM GCPR 2020, טובינגן, גרמניה, 28 בספטמבר-1 באוקטובר 2020, הליכים 42, עמודים 345–359. ספרינגר, 2021. 2

[47] סובהברטה צ'ודהורי, אירו לאינה, כריסטיאן רופרכט ואנדראה ודאלדי. גילוי חלק ללא פיקוח משחזור ניגודי. התקדמות במערכות עיבוד מידע עצבי, 34:28104–28118, 2021.

[48] Wei-Chih Hung, Varun Jampani, Sifei Liu, Pavlo Molchanov, Ming-Hsuan Yang, Jan Kautz. סקופים: פילוח משותף בפיקוח עצמי. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 869–878, 2019. 2

[49] Tsung-Wei Ke, Sangwoo Mo, and Stella X. Yu. לימוד פילוח תמונה היררכי לצורך זיהוי ועל ידי זיהוי. בכנס הבינלאומי ה-12 על ייצוגי למידה, 2024. 2

[50] Sanghyuk Chun, Seong Joon Oh, Rafael Sampaio De Rezende, Yannis Kalantidis, and Diane Larlus. הטמעות הסתברותיות לשליפה חוצה אופנים. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 8415–8424, 2021. 3, 5

[51] Yichun Shi ו-Anil K Jain. הטבעות פנים הסתברותיות. בהליכי הכנס הבינלאומי IEEE/CVF לראיית מחשב, עמודים 6902–6911, 2019. 3

[52] ג'ונגין פארק, ג'יונג לי, איג-ג'ה קים וקוואנגהון סוהן. ייצוגים הסתברותיים ללמידה ניגודית בווידאו. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 14711–14721, 2022. 3

[53] מקסימיליאן ניקל ודואו קיאלה. הטמעות Poincare ´ ללימוד ייצוגים היררכיים. התקדמות במערכות עיבוד מידע עצבי, 30, 2017. 3

[54] Mina Ghadimi Atigh, Julian Schoep, Erman Acar, Nanne Van Noord ו-Pascal Mettes. פילוח תמונה היפרבולי. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 4453–4462, 2022. 3

[55] ז'נז'ן וונג, מהמט ג'ירי אוגוט, שי לימונצ'יק וסרינה יונג. גילוי ללא פיקוח של הזנב הארוך בפילוח מופעים באמצעות פיקוח עצמי היררכי. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 2603–2612, 2021. 3

[56] ולנטין חרולקוב, ליילה מירוואקובובה, יבגניה אוסטינובה, איבן אוסלדץ וויקטור למפיצקי. הטמעת תמונה היפרבולית. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 6418–6428, 2020. 3

[57] Durk P Kingma, Tim Salimans ומקס וולינג. נשירה וריאציונית וטריק הפרמטריזציה המקומית. התקדמות במערכות עיבוד מידע עצבי, 28, 2015. 4

[58] אהרון ואן דן אוורד, יאזה לי ואוריול ויניאלס. למידת ייצוג עם קידוד מנבא ניגודי. arXiv preprint arXiv:1807.03748, 2018. 5

[59] Mingxing Tan ו- Quoc Le. Efficientnet: חשיבה מחדש של קנה מידה של מודלים עבור רשתות עצביות קונבולוציוניות. בכנס בינלאומי על למידת מכונה, עמודים 6105–6114. PMLR, 2019. 6, 12

[60] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, and Baining Guo. שנאי סווין: שנאי ראייה היררכית באמצעות חלונות מוזזים. ב-Proceedings of the IEEE/CVF הכנס הבינלאומי לראייה ממוחשבת, עמודים 10012–10022, 2021. 6, 7, 12

[61] Wenhai Wang, Enze Xie, Xiang Li, Deng-Ping Fan, Kaitao Song, Ding Liang, Tong Lu, Ping Luo, and Ling Shao. Pvt v2: קווי בסיס משופרים עם שנאי ראיית פירמידה. מדיה חזותית חישובית, 8(3):415–424, 2022. 6, 7

[62] מינגיו דינג, בין שיאו, נואל קודלה, פינג לואו, ג'ינגדונג וואנג ולו יואן. דיווית: שנאי ראייה כפולה. בוועידה האירופית לראייה ממוחשבת, עמודים 74–92. שפרינגר, 2022. 6

[63] Pengchuan Zhang, Xiyang Dai, Jianwei Yang, Bin Xiao, Lu Yuan, Lei Zhang, Jianfeng Gao. Multi-scale vision longformer: שנאי ראייה חדש עבור קידוד תמונה ברזולוציה גבוהה. בהליכי הכנס הבינלאומי IEEE/CVF בנושא ראייה ממוחשבת, עמודים 2998–3008, 2021.

[64] טסונג-יי לין, פרייה גויאל, רוס גירשיק, קאימינג הוא ופיוטר דולר. אובדן מוקד לזיהוי אובייקט צפוף. ´ בהליכי הכנס הבינלאומי IEEE בנושא ראייה ממוחשבת, עמודים 2980–2988, 2017. 6

[65] אלעד הופר, טל בן נון, איתי חוברה, ניב גלעדי, טורסטן הופלר ודניאל סודרי. הגדל את האצווה שלך: שיפור הכללה באמצעות חזרה על מופעים. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 8129–8138, 2020. 6

[66] איליה לושצ'ילוב ופרנק האטר. הסדרת ריקבון משקל מנותקת. arXiv preprint arXiv:1711.05101, 2017. 6

[67] קימינג ה, ג'ורג'יה גקיוקסארי, פיוטר דולר ורוס גירשיק. מסכה r-cnn. ב-Proceedings of the IEEE International Conference on Computer Vision, עמודים 2961–2969, 2017. 7, 12

[68] יאנגאו לי, האנזי מאו, רוס גירשיק וקאימינג ה. חקר עמודי שדרה של שנאי ראייה רגילים לזיהוי אובייקטים. בוועידה האירופית לראייה ממוחשבת, עמודים 280–296. ספרינגר, 2022. 7

[69] אלכסנדר קירילוב, רוס גירשיק, קיימינג הוא ופיוטר דולר. רשתות פירמידה פנופטיות. בהליכי כנס IEEE/CVF בנושא ראייה ממוחשבת וזיהוי דפוסים, עמודים 6399–6408, 2019. 7

[70] Tete Xiao, Yingcheng Liu, Bolei Zhou, Yuning Jiang, and Jian Sun. ניתוח תפיסתי אחיד להבנת הסצנה. ב-Proceedings of the European Convention on Computer Vision (ECCV), עמודים 418–434, 2018. 7, 12