Бұл AI моделі Edge құрылғыларына бастарының артқы жағында көз береді

Сілтемелер кестесі

АНСТРАТ

1 КІРІСПЕ

2 ФОН: АМАН БАҒЫТТЫ 3D НЫСАНЫ АНЫҚТАУ

3 Алдын ала ЭКСПЕРИМЕНТ

3.1 Экспериментті орнату

3.2 Бақылаулар

3.3 Қорытынды және қиындықтар

4 PANOPTICUS ТУРАЛЫ ШОЛУ

5 КӨП БАҒЫТТЫ 3D НЫСАНЫ АНЫҚТАУ

5.1 Модельді жобалау

6 КЕҢІСТІК-АДАПТИВТІК ОРЫНДАУ

6.1 Өнімділікті болжау

5.2 Модельді бейімдеу

6.2 Орындауды жоспарлау

7 ЖАСАУ

8 БАҒАЛАУ

8.1 Сынақ алаңы және деректер жинағы

8.2 Экспериментті орнату

8.3 Өнімділік

8.4 Беріктік

8.5 Компоненттік талдау

8.6 Үстеме шығындар

9 ҚАТЫСТЫ ЖҰМЫС

10 ТАЛҚЫУ ЖӘНЕ БОЛАШАҚ ЖҰМЫС

11 ҚОРЫТЫНДЫ ЖӘНЕ ӘДЕБИЕТТЕР

АНСТРАТ

Жан-жақты көріністері бар 3D нысанды анықтау мобильді робот навигациясы сияқты қауіпсіздік үшін маңызды қолданбаларға мүмкіндік береді. Мұндай қолданбалар ресурстары шектелген шеткі құрылғыларда көбірек жұмыс істейді, бұл құпиялылық мәселелерінсіз немесе желілік кідірістердісіз сенімді өңдеуді жеңілдетеді. Үнемді орналастыруды қамтамасыз ету үшін камералар LiDAR сенсорларына арзан балама ретінде кеңінен қолданылды. Дегенмен, камераға негізделген шешімдердің жоғары өнімділігіне қол жеткізу үшін есептеуді қажет ететін жұмыс жүктемесі шеткі құрылғылардың есептеу шектеулеріне байланысты қиын болып қала береді. Бұл мақалада біз шеткі құрылғыларда жан-жақты және камераға негізделген 3D анықтауға арналған мұқият әзірленген Panopticus жүйесін ұсынамыз. Panopticus кеңістіктік күрделіліктерді есепке алатын бейімделген көп тармақты анықтау схемасын қолданады. Кідіріс шегінде дәлдікті оңтайландыру үшін Panopticus қол жетімді шеткі ресурстар мен кеңістіктік сипаттамалар негізінде модель архитектурасы мен әрекеттерін динамикалық түрде реттейді. Біз Panopticus-ті үш шеткі құрылғыға енгіздік және жалпыға ортақ өзін-өзі басқаратын деректер жинағы мен мобильді 360° камера деректер жиынтығы негізінде нақты әлемде эксперименттер жүргіздік. Эксперимент нәтижелері Panopticus 33 мс қатаң кідіріс мақсатын ескере отырып, дәлдікті орта есеппен 62%-ға жақсартатынын көрсетті. Сондай-ақ, Panopticus бастапқы көрсеткіштермен салыстырғанда орташа кідірістің 2,1 × қысқаруына қол жеткізеді.

1 КІРІСПЕ

Компьютерлік көру және терең нейрондық желілердегі (DNNs) жетістіктермен қатар 3D нысанды анықтау көптеген қолданбалардың негізгі құрамдас бөлігі болды. Мысалы, автономды көліктер қауіпсіз навигация бағыттарын орнату үшін қоршаған ортадағы объектілерді дәл және нақты уақытта қабылдауға сүйенеді [55]. Объектілер 1-суретте көрсетілгендей кез келген бағытта жақындай алатындықтан, 360° жан-жақты көрініс өрісі (FOV) арқылы қабылдауды қамтамасыз ету өте маңызды. Мұндай жан-жақты қабылдау сенсорлық деректердің айтарлықтай көлемін өңдеуді талап етеді және нақты уақыт режимінде өңдеу үшін AI үдеткіштері бар жоғары деңгейлі есептеуіш құрылғыларды талап етеді [47]. Жақында көп бағытты 3D нысанды анықтауды пайдаланатын мобильді қосымшаларға сұраныс кең етек алды. Бақылау сияқты жеке қызметтерді ұсынатын роботтар немесе дрондар мұндай технологияны пайдалана алады [16]. Сонымен қатар, айналадағы кедергілерді анықтау және ықтимал қауіптер туралы дыбыстық ескертулер беру көру қабілеті бұзылған адамдарға көмектеседі [39, 56]. Бұл жекелендірілген қолданбалар пайдаланушының құпиялылық мәселелерін немесе желілік үстеме шығындарды азайту үшін шеткі құрылғыда өңделуі керек. Дегенмен, ең соңғы NVIDIA Jetson Orin сериясының [8] жетілдірілген есептеу қуатын ұсынатын нұсқасының өзінде GPU архитектурасы бірдей бұлттық есептеулер үшін пайдаланылатын қуатты A100 [9] салыстырғанда AI жеделдету үшін тензор ядролары 6,7 × 13,5 × азырақ. Сонымен қатар, AI қосымшалары үнемді орналастыру сияқты практикалық факторларды ескеруі керек. Нәтижесінде мұндай қолданбаларды арзан камералармен қолдауға көп күш жұмсалды [1, 38, 42, 58]. Атап айтқанда, көп бағыттағы қабылдауды жеңілдету үшін бірнеше камералар немесе мобильді 360° камера қолданылады.

Edge AI қызметтерінде дәлдік пен кідіріс талаптарының кең спектрі бар. Соңғы жетістіктерге қарамастан, бұрынғы жұмыстардың ресурс шектелген шеткі құрылғыларда тиімділігі мен дәлдігін қолдауда шектеулері бар. DeepMix [18] шеткі құрылғыдағы есептеу жүктемесін азайту үшін DNN негізіндегі нысанды анықтаудың күрделі тапсырмаларын бұлт серверіне жүктеді. Әмбебап қабылдау тапсырмаларын жүктеу, дегенмен, деректерді жаппай тасымалдауға байланысты шеткі бұлт байланысының айтарлықтай кідірісін тудыруы мүмкін. PointSplit [37] GPU және NPU шетіндегі параллельді жұмысты қолдайды, бірақ схема шектеулі FOV бар RGB-D сенсорын пайдаланатын арнайы 3D анықтау құбыры үшін оңтайландырылған. Сонымен қатар, әртүрлі әдістер [1, 31, 34, 38] камера негізіндегі шешімдердің дәлдігін арттырды, бұл 3D тереңдігі туралы ақпараттың болмауына байланысты өзіндік қиындықтарды тудырады. Жұмыстар желісі [29, 30, 52] RGB кескіндерінен тереңдікті болжауды жақсарту үшін DNN әзірлеуге бағытталған. Сондай-ақ, жоғары ажыратымдылықтағы кескіндерді пайдаланатын функцияларды шығару магистральдары сияқты ауқымды DNN қабылдау дәлдікті жақсарту үшін маңызды [51]. Дегенмен, көп бағытты кірістері бар бірнеше есептеуді қажет ететін DNN тапсырмаларын өңдеу ресурс шектелген шеткі құрылғыларға айтарлықтай есептеу талаптарын қояды.

Бұл мақалада біз шеткі құрылғылардағы кідіріс талаптарын қанағаттандыра отырып, жан-жақты 3D нысанды анықтау дәлдігін барынша арттыратын жүйе Panopticus ұсынамыз. Біз камераға негізделген 3D детекторларының объектілердің саны немесе қозғалысы сияқты әртүрлі факторлармен анықталатын кеңістіктік сипаттамаларға байланысты әртүрлі анықтау мүмкіндіктері бар екенін алдын ала байқадық. Panopticus-тың негізгі идеясы - кеңістіктік үлестірудің қысқа мерзімді динамикасын түсіну негізінде әрбір камера көрінісін оңтайлы өңдеу. Мысалы, бірнеше статикалық және жақын нысандарды қамтитын камера көрінісін ең аз дәлдік жоғалтумен кешіктіруді азайту үшін жеңіл қорытынды конфигурациясымен өңдеуге болады. Сақталған кідіріс маржасын 1-суретте көрсетілгендей нысандар жылдам немесе алыс жерде қозғалатын күрделі көрініске жоғары өнімді қорытынды конфигурациясын тағайындау үшін пайдалануға болады.

Panopticus дизайнында бірнеше қиындықтар бар. Біріншіден, алдыңғы 3D анықтау үлгілері магистральдық сыйымдылық немесе кеңейтілген тереңдікті бағалауды пайдалану сияқты бір бейне кадрындағы әрбір камера көрінісі үшін қорытынды конфигурациясын саралауға қабілетті тиімді және динамикалық қорытынды схемасын қамтамасыз ете алмайды. Оған қоса, модельдің архитектурасы берілген құрылғыдағы кідіріс талаптары сияқты әртүрлі шектеулерді қанағаттандыру үшін реттелетін болуы керек. Екіншіден, кідіріс талаптарындағы дәлдікті арттыру үшін әрбір камера көрінісі үшін оңтайлы қорытынды конфигурациясын шешу керек. Бұл кеңістіктік үлестірімдегі өзгерістердің де, қорытынды конфигурацияларының күтілетін өнімділігін де орындау уақытын талдауды талап етеді.

Модельдің архитектуралық және операциялық реттеулерін қосу үшін біз бірнеше қорытынды тармақтары бар көп бағытты 3D нысанды анықтау үлгісін енгіземіз. Модель әр көріністі әртүрлі анықтау мүмкіндіктері бар тармақтардың бірін пайдаланып өңдейді, бұл шеткі есептеу ресурстарын егжей-тегжейлі пайдалануға мүмкіндік береді. Модельдің архитектурасы берілген шектеулерді бұзатын тармақты ажырату арқылы икемді орналастыруға мүмкіндік беретін модульдік болуы үшін жасалған. Кідіріс шегінде дәлдікті арттырудың екінші мәселесі үшін біз кеңістіктік-бейімделуші орындау схемасын енгіземіз. Орындау уақытында схема қоршаған нысандардың күтілетін кеңістіктік таралуы негізінде әрбір тармақтың өнімділігін болжайды. Содан кейін қорытынды жасау үшін кідіріс мақсатына жету кезінде жалпы болжалды дәлдікті арттыратын тармақтар мен камера көріністерінің оңтайлы комбинациялары таңдалады. Біз Panopticus-ті әртүрлі есептеу мүмкіндіктері бар үш шеткі құрылғыға енгіздік. Жүйе қалалық жолдар мен көшелер сияқты әртүрлі нақты орталарда жалпыға ортақ автономды жүргізу деректер жинағын және біздің реттелетін мобильді 360° камера сынақ алаңын пайдаланып бағаланды. Кең ауқымды эксперименттер Panopticus анықтау дәлдігі мен тиімділігі жағынан әртүрлі сценарийлер бойынша өзінің негізгі көрсеткіштерінен асып түсетінін көрсетті.

Біздің жұмысымыздың негізгі үлестері төмендегідей: •

Біздің білуімізше, Panopticus - ресурс шектелген шеткі құрылғыларда дәлдік пен кідіріс уақытын оңтайландыруға қол жеткізетін бірінші жан-жақты және камераға негізделген 3D нысанды анықтау жүйесі.

• Біз нысандар мен кеңістіктердің әртүрлі сипаттамалары әсер ететін соңғы 3D детекторларының әртүрлі мүмкіндіктерін зерттеу үшін терең зерттеу жүргіздік. Panopticus динамикалық ортадағы әртүрлі кеңістіктік күрделіліктерге бейімделе отырып, жан-жақты қабылдауды және шеткі ресурстарды пайдалануды нақты бақылауды қамтамасыз етеді.

• Біз Panopticus-ті жалпыға ортақ өзін-өзі басқаруды пайдалана отырып, шеткі есептеу жүйесі ретінде толығымен енгіздік.

деректер жинағы және біздің мобильді 360° камера сынақ алаңы, оның әртүрлі нақты жағдайлардағы шеткі құрылғылардың ресурс шектеулеріне бейімделуін көрсетеді