Ovaj model umjetne inteligencije daje rubnim uređajima oči na stražnjoj strani glave

Tablica poveznica

SAŽETAK

1 UVOD

2 POZADINA: SVESMJERNA 3D DETEKCIJA OBJEKATA

3 PRELIMINARNI POKUS

3.1 Postavljanje eksperimenta

3.2 Opažanja

3.3 Sažetak i izazovi

4 PREGLED PANOPTIKUSA

5 SVESMJERNA 3D DETEKCIJA OBJEKATA S VIŠE GRANA

5.1 Dizajn modela

6 PROSTORNO-ADAPTIVNA IZVEDBA

6.1 Predviđanje izvedbe

5.2 Prilagodba modela

6.2 Planiranje izvršenja

7 PROVEDBA

8 OCJENJIVANJE

8.1 Testna ploča i skup podataka

8.2 Postavljanje eksperimenta

8.3 Izvedba

8.4 Robusnost

8.5 Analiza komponenti

8.6 Režijski troškovi

9 POVEZAN RAD

10 RASPRAVA I BUDUĆI RAD

11 ZAKLJUČAK I LITERATURA

SAŽETAK

3D otkrivanje objekata s višesmjernim prikazima omogućuje sigurnosno važne aplikacije kao što je navigacija mobilnim robotom. Takve aplikacije sve više rade na rubnim uređajima s ograničenim resursima, omogućujući pouzdanu obradu bez brige o privatnosti ili mrežnih kašnjenja. Kako bi se omogućila isplativa implementacija, kamere su široko prihvaćene kao jeftina alternativa LiDAR senzorima. Međutim, računalno intenzivno radno opterećenje za postizanje visokih performansi rješenja temeljenih na kameri ostaje izazovno zbog računalnih ograničenja rubnih uređaja. U ovom radu predstavljamo Panopticus, pažljivo osmišljen sustav za svesmjernu 3D detekciju temeljenu na kameri na rubnim uređajima. Panopticus koristi prilagodljivu shemu otkrivanja s više grana koja uzima u obzir prostorne složenosti. Kako bi optimizirao točnost unutar ograničenja latencije, Panopticus dinamički prilagođava arhitekturu modela i operacije na temelju dostupnih rubnih resursa i prostornih karakteristika. Implementirali smo Panopticus na tri rubna uređaja i proveli eksperimente u stvarnim okruženjima na temelju javnog skupa podataka o samostalnoj vožnji i skupa podataka naše mobilne 360° kamere. Rezultati eksperimenta pokazali su da Panopticus u prosjeku poboljšava točnost za 62% s obzirom na strogi cilj kašnjenja od 33 ms. Također, Panopticus u prosjeku postiže 2,1× smanjenje latencije u usporedbi s osnovnim vrijednostima.

1 UVOD

Zajedno s napretkom računalnog vida i dubokim neuronskim mrežama (DNN), detekcija 3D objekata postala je ključna komponenta brojnih aplikacija. Na primjer, autonomna vozila oslanjaju se na preciznu percepciju objekata u okruženju u stvarnom vremenu kako bi uspostavila sigurne navigacijske rute [55]. Budući da se objekti mogu približiti iz bilo kojeg smjera, kao što je prikazano na slici 1, ključno je osigurati percepciju kroz sveobuhvatno vidno polje od 360° (FOV). Takva svesmjerna percepcija zahtijeva obradu značajnih količina podataka senzora i zahtijeva vrhunske računalne uređaje s AI akceleratorima za obradu u stvarnom vremenu [47]. Nedavno je potražnja za mobilnim aplikacijama koje koriste višesmjernu 3D detekciju objekata postala široko rasprostranjena. Roboti ili dronovi koji pružaju osobne usluge poput nadzora mogu imati koristi od takve tehnologije [16]. Osim toga, otkrivanje okolnih prepreka i davanje zvučnih upozorenja o mogućim opasnostima može pomoći osobama s oštećenjem vida [39, 56]. Ove personalizirane aplikacije moraju se obrađivati na rubnom uređaju kako bi se smanjili problemi s privatnošću korisnika ili troškovi mreže. Međutim, čak i najnovija serija NVIDIA Jetson Orin [8], koja nudi naprednu snagu rubnog računanja, ima 6,7 × do 13,5 × manje Tensor jezgri za AI ubrzanje u usporedbi sa snažnim A100 [9] koji se koristi za računalstvo u oblaku, a koji ima istu temeljnu GPU arhitekturu. Nadalje, rubne AI aplikacije moraju uzeti u obzir praktične čimbenike kao što su troškovno učinkovite implementacije. Kao rezultat toga, uloženo je puno truda da se podrže takve aplikacije s jeftinim kamerama [1, 38, 42, 58]. Konkretno, višestruke kamere ili mobilna kamera od 360° koriste se za olakšavanje svesmjerne percepcije

Edge AI usluge imaju širok spektar točnosti i zahtjeva za kašnjenjem. Unatoč nedavnom napretku, prethodni radovi imaju ograničenja u podržavanju učinkovitosti i točnosti na rubnim uređajima s ograničenim resursima. DeepMix [18] je prenio složene zadatke detekcije objekata temeljene na DNN-u na poslužitelj u oblaku kako bi smanjio računalno opterećenje rubnog uređaja. Međutim, rasterećenje zadataka svesmjerne percepcije može uzrokovati značajno kašnjenje komunikacije rubnog oblaka zbog masivnog prijenosa podataka. PointSplit [37] podržava paralelizirani rad na rubnom GPU-u i NPU-u, ali shema je optimizirana za određeni cjevovod za 3D detekciju koji koristi RGB-D senzor s ograničenim vidnim poljem. U međuvremenu su različite metode [1, 31, 34, 38] poboljšale točnost rješenja temeljenih na kameri, koja predstavljaju inherentne poteškoće zbog nepostojanja 3D informacija o dubini. Niz radova [29, 30, 52] usredotočen je na razvoj DNN-ova za poboljšanje predviđanja dubine iz RGB slika. Također, usvajanje DNN-ova velikih razmjera, kao što su okosnice ekstrakcije značajki korištenjem slika visoke razlučivosti, bitno je za poboljšanje točnosti [51]. Međutim, obrada više računalno intenzivnih DNN zadataka s višesmjernim ulazima postavlja značajne računalne zahtjeve na rubne uređaje s ograničenim resursima.

U ovom radu predlažemo Panopticus, sustav koji maksimizira točnost svesmjerne detekcije 3D objekata dok istovremeno ispunjava zahtjeve latencije na rubnim uređajima. Preliminarno smo uočili da 3D detektori temeljeni na kameri imaju različite mogućnosti detekcije ovisno o prostornim karakteristikama, koje određuju različiti čimbenici kao što je broj ili kretanje objekata. Ključna ideja Panopticusa je optimalno obraditi svaki pogled kamere na temelju razumijevanja kratkoročne dinamike u prostornoj distribuciji. Na primjer, prikaz kamere koji sadrži nekoliko statičnih i bliskih objekata može se obraditi pomoću konfiguracije laganog zaključivanja kako bi se smanjila latencija uz minimalni gubitak točnosti. Spremljena margina kašnjenja tada se može upotrijebiti za dodjeljivanje visokoučinkovite konfiguracije zaključivanja složenom prikazu gdje se objekti kreću brzo ili na udaljenoj lokaciji, kao što je prikazano na slici 1

Postoji nekoliko izazova u dizajnu Panopticusa. Prvo, prethodni modeli 3D detekcije ne uspijevaju pružiti učinkovitu i dinamičnu shemu zaključivanja koja može razlikovati konfiguraciju zaključivanja za svaki pogled kamere u istom video okviru, kao što je kapacitet okosnice ili upotreba poboljšane procjene dubine. Dodatno, arhitektura modela mora biti prilagodljiva kako bi se prilagodila raznim ograničenjima, kao što su zahtjevi za kašnjenjem, na određenom uređaju. Drugo, kako bi se maksimizirala točnost unutar zahtjeva latencije, optimalna konfiguracija zaključivanja mora se odlučiti za svaki prikaz kamere. Ovo zahtijeva analizu vremena izvođenja promjena u prostornoj distribuciji i očekivane izvedbe konfiguracija zaključivanja.

Kako bismo omogućili arhitektonske i operativne prilagodbe modela, uvodimo višesmjerni 3D model detekcije objekata s višestrukim granama zaključivanja. Model obrađuje svaki prikaz koristeći jednu od grana s različitim mogućnostima detekcije, omogućujući precizno korištenje rubnih računalnih resursa. Arhitektura modela dizajnirana je tako da bude modularna, omogućujući fleksibilnu implementaciju odvajanjem grane koja krši zadana ograničenja. Za drugi izazov maksimiziranja točnosti unutar ograničenja latencije, uvodimo prostorno prilagodljivu shemu izvršenja. Tijekom izvođenja, shema predviđa izvedbu svake grane na temelju očekivane prostorne distribucije okolnih objekata. Optimalne kombinacije grana i prikaza kamere, koje maksimiziraju ukupnu procijenjenu točnost uz postizanje cilja latencije, zatim se odabiru za zaključivanje. Panopticus smo implementirali na tri rubna uređaja s različitim računalnim mogućnostima. Sustav je procijenjen u različitim okruženjima stvarnog svijeta, kao što su gradske ceste i ulice, korištenjem javnog skupa podataka o autonomnoj vožnji i naše prilagođene mobilne 360° kamere za testiranje. Opsežni eksperimenti pokazali su da je Panopticus nadmašio svoje osnovne vrijednosti u različitim scenarijima u pogledu točnosti otkrivanja i učinkovitosti.

Ključni doprinosi našeg rada su sljedeći: •

Koliko nam je poznato, Panopticus je prvi višesmjerni sustav za detekciju 3D objekata koji se temelji na kameri i koji postiže i točnost i optimizaciju latencije na rubnim uređajima s ograničenim resursima.

• Proveli smo dubinsku studiju kako bismo istražili različite mogućnosti novijih 3D detektora na koje utječu različite karakteristike objekata i prostora. Panopticus pruža preciznu kontrolu nad svesmjernom percepcijom i korištenjem rubnih resursa, prilagođavajući se različitim prostornim složenostima u dinamičnim okruženjima.

• U potpunosti smo implementirali Panopticus kao end-to-end rubni računalni sustav koristeći i javni samoupravljajući

skup podataka i našu mobilnu 360° kameru za testiranje, prikazujući njegovu prilagodljivost ograničenjima resursa rubnih uređaja u nizu uvjeta stvarnog svijeta