359 o'qishlar
359 o'qishlar

Nima uchun AI sizning yuzingizni yaxshiroq tanib olish uchun (bir oz) yo'qotishi kerak

tomonidan Eva Vanski13m2025/03/13
Read on Terminal Reader

Juda uzoq; O'qish

Yuzni tanib olish (FR) moliyaviy sektorda, xavfsizlik, videokuzatuv, aqlli uy xizmatlari, ko‘p faktorli autentifikatsiya va hokazolarda keng qo‘llaniladi. Ushbu maqolada biz so‘nggi tadqiqot tendentsiyalariga chuqurroq kirib boramiz.
featured image - Nima uchun AI sizning yuzingizni yaxshiroq tanib olish uchun (bir oz) yo'qotishi kerak
Eva Vanski HackerNoon profile picture
0-item

So‘nggi yillarda yuzni tanib olish sohasida sezilarli yutuqlarga erishildi. Ushbu ko'rib chiqish yo'qotish funktsiyalari evolyutsiyasiga e'tibor qaratgan holda asosiy vazifalar, modellar va hal qilish usullari haqida qisqacha ma'lumot beradi.


Oddiy qilib aytganda, yuzni tanib olish - bu fotosuratlar, videolar yoki real vaqt rejimidagi tasvirlar yordamida shaxsning shaxsini aniqlash yoki tasdiqlash usuli. Ushbu ko'rib chiqish bitta raqamli tasvir yoki video ramkaga asoslangan identifikatsiyani o'rganadi.

Yuzni tanib olish va uni amalga oshirish

Yuzni aniqlash (FR) keng qamrovli ilovalarga ega. U moliyaviy sektorda, kiberxavfsizlik, videokuzatuv, aqlli uy xizmatlari, ko'p faktorli autentifikatsiya va boshqalarda qo'llaniladi.


Ushbu amaliy foydalanishdan tashqari, FR modellari zamonaviy generativ modellarda ham asosiy rol o'ynaydi. Ular odatda GFPGAN va CodeFormer kabi Yuzni qayta tiklash modellarida, SimSwap va FaceShifter kabi yuzlarni almashtirish vositalarida, pSp va HyperStyle kabi tasvirni GANga asoslangan modellarda, shuningdek identifikatsiyani saqlash uchun transformator va barqaror diffuziya modellarida identifikatsiyani yo'qotish uchun ishlatiladi.


ArcFace (2018–2019) eng keng tarqalgan identifikatsiyani yo'qotish funksiyasi bo'lib, CosFace (2018) va FaceNet esa kamroq qo'llaniladi.

Ushbu sharh uchun men FR landshafti ArcFace-dan keyin, ayniqsa so'nggi yillarda qanday o'zgarganiga e'tibor qarataman.

Yuzni tanish quvur liniyasi haqida qisqacha ma'lumot

Fceni tanib olish uchun oldindan ishlov berish talab etiladi: yuzni aniqlash, kesish va tekislash. Oldindan ishlov berish o'quv va test ma'lumotlari uchun bir xil bo'lishi kerak, odatda FFHQ-ga o'xshash hizalama (Flickr-Faces-HQ Dataset) yordamida. Odatda, buning uchun ikkita alohida qo'shimcha detektor ishlatiladi: yuzni chegaralovchi quti detektori va yuz belgisi detektori. Asosiy model bilan birgalikda o'rgatilgan tekislash bilan yakuniy modellar mavjud, ammo men ularni ko'rib chiqishning ushbu qismida ko'rib chiqmayman. Bu erda biz o'quv va test ma'lumotlar to'plami bir xilda kesilgan va tekislangan deb taxmin qilamiz. Shunday qilib, model kesilgan va tekislangan kirishlar bilan oziqlanadi.


Odatda FR preprocess quvur liniyasi

FR topshirig'i uchun o'quv ma'lumotlar to'plamida har bir shaxs (shaxs) uchun bir nechta rasm mavjud. Modelning vazifasi bir shaxsga tegishli fotosuratlar va turli odamlarning fotosuratlarini farqlashni o'rganishdir.


Model odatda ikkita komponentdan iborat:


  • Orqa miya. Xususiyatlarni ekstraktor deb ham atash mumkin bo'lgan magistral kirish sifatida oldindan ishlangan yuz fotosuratini oladi va o'rnatishning xususiyat vektorini chiqaradi. Klassik magistrallar - bu ResNet, VGGNet, ResFace, SE-ResNet va boshqalar kabi konvolyutsion neyron tarmoqlar (CNN). Bular VisionTransformer yoki Feature Pyramid Network modellari yoki ularning murakkabroq o'zgarishlari ham bo'lishi mumkin. Ko'rib chiqishning ushbu qismida biz modellarning asoslari haqida batafsil to'xtalmaymiz.


  • Yo'qotish funktsiyasi. Mashg'ulot bosqichida orqa miya mashg'ulotlarini nazorat qilish uchun yo'qotish funktsiyasi qo'llaniladi. Treningning maqsadi - bir xil odamning turli fotosuratlari va turli odamlarning yuzlari uchun uzoqdagi fotosuratlar uchun yaqin joylashtirishni ishlab chiqaradigan modelni olish. Biz, masalan, kosinus masofasi yoki L2 masofasidan foydalanib, joylashtirish vektorlari orasidagi masofani o'lchash haqida gapiramiz.

Yo'qotish funktsiyalari turlari

Juftlikka asoslangan yo'qotish

Birinchi toifa "juftga asoslangan yo'qotish" deb ataladi, ba'zida ular "metrik o'rganishga asoslangan usullar" deb ataladi: kontrastli yo'qotish, Triplet yo'qotish, N-juftlik yo'qotish.


Ushbu usullar namunaviy treningdan oldin ijobiy va salbiy namuna juftlarini birlashtiradi yoki trening davomida onlayn namuna juftlarini dinamik ravishda birlashtiradi. Ushbu ikkala rejim ham namunaviy darajada yuzning mazmunli tasvirlarini olish imkonini beradi, ammo ma'lumotlar hajmini eksponent ravishda oshiradi.


Uchlik yo'qotishdan foydalangan holda o'qitish sxemasi shunday ko'rinadi. Xuddi shu yorliqli ikkita misol, o'rnatish joyida ularning joylashuvi bir-biriga yaqin bo'lishi kerak. Turli xil yorliqlarga ega bo'lgan ikkita misolning joylashuvi juda uzoqda.


Uchlikni yo'qotish sxemasi


Ma'lumotlar to'plamining kattaligi bilan mumkin bo'lgan juftliklar sonining tez o'sishi bizni odatda empirik va hisoblash jihatdan murakkab bo'lgan juft tanlash strategiyalarini izlashga majbur qiladi.

Tasniflash asosidagi yo'qotish

Boshqa toifa "tasnifga asoslangan yo'qotish" yoki ba'zan "o'rganish prototipiga asoslangan usullar" deb ataladi: Softmax yo'qotish, CosFace, ArcFace, NormFace. Ular sinf proksi yoki sinf markazi deb ham ataladigan prototip yordamida sinflar haqida umumiy ma'lumot bilan ishlaydi. Prototiplar o'rganish mumkin bo'lgan parametrlar bo'lib, modelni o'qitish jarayonida yangilanadi. Hozirgi vaqtda tasnifga asoslangan yo'qotishlar asosan yuzni aniqlash modellari uchun qo'llaniladi.

Tasniflash asosidagi yo'qotishlar tarixi

Agar biz FR vazifasini tasnif sifatida ko'rib chiqsak, u holda biz softmax yo'qotishdan foydalanishimiz mumkin (boshqa nomi - kategorik o'zaro entropiya yo'qolishi). Aslida, Softmax yo'qolishi Softmax faollashtirish funktsiyasi + Cross-Entropy yo'qolishidir.

Yo'qotish sxemasi

Keling, formulalarni eslaylik. Birinchisi Softmax faollashuvi, ikkinchisi esa Cross-Entropy yo'qolishi.


Softmax activation, and Cross-Entropy loss





Birlashtirib olish:

Softmax loss









Yo'qotish funktsiyasi oxirgi to'liq bog'langan qatlamning natijasini oladi, bu erda 𝒙𝒊 𝑖-chi o'quv tasvirining o'rnatish xususiyatini bildiradi, 𝑦𝑖 𝒙𝒊 yorlig'i va 𝑾 oxirgi to'liq bog'langan qatlamning og'irligini bildiradi.


Bu ishlaydi, lekin muammo bor - sinflar orasidagi chegaralar xiralashgan. 2018 yilda ArcFace modeli paydo bo'lishi bilan FRda yangi qadam qo'yildi. Asos softmax yo'qotish bo'lib qoladi, lekin biz vektorlar orasidagi burchaklarni hisobga olishga o'tamiz. Kosinus o'xshashligi formulasini eslaylik:







Softmax yo'qotish formulasida almashtirishni amalga oshiramiz





Keyinchalik, sinf ichidagi burchaklar kichikroq va sinflararo burchaklar kattaroq bo'lishi uchun chegara qo'shiladi. Bu softmax yo'qotishning loyqa chegaralari o'rniga sinflar orasidagi bo'shliqni beradi.


Shunga o'xshash usullar: agar cos(th + m) ni cos th - m bilan almashtirsak, CosFace yo'qotilishini olamiz.

Softmax-ga asoslangan usullarda prototip oxirgi chiziqli qatlamning koeffitsienti matritsasida saqlanadi, ya'ni Pi = Wi, prototip uning gradienti orqaga tarqalishda yangilanadi (shuning uchun ham «prototipni o'rganishga asoslangan usullar» nomi paydo bo'ldi).

Bu erda FR uchun zamonaviy yo'qotish funktsiyalari tarixi boshlanadi. Yillar davomida ko'plab o'zgartirishlar va yaxshilanishlar paydo bo'ldi, ammo yuqorida keltirilgan formulalar keyingi materialni tushunish uchun etarli.

ArcFace sub-markazi

Yaxshilanishlardan biri 2020 yilda paydo bo'ldi, u ArcFace Subcenter deb nomlanadi va shovqinli ma'lumotlar to'plamlari uchun mo'ljallangan. Sinf ichidagi ixchamlik cheklovi shovqinli ma'lumotlarning haddan tashqari o'rnatilishiga olib keladi. ArcFace sub-markazi kichik sinflarni taqdim etadi. O'quv partiyasidagi namuna barchaga emas, balki ijobiy kichik markazlardan biriga yaqin bo'lishi kerak. Bu ma'lumotlardagi shovqin ta'sirini kamaytiradi.












ArcFace va Sub-center ArcFace modellari insightface kutubxonasida, jumladan, o'qitish uchun kod va oldindan tayyorlangan og'irliklarni o'z ichiga olgan ilovalarga ega.


Insightface turli xil magistrallarga ega ArcFace ilovasiga ega: iresnet (34,50,100,200,2060), mobilefacenet, vit (VisionTransformer).


Turli xil magistrallarni ko'rib chiqish ushbu maqola doirasidan tashqarida, shuning uchun men faqat ko'rib chiqilayotgan yo'qotishlarning har biri bilan ishlatiladigan magistrallarning nomlarini beraman. Ko'pgina hollarda, yo'qotishlar mualliflari optimal tayanchni tanlashga harakat qilmadilar, balki shunchaki mashhur bo'lganlardan birini yoki ular taqqoslashni istagan modellarda ishlatilganidan foydalanganlar.

Trening uchun MS1M, Glint360K, WebFace42M maʼlumotlar toʻplamidan foydalanilgan.

Moslashuvchan marja

Yuzni aniqlash usullarining asosiy muammosi ma'lumotlar shovqinidir. Prototipni o'rganishga asoslangan usullar shovqin keltirib chiqaradigan prototip tarafkashliklariga sezgir. Haddan tashqari o'rnatish va to'liq moslama o'rtasida muvozanatni saqlashning bir usuli - bu softmax-baza yo'qotishlarining asosiy parametri bo'lgan marjani sozlash.

AdaCos

L2-softmax, CosFace va ArcFace kabi kosinusga asoslangan softmax yo'qotishlar uchun masshtab va burchak chegarasini sozlashning birinchi usullaridan biri.

Tarmoq optimallashtirilganda o'rganish tezligi sekinlashishi kerakligi haqidagi empirik printsipni amalga oshiradi. Maqolada mos keladigan sinflar uchun mini-to'plamdagi barcha burchaklarning medianasiga teng bo'lgan modulyatsiya qiluvchi o'zgaruvchi taqdim etiladi, bu taxminan modelni optimallashtirishning joriy darajasini ifodalaydi. Median burchak katta bo'lsa, panjara parametrlari optimaldan uzoqroq va kattaroq shkala va marj qo'llaniladi va aksincha.

2019, qog'oz , pytorchni amalga oshirish (lekin oldindan tayyorlangan og'irliklar yo'q)

 Changing process of angles in each mini-batchwhen training














CASIA-WebFace va MS1M maʼlumotlar toʻplamlari boʻyicha oʻqitilgan, kiritish ruxsati 144 × 144. LFW, MegaFace va IJB-C maʼlumotlar toʻplamlarida sinovdan oʻtgan, L2-softmax, CosFace va ArcFace yoʻqotishlari bilan solishtirilgan.


O'tgan yillar davomida Dyn-ArcFace (2022), MagFace (2021), ElasticFace (2021) kabi FRda adaptiv marjani qo'llash uchun bir nechta muhim usullar paydo bo'ldi, ammo biz ushbu sohadagi eng so'nggi ishlardan biri - X2-Softmax (2023) ga e'tibor qaratamiz.


X2-Softmax


AdaCos bilan solishtirganda, X2-Softmax sinflarning notekis taqsimlanishini hisobga olishga harakat qiladi. Ba'zi sinflar o'rtasida mos bo'lgan qat'iy chegara boshqa sinflar o'rtasida yaqinlashish uchun juda katta bo'lishi mumkin yoki ba'zi boshqa sinflar o'rtasida yuz xususiyatlarining sinf ichidagi sezilarli ixchamligini oshirish uchun juda kichik bo'lishi mumkin.

Katta burchakli sinflar uchun ixchamlikni oshirish uchun katta chegara kerak, kichik burchakli sinflar uchun kichikroq.

Softmax-ga asoslangan yo'qotishlarning umumiy formulasini eslaylik:







Bu erda ArcFace yoki CosFace kabi yo'qotishlar uchun faqat logit funktsiyasi f(th) farqlanadi. X2-Softmax yo'qotish funktsiyasi uchun u quyidagicha ko'rinadi:






Softmax-ga asoslangan an'anaviy yo'qotishlar kosinusdan foydalanadi, ammo kosinus Teylor seriyasiga kengaytirilganda kvadrat funktsiyaga aylanadi, shuning uchun X2-Softmax uchun kvadrat funktsiya tanlanadi. X ning yuqori tartibli shartlaridan voz kechish va doimiy va kvadratik hadlarni saqlab qolish modelning haddan tashqari mos kelishini oldini oladi.


Bu yerda a, h va k giperparametrlar: h va k logits funksiya egri chizig‘ining tepa o‘rnini, a esa egri chiziqning ochilish yo‘nalishini va klasterlanish darajasini aniqlaydi.


X2-Softmax da, og'irliklar orasidagi burchak th ortganda, burchak chegarasi ∆th bir vaqtning o'zida monoton ravishda ortadi.

Yana ikkita o'xshash sinflar uchun kichik chegara modelning yaqinlashishini osonlashtiradi. Ikki kamroq o'xshash sinflar uchun yuz xususiyatlarini sinflararo ajratishni yaxshilash uchun kattaroq chegara tayinlanadi.


Trening uchun mualliflar Resnet50 magistralini tanladilar. Model MS1Mv3 ma'lumotlar to'plamida (shovqinli tasvirlarni olib tashlash uchun RetinaFace tomonidan oldindan qayta ishlangan MS-Celeb-1M asosida) o'qitilgan - 93 ming identifikatsiya va 5,1 million yuz tasviri.

SFace: mustahkam yuzni aniqlash uchun sigmasimon chegaralangan gipersferani yo'qotish

Moslashuvchan chegaralarga ega bo'lgan yo'qotishlarning aksariyati softmax-ga asoslangan yo'qotishlar ichida qoladi, ammo istisnolar mavjud. SFace softmax-ga asoslangan yo'qotishlardan voz kechadi, lekin sinf ichidagi va sinflararo masofalarni optimallashtirish g'oyasini saqlab qoladi. Model ikkita sigmasimon egri tomonidan boshqariladigan gipersfera manifoldiga sinf ichidagi va sinflararo cheklovlarni qo'yadi. Egri chiziqlar maqsadli yoki chet el sinf markaziga yaqinlashganda koeffitsientlarning o'zgarishi tezligini nazorat qilish orqali gradientlarni o'zgartiradi.

2022, qog'oz , pytorchni amalga oshirish (oldindan o'qitilgan og'irliklar ham yuklab olish mumkin)

To'g'ridan-to'g'ri marjani optimallashtirish usullari bilan solishtirganda, bu haddan tashqari moslama va to'liq moslama o'rtasidagi nozik muvozanatni ta'minlaydi, individual shovqinli namunalarning yakuniy yo'qotishga kamroq ta'siri.


Gipersfera manifoldida diskriminativ bo'lish uchun yuzni joylashtirishni cheklash g'oyasi, masalan, Sphereface (Yuzni tanib olish uchun chuqur gipersfera kiritish, 2017) da allaqachon ko'rilgan.


Maqsad sinf ichidagi masofani kamaytirish va sinflararo masofani oshirishdir, shuning uchun sigmasimon chegaralangan gipersfera yo'qolishi quyidagicha ifodalanishi mumkin.






Bu yerda 𝜃𝑦𝑖 - 𝑖-chi o'quv tasvirining o'rnatish xususiyati va mos keladigan prototip o'rtasidagi burchak masofasi. 𝜃j - chet el prototiplarigacha bo'lgan burchak masofasi.






𝑟𝑖𝑛𝑡𝑟 va 𝑟𝑖𝑛𝑡𝑒𝑟 funksiyalari mos ravishda sinf ichidagi va sinflararo maqsadlarni oʻzgartirish va optimallashtirish darajasini nazorat qilish uchun moʻljallangan. [·]𝑏 blok gradient operatori bo‘lib, gradientlarni hisoblashda uning kiritish hissasini hisobga olishni oldini oladi.

Sigmoid funktsiyalar gradientni qayta o'lchash funktsiyalari sifatida tanlanadi:

Mualliflar sigmasimon funktsiyalarni gradientni qayta o'lchash funktsiyalari sifatida tanladilar:










𝑠 gradientning boshlangʻich shkalasi sifatida ikkita sigmasimon egri chiziqning yuqori asimptoti va 𝑘 sigmasimon egri chiziqning qiyaligini nazorat qilish. Giperparametrlar 𝑎 va 𝑏 ikkita sigmasimon egri chiziqning gorizontal kesishishini aniqlaydi va harakat tezligini bostirish uchun moslashuvchan intervalni boshqaradi.


Softmax-ga asoslangan yo'qotish funktsiyalari bilan solishtirganda, SFace-ning sinf ichidagi va sinflararo masofasi mo'ljallangan darajada cheklanishi mumkin, shuning uchun mo''tadil tarzda optimallashtirish mumkin, bu SFace-ning aynan afzalligi.

Trening uchun mualliflar ResNet magistralini tanladilar (Arcface uchun bo'lgani kabi).


Model CASIA-WebFace, VGGFace2 va MS-Celeb-1M ma'lumotlar to'plamlarida o'qitildi.

Prototip tarqatish sifatida

Shovqinli ma'lumotlar bilan shug'ullanishning yana bir usuli - bitta identifikatorni (bir kishiga tegishli barcha yuzlar uchun) joylashtirish kosmosdagi nuqta emas, balki kutilgan, farqli va o'zgaruvchan bo'lishi mumkin bo'lgan taqsimot ekanligini hisobga olishdir.

VPL (variatsion prototiplarni o'rganish)

Yuzni tanib olishda, mashg'ulotlarning murakkabligi tufayli juftlik yo'qotishlaridan voz kechildi, ammo o'rtacha prototiplar bilan ishlashda biz ba'zi ma'lumotlarni yo'qotamiz. Prototipga asoslangan yondashuv bilan mashg'ulotlar mahalliy minimal qiymatlarda qolib ketishi yoki prototiplarga tashqi ko'rsatkichlarning ta'siri tufayli haddan tashqari moslashishi mumkin.

VPL - har bir sinfni yashirin fazodagi nuqta emas, balki tarqatish sifatida ifodalaydi.













VPL o'quv to'plamidagi misollar va sinf bo'yicha taqsimotdan olingan variatsion prototiplar to'plami o'rtasidagi o'xshashlikni optimallashtiradi.

Prototiplarning taqsimoti M-da saqlanadi va ∆t bosqichda parchalanadi. Mualliflar yo'qotishni ResNet50, ResNet100 va MXNet magistrallari bilan o'rgatishdi, MXNet esa sinov uchun oxirgisi sifatida tanlandi. MS1M ma'lumotlar to'plami o'qitish uchun ishlatiladi, yuz ekinlarining kirish hajmi 112 × 112.

UniTSFace (2023) yoki UNPG (Yuzni tanib olish uchun yaxshi diskriminativ xususiyat maydoni, 2022) kabi prototipga asoslangan usullarni juftlikka asoslangan yo'qotishlar (yoki boshqa usulda namunadan namunaga asoslangan modellar) afzalliklari bilan to'ldirish mavzusini davom ettiruvchi bir nechta yondashuvlar mavjud. Men ushbu maqoladagi eng yangi yo'qotishlardan biriga e'tibor qarataman: APL.

EPL: Yuzni chuqur aniqlash uchun empirik prototipni o'rganish

Marjaga asoslangan softmax yo'qotishda yo'qotish prototiplar (sinf markazlari) bilan solishtirganda hisoblanadi; bir sinfning barcha namunalari o'quv jarayonida umumiy markazga tortiladi. Bu o'quv jarayonida o'rtacha hisoblanadi va prototip markazidan chetga chiqishi mumkin bo'lgan misollarning chetga chiqishi kuchli ta'sir qiladi. Softmax-ga asoslangan usullarda prototip oxirgi chiziqli qatlamning koeffitsient matritsasida saqlangan deb hisoblanadi, ya'ni Pi = Wi, prototip uning orqaga tarqalishdagi gradienti yordamida yangilanadi va yo'qotish funktsiyasi misollar xususiyatlari va mos keladigan prototiplar o'rtasidagi o'xshashlikni maksimal darajada oshiradi.

2024, qog'oz , pytorchni amalga oshirish (oldindan o'qitilgan og'irliklar ham yuklab olish mumkin)


EPLda prototiplar yaratiladi va yangilanadi:

  • Treningning boshida tasodifiy
  • Modelni o'qitish jarayonida har bir misol (X) o'zining x = E(X) xususiyatlari orqali tegishli Pi(e) empirik prototipini yangilaydi, bunda E yuz kodlovchisidir:








“a” x xususiyati va uning prototipi yordamida hosil qilingan moslashuvchan yangilash koeffitsienti bo‘lsa, “s” yangilanish koeffitsientini tegishli diapazonga moslashtirish uchun faollashtirish funksiyasi va s(·, ·) odatda kosinus funksiyasi sifatida qabul qilinadigan o‘xshashlik funksiyasi.


Tajribaviy prototip qo'shni sinflarning chet elliklarining ta'sirini oldini olish uchun faqat "ijobiy" misollar yordamida yangilanadi.


O'qitish jarayoni: kodlovchi xususiyatlarni chiqaradi, empirik prototipni yangilash uchun adaptiv koeffitsientlar a hisoblab chiqiladi, xususiyatlar va prototiplar o'rtasidagi o'xshashlik kodlovchini o'qitish uchun yo'qotishlarni hisoblash uchun ishlatiladi.

Prototipni o'rganish va empirik prototipni o'rganish imkoniyatlaridan har tomonlama foydalanish uchun EPL ularni yig'indi sifatida birlashtiradi va aniq chegaralarni kiritadi. Ta'lim uchun ResNet magistral tizimi va o'quv ma'lumotlar to'plami sifatida CASIA-WebFace ishlatilgan. Model MRF, IJB-C, LFW, CFP-FP, AgeDB va MegaFace ma'lumotlar to'plamlarida sinovdan o'tkazildi.

Transformator-ArcFace

Yuqoridagilardan ko'rinib turibdiki, ko'pincha yo'qotish modifikatsiyasi shovqinli ma'lumotlar va ortiqcha moslamalar muammosini hal qilish uchun ishlatiladi, magistral esa modelning "murakkabligi" uchun javobgardir, ammo istisnolar mavjud.


Ushbu maqolada transformator-metrik yo'qotish - standart metrik yo'qotish va transformator-yo'qotish (qo'shimcha yo'qotish sifatida transformator tarmog'i) kombinatsiyasi keltirilgan. Transformator tarmoqlari ketma-ket fazoviy munosabatlarni saqlab qolish uchun kuchga ega, bu esa yo'qotish funktsiyasining diskriminativ kuchini oshirishga va modelni yanada murakkab holatlarda qo'llashga imkon beradi (masalan, yoshga qarab o'zgarmas FR uchun).

Ushbu modelning o'ziga xosligi shundaki, transformator odatda, masalan, Face Transformer modelida bo'lgani kabi, magistral sifatida ishlatilmaydi. Buning o'rniga, oxirgi konvolyutsion qatlamning xususiyatlari ikkita yo'qotish shoxiga yuboriladi. Birinchi novda - bu muntazam tekislash qatlami va undan keyin metrik yo'qotish (bu holda, ArcFace, lekin bu har qanday tasnifga asoslangan yo'qotish bo'lishi mumkin).


2-tarmoqda biz H × W × D o'lchamdagi chiqishni olamiz va uni 1 × 1 × D o'lchamdagi S vektoriga aylantiramiz. Bu ketma-ketlikni standart transformator kodlovchisi uchun yamoqlardan o'rnatish ketma-ketligi sifatida ko'rish mumkin. Transformator kodlovchi qatlamidan so'ng, faollashtirish yoki tushirishning qo'shimcha sozlamalarisiz chiziqli qatlam qo'llaniladi. Shundan so'ng, o'zaro faoliyat entropiya funktsiyasi chiqish ehtimoli taqsimoti uchun yo'qotishni baholaydi (maqsadli N sinflar uchun). Ikkala "tarmoq-1" va "filial-2" yo'qotishlar og'irlikdagi summa orqali birlashtiriladi.

Tasdiqlash (sinov) bosqichida ikkinchi novda kesiladi va faqat standart birinchi novdadan qo'shimchalar qo'llaniladi. MS1M-arcface va WebFace4M (WebFace 260M quyi to'plami) sinovlari uchun.


Xulosa

Ushbu sharhda biz yuzni aniqlash tizimlarining bir sohasiga - yo'qotish funktsiyalariga e'tibor qaratdik. Bu bizga ushbu sohadagi yangi yo'nalishlar va so'nggi maqolalar haqida umumiy fikr yuritish imkonini berdi. Bu sohalarning barchasi har yili rivojlanishda davom etmoqda.

Quyidagi mavzular sharhning ushbu qismidan tashqarida qoldirildi:

  • FR modellarining asoslari
  • Maxsus holatlar uchun FR modellari, masalan, okklyuziondan xabardor bo'lish, bo'yanish-/yosh-/yorug'lik-/poza-Invariant yuzni aniqlash
  • 3D / Dinamik FR
  • FR ma'lumotlar to'plamini ko'rib chiqish Ular quyidagi qismlarda o'rganiladi.


L O A D I N G
. . . comments & more!

About Author

Eva Vanski HackerNoon profile picture
Eva Vanski@evansky
Machine Learning Engineer with expertise in Computer Vision and Recommender Systems.

TEGI QILISH

USHBU MAQOLA TAQDIM ETILGAN...

Trending Topics

blockchaincryptocurrencyhackernoon-top-storyprogrammingsoftware-developmenttechnologystartuphackernoon-booksBitcoinbooks