Yuzni aniqlashda sintetik ma'lumotlar: o'yinni o'zgartiruvchimi yoki shunchaki hayp?

Yuzni aniqlash (FR) texnologiyasi so'nggi yillarda xavfsizlikni kuchaytirish zarurati va past darajadagi iste'molchi qurilmalari, samolyotlarga chiqish, chegara nazorati va moliyaviy xizmatlar kabi sohalarda ilovalarning ko'payishi bilan bog'liq holda sezilarli darajada rivojlandi. Samarali FR tizimlarining markazida muhim komponent - ma'lumotlar yotadi. Katta hajmdagi ma'lumotlar to'plami ushbu modellarni turli sharoitlarda yuzlarni aniq aniqlash va tekshirish uchun o'rgatish uchun zarurdir.

FR ishonchli bo'lishi uchun modellar demografik, yorug'lik, muhit, ifodalar va okklyuzionlardagi o'zgarishlarni o'z ichiga olgan turli xil ma'lumotlarga duchor bo'lishi kerak. Bu joylashtirishda qat'iylik va adolatni ta'minlaydi, notanish sharoitlarga duch kelganda noto'g'ri yoki muvaffaqiyatsizlik xavfini kamaytiradi.

GenAI texnikasi yordamida yaratilgan sintetik ma'lumotlar to'plamlari potentsial yordam berishi mumkin, ammo hozirgi holatida ular haqiqiy dunyo ma'lumotlar to'plamini to'liq almashtira olmaydi. Ushbu maqola sintetik FR ma'lumotlar to'plamining afzalliklari va kamchiliklarini o'rganadi va yuzni aniqlash uchun genAIning hozirgi holatini o'rganadi.

Yuz ma'lumotlarini yig'ish: Haqiqiy dunyo va sintetik

LFW , Cfp-fp , Agedb-30 , Ca-lfw va Cp-lfw FR modellarining tekshirish samaradorligini baholash uchun ishlatiladigan eng keng tarqalgan ma'lumotlar to'plamidir. Jadval 1. turli o'lchamdagi real yuz ma'lumotlar to'plamlarida bir xil algoritm bilan o'qitilgan ML modelining tekshirish samaradorligini ko'rsatadi.

Ma'lumotlar to'plamining o'lchami modelning ishlashiga qanday ta'sir qilishini va mustahkam FR modellarini olish uchun ma'lumotlarni yig'ish miqyosini ko'rish mumkin. Tasdiqlash degani, modelga bir juft yuz tasviri beriladi va u yuz juftligi bir shaxsga yoki ikkita alohida shaxsga tegishli ekanligini bashorat qiladi. Model bashoratlarini tekshirishning aniqlik foizi haqida xabar beriladi.

Jadval 1. Besh xil FR ko'rsatkichlari bo'yicha tekshirish aniqligi (%). Adolatli taqqoslash uchun barcha natijalar bir xil ML modeli va algoritmidan foydalangan holda nashr etilgan asl asarlardan olingan.

Keng miqyosdagi o'quv ma'lumotlar to'plamiga qo'shimcha ravishda, ma'lumotlar to'plamida minimal noto'g'ri ma'lumotlar mavjudligi ham bir xil darajada muhimdir. Avvalo, FR kontekstida tarafkashlik nimani anglatishini tushunish muhimdir. Umuman olganda, Mashinalarni o'rganish modeli uchun tarafkashlik har xil turdagi kirish ma'lumotlarida bir xilda ishlamaydigan modelni anglatadi. FR modeli turli yo'llar bilan qarama-qarshi bo'lishi mumkin.

Eng keng tarqalgan misol - etnik kelib chiqishiga bog'liqlik, bu erda FR modeli ma'lum bir etnik millatning yuzlari taqdim etilganda yomon ishlaydi.

Biroq, bu ishonchli FR modellarini olish uchun qarshi turish kerak bo'lgan yagona tarafkashlik emas. Yoshga bog'liqlik, jinsga bog'liqlik va atrof-muhitga bog'liqlik (yuzni qoplash, yuz sochlari va boshqalar) FR modeli qanday qilib noto'g'riligini ko'rsatishi mumkin bo'lgan boshqa misollardir. FR modelini o'rgatishda foydalaniladigan ma'lumotlar to'plamiga vakillik namunalarini to'plash va kiritish orqali bu noaniqliklarni minimallashtirish mumkin.

Turli millatlarga mansub, o‘n yildan o‘n besh yoshgacha bo‘lgan odamlarning suratlarini yoki odamning turli fondagi, turli yorug‘lik sharoitida, yuz ifodalari turlicha bo‘lgan suratlarini olish qiyin ish bo‘lishi mumkin.

Bundan tashqari, FR uchun real dunyo ma'lumotlarini yig'ish ko'plab boshqa muammolarni keltirib chiqaradi. Dunyo bo'ylab bunday keng ko'lamli turli xil ma'lumotlarni olish qimmatga tushadi. Xarajat va texnik cheklovlardan tashqari, axloqiy va maxfiylik muammolari tufayli ma'lumotlarni yig'ish tobora qiyinlashmoqda.

Biometrik ma'lumotlar Evropaning GDPR kabi qonunlari bilan tartibga solinadi ( Umumiy ma'lumotlarni himoya qilish to'g'risidagi nizom ), Kaliforniyaning CCPA ( Kaliforniya iste'molchilarining maxfiyligi to'g'risidagi qonun ) va Illionisning BIPA ( Biometrik ma'lumotlarning maxfiyligi to'g'risidagi qonun ), bir nechtasini nomlash.

Ushbu qonunlar tegishli rezidentlarning biometrik ma'lumotlarini olish va saqlashni tartibga soladi, bu esa keng ko'lamli biometrik ma'lumotlarni yig'ishni yanada murakkablashtiradi. FR ilovalariga talab ortib borayotganini inobatga olgan holda, hozir sintetik maʼlumotlarning hayotiyligini oʻrganish, masshtabli, axloqiy va qonuniy jihatdan mos keladigan yuzni aniqlash tizimlarini ishlab chiqish uchun uning afzalliklari va kamchiliklarini oʻrganish uchun muhim vaqt.

Ushbu muammolar Generativ AI (genAI) ning o'sishi bilan birgalikda haqiqiy dunyodagi sezgir biometrik ma'lumotlar o'rnini bosadigan sintetik ma'lumotlarni yaratish bo'yicha katta miqdordagi tadqiqotlarga turtki bo'ldi. FRdagi sintetik ma'lumotlarning hozirgi holatiga sho'ng'ishdan oldin, genAI nimani anglatishini tushunish kerak.

Oddiy so‘z bilan aytganda, genAI bu o‘rganilgan ma’lumotlar asosida matn, tasvir yoki musiqa kabi yangi kontent yaratishi mumkin bo‘lgan sun’iy intellektning bir turi bo‘lib, yaratilgan ma’lumotlar “sintetik ma’lumotlar” deb ataladi.

Yuzni aniqlash uchun GenAI, ayniqsa, bir nechta sabablarga ko'ra jozibador. Eng muhimi, sintetik ma'lumotlar to'plami sun'iy intellekt tomonidan yaratilgan, ya'ni tadqiqotchilar, muhandislar va ishqibozlar haqiqiy shaxslardan tasvirlarni olishning qo'lda jarayonidan o'tmasdan ma'lumotlar to'plamlarini qurishlari (va o'qitishlari) mumkin.

Haqiqiy tasvir ma'lumotlar to'plamini to'plash va ulardan foydalanishda ko'pgina muvofiqlik talablari sintetik ma'lumotlar uchun mavjud emas va nazariy jihatdan, haqiqiy tasvir ma'lumotlariga o'rgatilgan algoritmga olib kelishi mumkin bo'lgan noto'g'ri fikrlar sintetik ma'lumotlar bilan yaxshiroq hisobga olinishi mumkin.

Biroq, sintetik yuz ma'lumotlar to'plami hali kumush o'q emas. Ushbu maqolaning keyingi bo'limlari sintetik ma'lumotlar to'plamlari qayerda porlashi, qayerda qisqarishi va yuzni aniqlash uchun genAIning hozirgi holatini qamrab oladi.

Yuzni tanib olishda sintetik ma'lumotlarning afzalliklari

Sintetik ma'lumotlar bir qancha afzalliklarni taqdim etadi, bu esa uni yuzni aniqlash texnologiyasini ishlab chiqishda qimmatli vositaga aylantiradi. Asosiy afzalliklardan biri shundaki, sintetik ma'lumotlar to'plami haqiqiy odamlarning rasmlarini olishni talab qilmaydi. Sintetik ma'lumotlar haqiqiy shaxsiy ma'lumotlardan to'g'ridan-to'g'ri foydalanmaydi, shuning uchun foydalanishga rozilik va unutish huquqlari kabi maxfiylikka rioya qilish talablari ko'tarilmaydi.

Sintetik ma'lumotlarni yaratish, shuningdek, katta hajmdagi real ma'lumotlarni to'plash va izohlashdan ko'ra tejamkorroq bo'lishi mumkin, bu ma'lumotlar to'plamining qonuniy va axloqiy jihatdan muvofiqligini ta'minlash uchun sarflangan vaqt va resurslarga qo'shimcha ravishda, qo'lda, ko'p vaqt talab qiladi, va qimmat jarayon. Sintetik ma'lumotlar muayyan o'zgaruvchilarni boshqarish mumkin bo'lgan boshqariladigan muhitlarni yaratishga imkon beradi, bu esa yuzni aniqlash modellarini sinash va nozik sozlashda yordam beradi.

Bundan tashqari, sintetik ma'lumotlar katta ma'lumotlar to'plamini yaratish va olishni osonlashtiradi, ayniqsa haqiqiy ma'lumotlar kam bo'lgan, to'plash qiyin bo'lgan yoki qonuniy talablar va axloqiy mulohazalar bunday to'plashni asoslab bo'lmaydigan holatlarda. GenAI usullari mavjud real dunyo ma'lumotlar to'plamini to'ldirish, noto'g'rilikni kamaytirish uchun bo'shliqlarni to'ldirish uchun ham ishlatilishi mumkin; demografik yoki boshqa.

Misol tariqasida, ommaga e'lon qilingan ko'plab keng ko'lamli yuz ma'lumotlar to'plamlari asosan kavkaz identifikatorlaridan iborat bo'lib, bunday ma'lumotlar bo'yicha o'qitilgan ML modellarida demografik tarafkashlikni keltirib chiqaradi. Buni sintetik ma'lumotlar to'plami bilan osongina tuzatish mumkin.

Yuzni tanib olishda sintetik ma'lumotlarning joriy cheklovlari

Tasvir domeni uchun Generative Adversarial Networks (GANs) ma'lumotlarni yaratish uchun ishlatiladigan eng mashhur modellardan biridir. Nvidia kompaniyasi Stylegan , va Stylegan2 haqiqiy yuzlardan farq qilmaydigan sintetik yuz tasvirlarini yaratishda ajoyib ishlarni amalga oshirdilar. Microsoft tadqiqotchilari Digiface - 1 m , Kim va boshqalar DiscoGAN , Tencents Synface , va Michigan shtat universiteti DCFace boshqalar qatorida yuzni tanib olish uchun sintetik ma'lumotlar to'plamini yaratishda sezilarli yutuqlarga erishdi va real ma'lumotlarda ijobiy natijalarni ko'rsatdi.

Biroq, bu usullarning barchasi xarajat, vaqt, yaratilishi mumkin bo'lgan noyob identifikatorlar soni va ishlash jihatidan cheklovlarga ega. darajasigacha emas real yuz ma'lumotlar to'plamida o'qitilgan modellar bilan.

Nazariy jihatdan, "haqiqiy ko'rinadigan" yuzlar va etnik kelib chiqishi, jinsi, pozasi, yorug'ligi va fon o'zgarishi uchun boshqariladigan turli atributlarga ega sintetik ma'lumotlar to'plami haqiqiy "yovvoyi" ma'lumotlar to'plamidan ustun bo'lishi kerak. Nima uchun ushbu ma'lumotlar to'plamida o'qitilgan modellarning ishlashi bir xil o'lchamdagi real dunyo ma'lumotlar to'plamida o'qitilgan modellarga yaqin emas? Bu savolga javob haqiqiy ma'lumotlarning nazoratsiz xususiyatlarida yotadi. Haqiqiy ma'lumotlardagi o'zgarishlarning kattaligi hozirgacha nashr etilgan biron bir tadqiqot tomonidan to'liq aniqlanmagan.

Ma'lumotlar to'plamidagi barcha sintetik identifikatsiyalar uchun bir xil cheklangan miqdordagi o'zgarishlarga ega bo'lish modelning ishlashiga putur etkazadi. Variantlarni ko'paytirishga urinish yuzning identifikatori ham o'zgarishiga olib keladi, bu esa ma'lumotlarda shovqinni keltirib chiqaradi va yana model ishlashiga putur etkazadi.

Sintetik yuz ma'lumotlar to'plamining hozirgi holati

2-jadvalda turli xil sintetik ma'lumotlar to'plamlarida o'qitilgan bir xil FR modeli arxitekturasining (Resnet 50) ishlashi ko'rsatilgan. Taxminan bir xil o'lchamdagi haqiqiy ma'lumotlar to'plamida o'qitilgan modelning asosiy ishlashi ham ro'yxatga olingan. Jadvalda har bir sintetik ma'lumotlar uchun chiqarilgan yil ham ko'rsatilgan.

Jadval 2. Sintetik ma'lumotlar bo'yicha o'qitilgan modellar tomonidan erishilgan keng tarqalgan ishlatiladigan FR baholash ma'lumotlar to'plamlari bo'yicha tekshirish aniqligi (%). Birinchi qator o'xshash o'lchamdagi real dunyo ma'lumotlarida model tomonidan erishilgan asosiy ko'rsatkichdir. Barcha natijalar bir xil ML modeli va algoritmidan foydalangan holda asl nashr etilgan ishlardan olingan.

2-jadvaldan ko'rinib turibdiki, sintetik ma'lumotlarga o'rgatilgan modellar haqiqiy ma'lumotlarga o'rgatilgan modellar kabi yaxshi ishlamaydi. "LFW" kabi "oddiy" va kichik ma'lumotlar to'plamlarida ishlash bo'shlig'i kichik bo'lsa-da, bo'shliq yuzlarning profil ko'rinishi namunalarini o'z ichiga olgan CFP-FP va Agedb-30 kabi boshqa qattiqroq ma'lumotlar to'plamlarida ko'proq aniqlanadi. mos ravishda bir necha yoshdagi odam.

Shunisi e'tiborga loyiqki, so'nggi yillarda sintetik ma'lumotlarga o'rgatilgan modellarning ishlashi yaxshilandi.

Sintetik ma'lumotlarning samaradorligini tekshirish muammo bo'lib qolmoqda. Sintetik ma'lumotlarning real sharoitlarni to'g'ri aks ettirishini ta'minlash ishonchli yuzni aniqlash tizimlarini yaratish uchun juda muhimdir. Biroq, tasdiqlash jarayoni murakkab va ma'lumotlar sifati va qo'llanilishini ta'minlash uchun mustahkam metodologiyalarni talab qiladi.

Mumkin bo'lgan yechim sintetik ma'lumotlarda ushbu xususiyatlarni taqlid qila oladigan genAI modelini ishlab chiqishdir. Generativ modelni yuz atributlari, tasvir sifati va fon o'zgarishidagi ko'plab o'zgarishlarni o'z ichiga olgan haqiqiy dunyo ma'lumotlar to'plamiga o'rgatish orqali ushbu cheklovlarni engib o'tishga o'rgatish mumkin. Bunday ma'lumotlar qayerdan kelib chiqishi mumkinligi haqida savol berish o'rinli. Bunday ma'lumotlarni yig'ish yuqorida aytib o'tilgan barcha cheklovlarga, ya'ni axloqiy, huquqiy va xarajat cheklovlariga duch keladi.

Biroq, ular generativ FR modellarini o'qitish uchun zarur bo'lgan kichikroq ma'lumotlar to'plami hajmi bilan yumshatiladi. Nvidia kompaniyasi StyleGAN2 real yuz tasvirlarini yaratishi mumkin, faqat o'qitilgan 70 000 ta rasm , va ma'lumotlar to'plamidagi yuzlarning identifikatori haqida ma'lumotni o'z ichiga olmaydi. Bu tasvirlar FR ni hisobga olgan holda yig‘ilmagan va model ham shu maqsadda o‘rganilmagan, shuning uchun StyleGAN2 tomonidan yaratilgan sintetik FR ma’lumotlar to‘plamida o‘qitilgan modellar real ishlashga mos kelmaydi.

Xulosa

Sintetik ma'lumotlar yuzni aniqlash texnologiyasini rivojlantirish uchun va'da beradi, ammo uning mavjud cheklovlarini tan olish juda muhimdir. GenAI afzalliklariga sintetik namunalarning realizmi hamda yuz ifodalari, bosh pozasi, yuz sochlari kabi xususiyatlarni yaxshilash yoki yaxshilash uchun tasvirlarni nozik sozlash qulayligi kiradi. Haqiqiy va sintetik ma'lumotlarga o'rgatilgan modellar orasidagi ishlash farqi. ahamiyatli.

Sintetik ma'lumotlar hali yaxshi tanlangan haqiqiy ma'lumotlar to'plamining o'rnini bosa olmaydi. Shunga qaramay, sintetik yuz ma'lumotlarining sifati haqiqiy ma'lumotlarning sifatiga mos keladi, chunki ma'lumotlarni ishlab chiqarish texnikasi yaxshilanadi va shuning uchun yaqin kelajakda sintetik ma'lumotlar haqiqiy ma'lumotlardan foydalanish zaruratini butunlay yo'q qilishi mumkin deb taxmin qilishimiz mumkin. -FR treningi uchun dunyo yuzi ma'lumotlari.

Xususiyat tasviri tomonidan Stiven Mead