Üz tanıma sistemində sintetik məlumatlar: oyun dəyişdirici və ya sadəcə şırınga?

Sifətin tanınması (FR) texnologiyası son illərdə əhəmiyyətli dərəcədə inkişaf etmişdir. Bu, gücləndirilmiş təhlükəsizlik ehtiyacı və aşağı səviyyəli istehlakçı cihazları, təyyarəyə minmə, sərhəd nəzarəti və maliyyə xidmətləri kimi sənayelərdə tətbiqlərin yayılması ilə əlaqədardır. Effektiv FR sistemlərinin qəlbində mühüm komponent - verilənlər yatır. Geniş miqyaslı məlumat dəstləri müxtəlif şəraitlərdə üzləri dəqiq müəyyən etmək və yoxlamaq üçün bu modelləri öyrətmək üçün vacibdir.

FR-nin etibarlı olması üçün modellər demoqrafik, işıqlandırma, mühit, ifadələr və tıkanıklıqlardakı dəyişiklikləri ehtiva edən müxtəlif məlumatlara məruz qalmalıdır. Bu, yerləşdirmədə möhkəmlik və ədalətliliyi təmin edir, naməlum şərtlərlə qarşılaşdıqda qərəzlilik və ya uğursuzluq riskini azaldır.

GenAI texnikalarından istifadə etməklə yaradılmış sintetik verilənlər dəstləri potensial olaraq kömək edə bilər, lakin hazırkı vəziyyətdə onlar real dünya məlumat dəstlərini tam əvəz edə bilməz. Bu məqalə sintetik FR məlumat dəstlərinin üstünlüklərini və çatışmazlıqlarını araşdırır və sifətin tanınması üçün genAI-nin mövcud vəziyyətini araşdırır.

Üz Məlumatlarının Alınması: Real Dünyaya qarşı Sintetik

LFW , Cfp-fp , Agedb-30 , Ca-lfw və Cp-lfw FR modellərinin yoxlama performansını qiymətləndirmək üçün istifadə edilən ən çox istifadə olunan verilənlər bazalarından bəziləridir. Cədvəl 1. eyni alqoritmlə öyrədilmiş ML modelinin müxtəlif ölçülü real dünya üz datasetlərində yoxlama performansını göstərir.

Verilənlər toplusunun ölçüsünün model performansına və möhkəm FR modellərini əldə etmək üçün məlumatların əldə edilməsinin miqyasına necə təsir etdiyini görmək olar. Doğrulama o deməkdir ki, modelə bir cüt üz təsviri verilir və o, üz cütünün eyni şəxsə və ya iki ayrı şəxsə aid olduğunu təxmin edir. Model proqnozlarının yoxlanış dəqiqliyi faizi bildirilir.

Cədvəl 1. Beş fərqli FR meyarları üzrə yoxlama dəqiqlikləri (%). Ədalətli müqayisə üçün bütün nəticələr eyni ML modeli və alqoritmindən istifadə edərək orijinal nəşr olunmuş əsərlərdən əldə edilmişdir.

Geniş miqyaslı təlim verilənlər toplusuna əlavə olaraq, verilənlər bazasında minimum qərəzliliklərin olması da eyni dərəcədə vacibdir. Əvvəlcə FR kontekstində qərəzin nə demək olduğunu başa düşmək vacibdir. Ümumiyyətlə, Maşın Öyrənmə modeli üçün qərəz, müxtəlif növ giriş məlumatlarında eyni davranmayan modelə aiddir. FR modeli müxtəlif yollarla qərəzli ola bilər.

Ən ümumi nümunə etnik mənsubiyyətə meyldir, burada FR modeli müəyyən etnik mənsubiyyətin simaları təqdim edildikdə zəif performans göstərməyə meyllidir.

Bununla belə, bu, etibarlı FR modellərini əldə etmək üçün qarşısı alınmalı olan yeganə qərəzlilik deyil. Yaş qərəzi, gender qərəzliyi və ətraf mühitə meyl (üz örtükləri, üz tükləri və s.) FR modelinin qərəz nümayiş etdirə biləcəyinə dair bəzi digər nümunələrdir. Bu qərəzlilikləri FR modelini öyrətmək üçün istifadə edilən məlumat dəstinə təmsilçi nümunələri toplamaq və daxil etməklə minimuma endirmək olar.

On-on beş yaş fərqi olan müxtəlif etnik insanların fotoşəkillərini və ya müxtəlif fonlarda, müxtəlif işıqlandırma şəraitində, fərqli üz ifadələri ilə bir insanın fotoşəkillərini əldə etmək çətin bir iş ola bilər.

Bundan əlavə, FR üçün real dünya məlumatlarının toplanması çoxsaylı digər çətinliklər yaradır. Dünyanın hər yerindən belə geniş miqyaslı müxtəlif məlumatların əldə edilməsi baha başa gəlir. Xərc və texniki məhdudiyyətlərdən başqa, etik və məxfilik problemləri səbəbindən məlumatların əldə edilməsi getdikcə çətinləşir.

Biometrik məlumatlar Avropanın GDPR kimi qanunlarla tənzimlənir ( Ümumi Məlumatların Qorunması Qaydası ), Kaliforniyanın CCPA ( Kaliforniya İstehlakçı Məxfilik Aktı ) və Illionisin BIPA ( Biometrik məlumatların məxfiliyi haqqında qanun ), bir neçəsini sadalayaq.

Bu qanunlar müvafiq sakinlərin biometrik məlumatlarının əldə edilməsini və saxlanmasını tənzimləyir və bu, irimiqyaslı biometrik məlumatların əldə edilməsinə daha da mürəkkəblik əlavə edir. FR tətbiqlərinə artan tələbatı nəzərə alaraq, hazırda genişlənən, etik və qanuni tələblərə cavab verən üz tanıma sistemlərinin inkişafı üçün sintetik məlumatların həyat qabiliyyətini araşdırmaq, onun üstünlüklərini və çatışmazlıqlarını araşdırmaq üçün həlledici vaxtdır.

Generativ AI-nin (genAI) yüksəlişi ilə birlikdə bu problemlər real dünyadakı həssas biometrik məlumatları əvəz etmək üçün sintetik məlumatların yaradılması üçün böyük həcmdə araşdırmalara səbəb oldu. FR-də sintetik məlumatların hazırkı vəziyyətinə keçməzdən əvvəl genAI-nin nə demək olduğunu başa düşmək vacibdir.

Sadə dillə desək, genAI təlim keçdiyi məlumatlar əsasında mətn, şəkillər və ya musiqi kimi yeni məzmun yarada bilən süni intellekt növüdür və yaradılan məlumatlara “sintetik məlumat” deyilir.

Üz tanınması üçün GenAI bir çox səbəblərə görə xüsusilə cəlbedicidir. Ən əsası, sintetik məlumat dəstləri süni intellekt tərəfindən yaradılır, yəni tədqiqatçılar, mühəndislər və həvəskarlar real fərdlərdən şəkillərin əldə edilməsi prosesindən keçmədən məlumat dəstləri qura (və məşq edə bilərlər).

Həqiqi təsvir verilənlər toplusunun toplanması və istifadəsində bir çox uyğunluq tələbləri sintetik məlumatlar üçün mövcud deyil və nəzəri olaraq, real görüntü verilənləri üzərində öyrədilmiş alqoritmlə nəticələnə biləcək qərəzlər sintetik məlumatlarla daha yaxşı hesablana bilər.

Bununla belə, sintetik üz məlumat dəstləri hələ gümüş güllə deyil. Bu məqalədəki aşağıdakı bölmələr sintetik məlumat dəstlərinin harada parıldadığını, harada qısa olduğunu və üz tanınması üçün genAI-nin cari vəziyyətini əhatə edir.

Üzün tanınmasında sintetik məlumatların üstünlükləri

Sintetik məlumatlar onu sifətin tanınması texnologiyasının inkişafında dəyərli alətə çevirən bir sıra üstünlüklər təklif edir. Əsas üstünlüklərdən biri odur ki, sintetik məlumat dəstləri real insanların şəkillərini əldə etməyi tələb etmir. Sintetik məlumatlar birbaşa real şəxsi məlumatlardan istifadə etmir, buna görə də istifadəyə razılıq və unudulma hüquqları kimi məxfiliyə uyğunluq tələbləri qaldırılmır.

Sintetik məlumatların yaradılması, həmçinin, belə bir məlumat dəstinin qanuni və etik cəhətdən uyğun olmasını təmin etmək üçün sərf olunan vaxt və resurslara əlavə olaraq, əl işi, vaxt aparan böyük həcmdə real dünya məlumatlarının toplanması və şərh edilməsindən daha sərfəli ola bilər. və bahalı prosesdir. Sintetik məlumatlar sifətin tanınması modellərinin sınanmasına və dəqiq tənzimlənməsinə kömək edərək, xüsusi dəyişənlərin manipulyasiya oluna biləcəyi idarə olunan mühitlərin yaradılmasına imkan verir.

Bundan əlavə, sintetik məlumatlar, xüsusən də real dünya məlumatlarının az olduğu, toplanması çətin olduğu və ya qanuni tələblər və etik mülahizələrin bu cür toplanması qeyri-mümkün etdiyi vəziyyətlərdə böyük məlumat dəstlərinin yaradılmasını və əldə edilməsini asanlaşdırır. GenAI metodları həmçinin mövcud real dünya məlumat dəstini əlavə etmək, qərəzləri azaltmaq üçün boşluqları doldurmaq üçün istifadə edilə bilər; demoqrafik və ya başqa.

Nümunə olaraq, ictimaiyyətə açıqlanan irimiqyaslı üz məlumat dəstlərinin çoxu əsasən Qafqaz kimliklərindən ibarətdir ki, bu da bu cür məlumatlar əsasında hazırlanmış ML modellərində demoqrafik qərəzliliyə səbəb olur. Bu, sintetik məlumat dəsti ilə asanlıqla düzəldilə bilər.

Üzün tanınmasında sintetik məlumatların cari məhdudiyyətləri

Şəkil domeni üçün Generativ Rəqib Şəbəkələr (GANs) məlumat yaratmaq üçün istifadə olunan ən məşhur modellərdən biridir. Nvidia-nın Styleqan , və Styleqan2 real üzlərdən fərqlənməyən sintetik üz təsvirlərinin yaradılmasında möcüzələr yaratmışlar. Microsoft-un tədqiqatçıları Digiface-1m , Kim və başqaları DiscoGAN , Tencents' Sinfas , və Michigan State University DCFace digərləri arasında sifətin tanınması üçün sintetik verilənlər toplusunun yaradılmasında əhəmiyyətli irəliləyiş əldə etmiş və real dünya məlumatlarında müsbət nəticələr nümayiş etdirmişdir.

Bununla belə, bütün bu texnikaların ya xərc, vaxt, yaradıla bilən unikal identifikasiyaların sayı və performans baxımından məhdudiyyətləri var. qədər deyil real üz verilənlər bazasında öyrədilmiş modellərlə.

Nəzəri olaraq, "real görünən" üzləri olan və etnik mənsubiyyət, cins, poza, işıqlandırma və fon dəyişikliyi üçün idarə olunan müxtəlif atributları olan sintetik verilənlər bazası real "vəhşi" verilənlər toplusundan üstün olmalıdır. Bəs niyə bu verilənlər dəstləri üzərində öyrədilmiş modellərin performansı eyni ölçülü real dünya verilənlər bazasında öyrədilmiş modellərə yaxın deyil? Bu sualın cavabı real dünya məlumatlarının özünün nəzarətsiz xüsusiyyətlərindədir. Həqiqi məlumatdakı dəyişikliklərin böyüklüyü indiyə qədər heç bir nəşr edilmiş tədqiqat tərəfindən tam olaraq tutulmamışdır.

Verilənlər toplusunda bütün sintetik identifikasiyalar üçün eyni məhdud sayda variasiyaya malik olmaq modelin performansına mənfi təsir göstərir. Dəyişiklikləri artırmaq cəhdi üzün şəxsiyyətinin də dəyişməsi ilə nəticələnir ki, bu da məlumatlarda səs-küyə səbəb olur və yenidən model performansına zərər verir.

Sintetik Üz Datasetlərinin Hazırkı Vəziyyəti

Cədvəl 2. müxtəlif sintetik verilənlər dəstləri üzərində öyrədilmiş eyni FR model arxitekturasının (Resnet 50) performansını sadalayır. Təxminən eyni ölçülü orijinal verilənlər toplusunda təlim keçmiş model üçün baza performansı da sadalanır. Cədvəldə hər bir sintetik məlumat üçün buraxılış ili də göstərilir.

Cədvəl 2. Sintetik məlumatlar üzərində təlim keçmiş modellər tərəfindən əldə edilən geniş istifadə olunan FR qiymətləndirmə məlumat dəstləri üzrə yoxlama dəqiqlikləri (%). Birinci sıra oxşar ölçülü real dünya məlumatlarında modelin əldə etdiyi əsas performansdır. Bütün nəticələr eyni ML modeli və alqoritmindən istifadə edərək orijinal nəşr olunmuş əsərlərdən əldə edilmişdir.

Cədvəl 2-dən göründüyü kimi, sintetik məlumatlar üzərində öyrədilmiş modellər real dünya məlumatlarında öyrədilmiş modellər kimi yaxşı performans göstərmir. "LFW" kimi "sadə" və kiçik verilənlər bazalarında performans boşluğu kiçik olsa da, boşluq üzlərin profil görünüşlərinin nümunələrini və eyni üzlərin üzlərini ehtiva edən CFP-FP və Agedb-30 kimi digər daha sərt məlumat dəstlərində daha qabarıq görünür. müvafiq olaraq bir çox yaşları əhatə edən şəxs.

Diqqətəlayiqdir ki, sintetik məlumatlar üzərində təlim keçmiş modellərin performansı son illərdə yaxşılaşmışdır.

Sintetik məlumatların effektivliyini yoxlamaq problem olaraq qalır. Sintetik məlumatların real dünya şərtlərini dəqiq şəkildə təmsil etməsinin təmin edilməsi etibarlı üz tanıma sistemlərinin qurulması üçün çox vacibdir. Bununla belə, təsdiqləmə prosesi mürəkkəbdir və məlumatların keyfiyyətini və tətbiqini təmin etmək üçün möhkəm metodologiyalar tələb edir.

Mümkün həll yolu sintetik məlumatlarda bu xüsusiyyətləri təqlid edə bilən genAI modelinin hazırlanmasıdır. Generativ modeli üz atributlarında, təsvirin keyfiyyətində və fon dəyişkənliyində çoxlu variasiyaları ehtiva edən real dünya verilənlər bazasında öyrətməklə bu məhdudiyyətləri aradan qaldırmaq üçün öyrədilə bilər. Belə məlumatların haradan gəldiyini sual etmək ağlabatandır. Bu cür məlumatların əldə edilməsi yuxarıda qeyd olunan bütün məhdudiyyətlərlə, yəni etik, hüquqi və xərc məhdudiyyətləri ilə üzləşəcək.

Bununla belə, bunlar generativ FR modellərini hazırlamaq üçün tələb olunan daha kiçik verilənlər bazası ölçüsü ilə azaldılır. Nvidia-nın StyleGAN2 real üz şəkilləri yarada bilər, yalnız öyrədilib 70.000 şəkil , və datasetdəki üzlərin kimliyi haqqında məlumat ehtiva etmir. Bu şəkillər FR nəzərə alınmaqla yığılmayıb və model də bu məqsəd üçün hazırlanmayıb, buna görə StyleGAN2 tərəfindən yaradılan sintetik FR məlumat dəstləri üzərində təlim keçmiş modellər real dünya performansına uyğun gəlmir.

Nəticə

Sintetik məlumatlar sifətin tanınması texnologiyasının inkişafı üçün vəd verir, lakin onun mövcud məhdudiyyətlərini tanımaq vacibdir. GenAI üstünlüklərinə sintetik nümunələrin realizmi və üz ifadələri, baş pozası, üz tükləri və s. kimi xüsusiyyətləri artırmaq və ya zəiflətmək üçün şəkillərin incə tənzimlənməsinin asanlığı daxil olsa da, real və sintetik məlumatlarla öyrədilmiş modellər arasındakı performans fərqi belədir. əhəmiyyətli.

Sintetik məlumatlar hələ yaxşı seçilmiş real məlumat dəstlərini əvəz etmir. Bununla belə, sintetik üz məlumatlarının keyfiyyəti, məlumat yaratma texnikaları təkmilləşdikcə real dünya məlumatlarının keyfiyyətinə çatır və beləliklə, yaxın gələcəkdə sintetik məlumatların real istifadə ehtiyacını tamamilə aradan qaldıracağını təxmin edə bilərik. -FR təlimi üçün dünya üz məlumatları.

Xüsusiyyət Şəkli tərəfindən Steph Meade