Pourquoi AI Esengeli Ebungisa (Mwa) Pona Reconnaître Elongi Na Yo Mieux

Bokoli monene esalemi na Reconnaissance ya Elongi na bambula oyo euti koleka. Botali oyo epesi botali mokuse ya misala ya ntina, ba modèles, pe ba méthodes ya solution, na kotalaka mingi évolution ya ba fonctions ya perte.

Na mokuse, Face Recognition ezali lolenge ya koyeba to ko vérifier identité ya mutu na nzela ya ba photos, ba vidéos, to ba images en temps réel. Botali oyo ekotala botalisi oyo esalemi na nzela ya elilingi moko ya nimero to cadre ya video.

Reconnaissance ya elongi mpe ba mise en œuvre na yango

Koyeba elongi (FR) ezali na makambo oyo ekoki kosalelama mosika. Esalelamaka na secteur financier, na cybersécurité, surveillance vidéo, ba services ya ndako ya mayele, authentification multi-facteur, etc.

Longola ba usages pratiques oyo, ba modèles FR e jouaka pe rôle ya tina na ba modèles génératifs modernes. Basalelaka yango mingi mpo na bobungisi ya identification na ba modèles ya Restoration ya Elongi lokola GFPGAN mpe CodeFormer, bisaleli ya Face Swapping lokola SimSwap mpe FaceShifter, ba modèles oyo esalemi na Image-to-Image GAN lokola pSp mpe HyperStyle, mpe lisusu na ba modèles ya Transformer-based mpe Stable Diffusion mpo na kobatela identité.

ArcFace (2018–2019) ezali fonction ya perte ya identification oyo esalelamaka mingi, alors que CosFace (2018) na FaceNet esalelamaka mingi te.

Mpo na botali oyo, nakotala mingi lolenge nini paysage ya FR ebongwanaki uta ArcFace, mingimingi na bambula oyo euti koleka.

Botali mokuse ya Pipeline ya Reconnaissance ya Elongi

Reconnaissance ya Fce esengaka mua pré-traitement : détection ya elongi, cropping, na alignment. Prétraitement esengeli kozala ndenge moko pona ba données ya formation pe ya test, mingi mingi kosalela alignment lokola FFHQ (Flickr-Faces-HQ Dataset). Na momesano, ba détecteurs mibale ekeseni ya kobakisa esalelamaka mpo na yango: détecteur ya boîte-bounding ya elongi mpe détecteur ya bilembo ya elongi. Ezali na ba modèles ya suka na suka, na alignment oyo e former elongo na modèle principal, kasi na considérer yango te na eteni oyo ya revue. Awa, tozali kokanisa ete ba ensembles ya ba données ya formation na test ezali uniformément cropped mpe alignés. Na yango, modèle ezali koleisama na ba entrées cropped mpe alignées.

Na ensemble ya ba données ya formation pona mosala ya FR, ezali na bilili ebele pona identité moko moko (moto). Mosala ya modèle ezali ya koyekola kokesenisa ba photos oyo ezali ya mutu moko na ba photos ya batu différents.

Mbala mingi, modèle yango ezalaka na biloko mibale:

• Mokuwa ya mokɔngɔ. Mokuwa ya mokɔngɔ, oyo ekoki mpe kobengama extracteur ya ba fonctionnalités, ezuaka photo ya elongi oyo esalemi liboso lokola entrée mpe ebimisaka vecteur ya fonctionnalité ya ba embeddings. Ba mokuwa ya mokɔngɔ ya kala ezali ba réseaux neuronaux convolutionnels (CNN) lokola ResNet, VGGNet, ResFace, SE-ResNet mpe mosusu. Yango ekoki pe kozala ba modèles ya VisionTransformer to Feature Pyramid Network to ba variations na bango ya complexe mingi. Tokofanda te na bozindo na mikuwa ya mokɔngɔ ya ba modèles na eteni oyo ya botali.

  
  

• Mosala ya kobungisa. Na étape ya formation, fonction ya perte esalemaka pona ko superviser formation ya mokuwa ya mokɔngɔ. Objectif ya formation ezali ya kozua modèle oyo eko produire ba embeddings proches pona ba photos différentes ya mutu moko pe ba oyo ya mosika pona ba faces ya ba personnes différentes. Tozali kolobela komeka ntaka kati ya ba vecteurs ya kokɔtisa na kosalelaka, ndakisa, ntaka ya cosine to ntaka ya L2.

Mitindo ya misala ya bobungisi

Kobungisa oyo esalemi na ba paire

Catégorie ya liboso babengaka yango «perte basée na ba paires», tango mosusu babengaka yango «méthodes métriques à base de apprentissage» : Perte contrastive, Perte triplet, perte N-paire.

Ba méthodes oyo esangisaka ba paires ya échantillon positif na négatif avant formation ya modèle soit esangisaka dynamiquement ba paires d’échantillon en ligne na tango ya formation. Ba modes oyo mibale epesaka nzela ya kobimisa ba représentations faciales ya tina na niveau ya échantillon kasi elingaki komatisaka exponentiellement taille ya ba données.

Scheme ya formation oyo esalelaka perte ya triplet ezo monana boye. Bandakisa mibale oyo ezali na étiquette moko esengeli kozala na ba embeddings na yango pene esika moko na esika ya kokɔtisa. Bandakisa mibale oyo ezali na ba étiquettes ekeseni ezali na ba embeddings na yango mosika.

Bokoli ya noki ya motango ya ba paires possibles na taille ya ensemble ya ba données e obliger biso toluka ba stratégies ya sélection ya ba paires, oyo mingi mingi ezalaka empirique mpe computationally complexe.

Bobungisi oyo esalemi na kotalela botangi

Catégorie mosusu babengaka yango «perte basé na classification» to tango mosusu babengaka yango «méthodes basées sur le apprentissage prototype» : perte ya Softmax, CosFace, ArcFace, NormFace. Basalaka na ba informations généralisées sur ba classes en utilisant prototype, oyo babengaka pe proxy ya classe to centre ya classe. Ba prototypes ezali ba paramètres oyo ekoki koyekola, oyo ezongisami na tango na tango ya formation ya modèle. Sikawa, ba pertes oyo esalemi na classification esalelamaka mingi mingi pona ba modèles ya reconnaissance ya elongi.

Lisolo ya ba pertes oyo esalemi na classification

Soki totali mosala ya FR lokola classification, alors tokoki kosalela perte ya softmax (kombo mosusu ezali perte ya entropie croisée categorique). Na tina, perte ya Softmax ezali fonction ya activation ya Softmax + perte ya Cross-Entropy.

Tomikundola ba formules. Ya liboso ezali activation ya Softmax, mpe ya mibale ezali perte ya Cross-Entropy.

Kosangisa kozwa:

Fonction ya perte ezuaka résultat ya couche ya suka oyo ekangami mobimba, esika θ elakisi caractéristique ya intégration ya image ya entraînement d, θ elakisi étiquette ya c mpe e elakisi kilo ya couche ya suka oyo ekangami mobimba.

Yango esalaka, kasi ezali na likambo moko - ba frontières entre ba classes ezali flou. Etape ya sika na FR esalemaki na 2018 na boyei ya modèle ArcFace. Base etikali perte ya softmax, kasi tozali kokende na kotalela ba angles entre ba vecteurs. Tomikundola bokokani ya formule ya cosine:

Tosala substitution na formule ya perte ya softmax

Na nsima, babakisi marge mpo ete ba angles intra-classe ezala mike mpe ba angles inter-classe ezala minene. Yango epesaka écart entre ba classes au lieu ya ba frontières floues ya perte ya softmax.

Ba méthodes ya ndenge moko : soki to remplacer cos(θ + m) na cos θ − m tokozua perte ya CosFace.

Na ba méthodes basées na Softmax, prototype etalelami lokola ebombami na matrice ya coefficient ya couche linéaire ya suka, c’est-à-dire, Pi = Wi, prototype ezongisami na tango na kosalelaka gradient na yango na backpropagation (yango wana kombo «méthodes basées na apprentissage ya prototype» ebimaki).

Wana nde esika histoire ya ba fonctions ya perte moderne pona FR ebandi. Na boumeli ya bambula, mbongwana mpe kobongisama mingi esalemi, kasi ba formules oyo epesami awa na likoló ekoki mpo na kososola makambo mosusu.

Sous-centre ArcFace ezali

Moko ya ba améliorations ebimaki na 2020, babengi yango Sub-center ArcFace mpe esalemi pona ba ensembles ya ba données ya makelele. Contrainte ya compactité intra-classe ememaka na surfitting na ba données ya makelele. Sous-centre ArcFace ekotisaka ba sous-classes. Échantillon na lote ya formation esengeli ezala pene na moko ya ba sous-centre positifs, nionso te. Yango ekitisaka bopusi ya makelele na ba données.

Ba modèles nionso mibale ArcFace na Sub-center ArcFace ezali na ba implémentations na kati ya bibliothèque ya insightface, y compris code ya entraînement na ba poids prétrainés.

Insightface ezali na mise en œuvre ya ArcFace na ba mokuwa ya mokɔngɔ ndenge na ndenge : iresnet (34.50.100.200.2060), mobilefacenet, vit (VisionTransformer).

Kotalela mikuwa ya mokɔngɔ ndenge na ndenge ezali koleka ndelo ya lisolo oyo, yango wana nakopesa kaka bankombo ya mikuwa ya mokɔngɔ oyo esalelami elongo na mokomoko ya bapertes oyo tozali kotalela. Mbala mingi, bakomi ya ba pertes bamekaki te kopona mokuwa ya mokɔngɔ oyo eleki malamu, kasi basalelaki kaka moko ya oyo bato mingi balingaka to oyo basalelaki na ba modèles oyo balingaki kosala comparaison na yango.

Ba ensembles ya ba données MS1M, Glint360K, WebFace42M esalemaki pona formation.

Marge flexible

Mokakatano monene mpo na mayele ya koyeba elongi ezali makelele ya ba données. Ba méthodes oyo esalemi na apprentissage ya prototype ezali sensibles na ba bias ya prototype oyo makelele ekotisaka. Lolenge moko ya kosala équilibre entre surfitting na sous-fitting ezali ya ko ajuster marge, paramètre principal na ba pertes softmax-base.

AdaCos, oyo ezali

Moko ya ba méthodes ya liboso ya ko ajuster échelle na marge angulaire pona ba pertes softmax basées na cosine lokola L2-softmax, CosFace na ArcFace.

Ezali kosalela principe empirique oyo elobi que vitesse ya apprentissage esengeli ekita tango réseau ezali ko optimiser. Article ekotisi variable modulante oyo ekokani na médiane ya ba angles nionso na mini-lote pona ba classes correspondantes, oyo ezali ko représenter grossièrement degré actuel ya optimisation ya modèle. Tango angle médiane ezali munene, ba paramètres ya grille ezali mosika na optimal pe échelle ya munene pe marge esalemi, pe vice versa.

Formé na ba ensembles ya ba données CASIA-WebFace na MS1M, résolution ya entrée 144 × 144. Testé na ba ensembles ya ba données LFW, MegaFace na IJB-C, par rapport na ba pertes L2-softmax, CosFace na ArcFace.

Na bambula oyo eleki, ba méthodes ya repère ebele ebimaki pona kosalela marge adaptative na FR, lokola Dyn-ArcFace (2022), MagFace (2021), ElasticFace (2021), kasi tokotala mingi moko ya misala ya sika na domaine oyo – X2-Softmax (2023).

X2-Softmax oyo ezali na kati

Soki tokokanisi yango na AdaCos, X2-Softmax emekaka kopesa ntina ya bopanzani ya ba classes inégale. Marge fixe oyo ebongi kati na ba classes mosusu, ekoki kozala munene mingi mpo na ko converger entre ba classes mosusu, to moke mingi mpo na ko promouvoir compactité intra-classe significative ya ba éléments ya elongi entre quelques classes mosusu.

Mpo na bakelasi oyo ezali na ba angles minene, esengeli kozala na marge monene mpo na kobakisa compactité, mpo na bakelasi oyo ezali na ba angles ya mike, oyo ezali moke.

To rappeler formule générale ya ba pertes basées na softmax:

Awa, mpo na ba pertes lokola ArcFace to CosFace, kaka fonction logits f(θ) nde ekeseni. Pona fonction ya perte ya X2-Softmax ezo monana boye:

Ba pertes ya bonkoko oyo esalemi na softmax esalelaka cosine, kasi cosine ebongwanaka na fonction carré tango epanzani na série Taylor, yango wana fonction carré eponami mpo na X2-Softmax. Kobwaka ba termes ya ordre ya likolo ya x mpe kobatela ba termes constants mpe quadratiques ekoki ko éviter surfitting ya modèle.

Awa a, h, na k ezali ba hyperparamètres : h na k e déterminer position ya vertice ya courbe ya fonction logits, pe a e déterminer direction ya ouverture ya courbe na degré ya clustering.

Na X2-Softmax, tango angle entre ba poids θ emati, marge angulaire ∆θ emati monotoniquement na même temps.

Pona ba classes mibale mosusu ya ndenge moko, marge ya moke e faciliter convergence ya modèle. Mpo na bakelasi mibale oyo ekokani mingi te, bakopesa marge monene mpo na kotombola bokabwani kati na kelasi ya makambo ya elongi.

Mpo na formation, bakomi baponaki mokuwa ya mokɔngɔ ya Resnet50. Modèle ezwaki formasyo na ensemble ya ba données MS1Mv3 (basé na MS-Celeb-1M oyo esalemi liboso na RetinaFace, mpo na kolongola bilili ya makelele) – ba identités ya 93k mpe bilili ya elongi ya 5.1M.

SFace: Bobungisi ya Hypersphère oyo ekangami na sigmoïde mpo na koyeba elongi ya makasi

Ba pertes mingi oyo ezali na ba marges flexibles etikalaka na kati ya ba pertes basées na softmax, kasi ezali na ba exceptions. SPace esundolaka ba pertes basées na softmax kasi e garder idée ya ko optimiser ba distances intra-classe na inter-classe. Modèle e imposer ba contraintes intra-classe na inter-classe na collecteur ya hypersphère, oyo ezali contrôlé na deux courbes sigmoïdes. Ba courbes ebongoli ba gradients na ko contrôler vitesse oyo ba coefficients ebongwanaka tango epusani na centroïde ya classe cible to ya poto.

Soki tokokanisi yango na ba méthodes ya optimisation ya marge directe, yango epesaka équilibre ya malamu koleka entre surfitting na sous-raffichage, na influence moke ya ba échantillons individuels ya makelele na perte finale.

Likanisi ya kopekisa ba embeddings ya elongi mpo na kosala yango discriminatif na collecteur ya hypersphère esi emonanaki, ndakisa, na Sphereface (Deep hypersphere embedding for face recognition, 2017).

Objectif ezali ya ko diminuer distance intra-classe pe komatisaka distance entre classe donc, perte ya hypersphère constreinte na sigmoïde ekoki kozala formulé lokola

Epayi wapi θn ezali distance angulaire entre fonctionnalité ya intégration ya image ya entraînement d na prototype oyo ekokani na yango. θj ezali distance angulaire na ba prototypes ya bapaya.

Fonctions λλλλλλλλληηηνηίίίίίίνs κθ λλλλλλές λλλληνς λλινς λλννρνς θλινς θινι [·]n ezali opérateur ya gradient ya bloc, oyo epekisaka contribution ya ba entrées na yango ezala na compte pona kosala ba gradients ya calcul.

Ba fonctions sigmoïdes eponami lokola ba fonctions ya rescale ya gradient :

Ba auteurs baponaki ba fonctions sigmoïdes lokola ba fonctions ya re-échelle ya gradient:

n ezali asymptote ya likolo ya ba courbes sigmoïdes mibale lokola échelle ya ebandeli ya gradient, mpe n ezali contrôle ya pente ya ba courbes sigmoïdes. Hyperparamètres n na y e décider intercept horizontal ya deux courbes sigmoïdes mpe e contrôler vraiment intervalle flexible mpo na ko supprimer vitesse ya mouvement.

Сo comparer na ba fonctions ya perte basée na softmax, ezala distance intra-classe pe inter-classe ya SFace ekoki kozala constreint na degré conçu donc ekoki kozala optimisé na ndenge ya moyenne, oyo ezali exactement avantage ya SFace.

Mpo na formation, bakomi baponaki mokuwa ya mokɔngɔ ya ResNet (lokola mpo na Arcface).

Modèle yango ezwaki formasyo na ba ensembles ya ba données CASIA-WebFace, VGGFace2 mpe MS-Celeb-1M.

Prototype lokola bopanzani

Lolenge mosusu ya kosala na ba données ya makelele ezali ya kotalela que intégration mpo na identité moko (mpo na bilongi nionso oyo ezali ya mutu moko) ezali point na espace te kasi ezali plutôt distribution oyo ezali na expectation, variance, mpe ekoki kozala na ba outliers.

VPL (Boyekoli ya prototype ya ndenge na ndenge) .

Na reconnaissance ya elongi, ba pertes basées na ba paire esundolamaki mpo na complexité ya formation, kasi kosala na ba prototypes moyennes, to perdre mua information. Na approche basée na prototype, formation ekoki kokangama na ba minimas locales to surfit mpo na influence ya ba outliers na ba prototypes.

VPL – ezali komonisa kelasi moko moko lokola bopanzani na esika ya kozala esika na esika ya kobombama.

VPL e optimiser bokokani kati ya bandakisa oyo euti na ensemble ya formation pe ensemble ya ba prototypes variations oyo ezuami na échantillon na distribution classe.

Bopanzani ya ba prototypes ebombami na M mpe epanzani na ba étapes ∆t. Ba auteurs ba former perte na ba mokuwa ya mokɔngɔ ya ResNet50, ResNet100 mpe MXNet, na MXNet oyo eponami lokola ya suka mpo na komeka. Ensemble de données MS1M esalelamaka pona formation, taille ya entrée ya milona ya elongi eza 112×112.

Ezali na ba approches ebele oyo ezali kokoba na thème ya ko compléter ba méthodes basées na prototype na ba avantages ya ba pertes basées na ba paires (to babengaka yango na ndenge mosusu ba modèles basés na échantillon à échantillon), lokola UniTSFace (2023) to UNPG (Unified Negative Pair Generation toward Well-discriminative Feature Space for Face Recognition, 2022). Nako focuser na moko ya ba pertes ya sika na article oyo: EPL.

EPL: Boyekoli ya prototype empirique mpo na koyeba elongi ya mozindo

Na perte softmax basée na marge, perte e calculer na comparaison na ba prototypes (centre ya classe); ba échantillons nionso ya classe moko ebendamaka na centre commun na tango ya processus ya formation. Oyo etalelami lokola moyenne na tango ya processus ya formation, pe ezali influencé makasi na ba outliers ya ba exemples oyo ekoki ko dévier centre ya prototype. Na ba méthodes basées na Softmax, prototype etalelami lokola ebombami na matrice ya coefficient ya couche linéaire ya suka, c’est-à-dire, Pi = Wi, prototype ezongisami na tango na kosalelaka gradient na yango na backpropagation, pe fonction ya perte e maximiser bokokani kati ya ba caractéristiques ya ba exemples pe ba prototypes oyo ekokani.

Na EPL ba prototypes esalemaka pe e mise à jour:

• Na ndenge ya pwasa na ebandeli ya formation
• Na tango ya formation ya modèle, exemple moko moko (X) na nzela ya ba caractéristiques na yango x = E(X) ezo mettre à jour prototype empirique correspondant Pi(e), esika E ezali encodeur ya elongi :

Epayi wapi "α" ezali coefficient ya mise à jour adaptatif oyo esalemi na kosalelaka fonctionnalité x na prototype na yango, "σ" ezali fonction ya activation pona ko ajuster coefficient ya mise à jour na intervalle oyo ebongi pe s(·, ·) ezali fonction ya similarité, oyo mingi mingi ezuami lokola fonction cosine.

Prototype empirique ezo mise à jour kaka na kosalelaka ba exemples "positifs" pona ko éviter influence ya ba outliers ya ba classes voisines.

Processus ya formation : encodeur a extraire ba fonctionnalités, ba coefficients adaptatifs α e calculer pona ko mettre à jour prototype empirique, ba similarités entre ba éléments na ba prototypes esalemi pona ko calculer perte pona formation ya encodeur.

Mpo na kosalela na ndenge ya mobimba makoki ya boyekoli ya prototype mpe ya boyekoli ya prototype empirique, EPL esangisaka yango esika moko lokola somme mpe ekotisaka ba marges ekeseni. Mokuwa ya mokɔngɔ ya ResNet esalelamaki mpo na mateya mpe CASIA-WebFace lokola ensemble ya ba données ya formation. Modèle yango emekamaki na ba ensembles ya ba données MRF, IJB-C, LFW, CFP-FP, AgeDB, mpe MegaFace.

Transformateur-ArcFace ya kosala

Ndenge ezali polele na oyo tolobeli likolo, mingi mingi, modification ya perte esalelamaka pona ko résoudre problème ya ba données ya makelele pe sur-ajustement, alors que mokuwa ya mokɔngɔ ezali responsable ya "complexité" ya modèle, kasi ezali na ba exceptions.

Lisolo oyo ezali kolakisa bobungisi ya transformateur-métrique – bosangani ya bobungisi ya métrique standard na bobungisi ya transformateur (réseau ya transformateur lokola bobungisi ya kobakisa). Ba réseaux ya transformateur ezali na makasi ya kobatela ba relation spatiale séquentielle oyo epesaka nzela ya komatisaka puissance discriminative ya fonction ya perte pe kosalela modèle na ba cas complexes mingi (ndakisa, pona FR invariante ya âge).

Peculiarité ya modèle oyo ezali que transformateur esalelamaka te lokola mokuwa ya mokɔngɔ, ndenge esalemaka mingi, par exemple, na modèle ya Transformateur ya Elongi. Au lieu ya kosala bongo, ba éléments oyo ewutaka na couche convolutionnelle ya suka etindamaka na ba branches mibale ya perte. Etape ya liboso ezali couche ya aplat régulier mpe perte métrique sima na yango (na cas oyo, ArcFace, kasi ekoki kozala perte nionso oyo esalemi na classification).

Na filiale 2 tozuaka sortie ya taille H × W × D, pe to transformer yango na ba vecteurs S ya taille 1 × 1 × D. Séquence oyo ekoki kotalama lokola séquence ya ba intégrés à partir ya ba patches pona encodeur ya transformateur standard. Sima ya couche ya encodeur ya transformateur, couche linéaire esalemi sans aucune paramètres supplémentaires ya activation to ya kotika. Sima na yango, fonction ya entropie croisée e évaluer perte pona distribution ya probabilité ya sortie (po na ba classes N cibles). Ba pertes nionso mibale ”branch-1” na ”branch-2” esangani na nzela ya somme pondérable.

Na étape ya validation (test), branche ya mibale ekatamaka mpe kaka ba inccords oyo ewutaka na branche ya liboso standard nde esalelamaka. Mpo na komeka MS1M-arcface mpe WebFace4M (sous-ensemble ya WebFace 260M).

Maloba ya nsuka

Na botali oyo, totali mingi esika moko ya ba systèmes ya reconnaissance ya Elongi – ba fonctions ya perte. Yango epesaki biso nzela ya kosala botali ya mozindo ya malako ya sika mpe masolo oyo euti kobima na esika oyo. Bitando yango nyonso ezali kokoba kokola mbula na mbula.

Masolo oyo elandi etikamaki libanda ya eteni oyo ya bozongeli:

• Mikuwa ya mokɔngɔ ya ba modèles ya FR
• Ba modèles FR pona ba cas spéciaux lokola occlusion conscient, maquillage-/âge-/Illumination-/pose-Reconnaissance ya elongi invariante
• 3D / Dynamique FR
• FR datasets review Ekoyekola yango na biteni oyo elandi.