لماذا يحتاج الذكاء الاصطناعي إلى فقدان (قليلاً) للتعرف على وجهك بشكل أفضل

لقد أُحرز تقدم كبير في مجال التعرف على الوجوه في السنوات الأخيرة. يقدم هذا الاستعراض لمحة عامة موجزة عن المهام والنماذج وطرق الحل الرئيسية، مع التركيز على تطور دوال الخسارة.

ببساطة، التعرّف على الوجه هو وسيلة لتحديد هوية الشخص أو التحقق منها باستخدام الصور أو مقاطع الفيديو أو اللقطات المباشرة. ستستكشف هذه المراجعة عملية التعرّف على الهوية بناءً على صورة رقمية واحدة أو إطار فيديو واحد.

التعرف على الوجه وتطبيقاته

للتعرف على الوجوه (FR) تطبيقات واسعة النطاق. يُستخدم في القطاع المالي، والأمن السيبراني، ومراقبة الفيديو، وخدمات المنازل الذكية، والمصادقة متعددة العوامل، وغيرها.

بالإضافة إلى هذه الاستخدامات العملية، تلعب نماذج FR دورًا محوريًا في النماذج التوليدية الحديثة. تُستخدم عادةً في حالات فقدان الهوية في نماذج استعادة الوجوه مثل GFPGAN وCodeFormer، وأدوات تبديل الوجوه مثل SimSwap وFaceShifter، والنماذج القائمة على تقنية GAN من صورة إلى صورة مثل pSp وHyperStyle، وكذلك في نماذج Transformer وStable Diffusion للحفاظ على الهوية.

ArcFace (2018–2019) هي وظيفة فقدان التعريف الأكثر استخدامًا على نطاق واسع، في حين يتم استخدام CosFace (2018) وFaceNet بشكل أقل كثيرًا.

في هذه المراجعة، سأركز على كيفية تغير مشهد FR منذ ArcFace، وخاصة في السنوات الأخيرة.

نظرة عامة موجزة على خط أنابيب التعرف على الوجه

يتطلب التعرف على الوجوه (Flickr-Faces-HQ) بعض المعالجة المسبقة: كشف الوجوه، والقص، والمحاذاة. يجب أن تكون المعالجة المسبقة متماثلة لكلٍّ من بيانات التدريب والاختبار، وعادةً ما تستخدم محاذاة شبيهة بـ FFHQ (مجموعة بيانات Flickr-Faces-HQ). عادةً، يُستخدم كاشفان إضافيان منفصلان لهذا الغرض: كاشف صندوق تحديد الوجه، وكاشف معالم الوجه. توجد نماذج متكاملة، مع محاذاة تُدرَّب مع النموذج الرئيسي، لكنني لا أتناولها في هذا الجزء من المراجعة. هنا، نفترض أن مجموعتي بيانات التدريب والاختبار مُقصَّتين ومُحاذيتين بشكل موحد. وبالتالي، يُغذَّى النموذج بمدخلات مُقصَّتين ومُحاذيتين.

في مجموعة بيانات التدريب لمهمة FR، توجد عدة صور لكل هوية (شخص). تتمثل مهمة النموذج في التمييز بين الصور التي تخص الشخص نفسه وصور أشخاص مختلفين.

يتكون النموذج عادة من عنصرين:

• العمود الفقري. العمود الفقري، والذي يُطلق عليه أيضًا مُستخلص الميزات، يأخذ صورة وجه مُعالجة مسبقًا كمدخل، ويُخرج متجه ميزات للتضمينات. الشبكات العصبية التلافيفية (CNN) هي الشبكات العصبية التلافيفية التقليدية، مثل ResNet وVGGNet وResFace وSE-ResNet وغيرها. يمكن أن تكون هذه الشبكات أيضًا نماذج VisionTransformer أو Feature Pyramid Network أو أشكالها الأكثر تعقيدًا. لن نتطرق إلى الشبكات العصبية التلافيفية للنماذج بالتفصيل في هذا الجزء من المراجعة.

  
  

• دالة الخسارة. في مرحلة التدريب، تُطبّق دالة خسارة للإشراف على تدريب العمود الفقري. الهدف من التدريب هو الحصول على نموذج يُنتج تضمينات قريبة لصور مختلفة لنفس الشخص، وأخرى بعيدة لوجوه أشخاص مختلفين. نتحدث هنا عن قياس المسافة بين متجهات التضمين باستخدام، على سبيل المثال، مسافة جيب التمام أو مسافة L2.

أنواع وظائف الخسارة

الخسارة القائمة على الزوج

الفئة الأولى تسمى «الخسارة القائمة على الزوج»، وفي بعض الأحيان تسمى «طرق التعلم المتري»: الخسارة التباينية، الخسارة الثلاثية، خسارة N زوج.

تجمع هذه الطرق بين أزواج العينات الإيجابية والسلبية قبل تدريب النموذج، أو تجمعها ديناميكيًا عبر الإنترنت أثناء التدريب. يسمح كلا الوضعين باستخراج تمثيلات وجوه ذات معنى على مستوى كل عينة، ولكنهما يزيدان حجم البيانات بشكل كبير.

يبدو مخطط التدريب باستخدام خسارة الثلاثية كما يلي. يجب أن تكون تضمينات مثالين بنفس التسمية قريبة من بعضها البعض في مساحة التضمين. أما مثالين مختلفين في التسمية، فيجب أن تكون تضميناتهما بعيدة.

إن النمو السريع لعدد الأزواج المحتملة مع حجم مجموعة البيانات يفرض علينا البحث عن استراتيجيات اختيار الأزواج، والتي عادة ما تكون تجريبية ومعقدة حسابيًا.

الخسارة القائمة على التصنيف

هناك فئة أخرى تُسمى "الخسائر القائمة على التصنيف" أو تُسمى أحيانًا "أساليب التعلم القائمة على النماذج الأولية": خسارات Softmax، CosFace، ArcFace، وNormFace. تعمل هذه الأساليب على معلومات عامة حول الفئات باستخدام نموذج أولي، يُشار إليه أيضًا باسم وكيل الفئة أو مركز الفئة. النماذج الأولية هي معلمات قابلة للتعلم، تُحدَّث أثناء تدريب النموذج. حاليًا، تُستخدم الخسائر القائمة على التصنيف بشكل رئيسي في نماذج التعرف على الوجوه.

تاريخ الخسائر القائمة على التصنيف

إذا اعتبرنا مهمة FR تصنيفًا، فيمكننا استخدام خسارة سوفت ماكس (أو خسارة الإنتروبيا المتقاطعة الفئوية). باختصار، خسارة سوفت ماكس هي دالة تنشيط سوفت ماكس + خسارة الإنتروبيا المتقاطعة.

لنتذكر الصيغتين. الأولى هي تنشيط سوفت ماكس، والثانية هي فقدان الإنتروبيا المتقاطعة.

الجمع الحصول على:

تستقبل دالة الخسارة نتيجة آخر طبقة متصلة بالكامل، حيث يشير 𝒙𝒊 إلى ميزة التضمين لصورة التدريب 𝑖، و𝑦𝑖 هي علامة 𝒙𝒊، ويشير 𝑾 إلى وزن آخر طبقة متصلة بالكامل.

هذا يعمل، ولكن هناك مشكلة - الحدود بين الفئات غير واضحة. اتُخذت خطوة جديدة في FR عام ٢٠١٨ مع ظهور نموذج ArcFace. يبقى الأساس هو خسارة Softmax، لكننا ننتقل إلى دراسة الزوايا بين المتجهات. لنتذكر صيغة تشابه جيب التمام:

دعونا نجري استبدالًا في صيغة خسارة سوفت ماكس

بعد ذلك، يُضاف هامشٌ بحيث تكون الزوايا داخل الفئات أصغر والزوايا بين الفئات أكبر. هذا يُعطي فجوةً بين الفئات بدلاً من الحدود الضبابية لفقدان Softmax.

طرق مماثلة: إذا استبدلنا cos(θ + m) بـ cos θ − m نحصل على خسارة وجه الجيب.

في الطرق المعتمدة على Softmax، يعتبر النموذج الأولي مخزنًا في مصفوفة المعاملات الخاصة بالطبقة الخطية الأخيرة، أي Pi = Wi، ويتم تحديث النموذج الأولي باستخدام تدرجه في الانتشار الخلفي (لهذا السبب ظهر اسم «طرق التعلم المعتمدة على النموذج الأولي»).

من هنا يبدأ تاريخ دوال الخسارة الحديثة لـ FR. على مر السنين، ظهرت العديد من التعديلات والتحسينات، لكن الصيغ المذكورة أعلاه كافية لفهم المزيد من المعلومات.

واجهة قوسية فرعية المركز

أحد التحسينات التي ظهرت عام ٢٠٢٠، يُسمى ArcFace الفرعي، وهو مصمم لمجموعات البيانات المشوشة. يؤدي قيد الاكتناز داخل الفئة إلى الإفراط في التجهيز في البيانات المشوشة. يُقدم ArcFace الفرعي فئات فرعية. يجب أن تكون العينة في دفعة التدريب قريبة من أحد المراكز الفرعية الإيجابية، وليس جميعها. هذا يُقلل من تأثير التشويش في البيانات.

يحتوي كل من نموذجي ArcFace وSub-center ArcFace على تنفيذات داخل مكتبة insightface، بما في ذلك الكود الخاص بالتدريب والأوزان المدربة مسبقًا.

يحتوي Insightface على تنفيذ لـ ArcFace مع هياكل أساسية مختلفة: iresnet (34،50،100،200،2060)، mobilefacenet، vit (VisionTransformer).

إن دراسة الهياكل الأساسية المختلفة تتجاوز نطاق هذه المقالة، لذا سأكتفي بذكر أسماء الهياكل الأساسية المستخدمة مع كل خسارة قيد الدراسة. في معظم الحالات، لم يحاول مؤلفو الخسائر اختيار الهيكل الأساسي الأمثل، بل استخدموا ببساطة أحد الهياكل الأساسية الشائعة أو تلك المستخدمة في النماذج التي أرادوا مقارنتها.

تم استخدام مجموعات البيانات MS1M، وGlint360K، وWebFace42M للتدريب.

هامش مرن

التحدي الرئيسي لأساليب التعرف على الوجوه هو تشويش البيانات. تتميز أساليب التعلم النموذجي بحساسيتها لانحيازات النماذج الأولية التي يُحدثها التشويش. إحدى طرق الموازنة بين الإفراط في التجهيز ونقصه هي ضبط الهامش، وهو العامل الرئيسي في خسائر قاعدة سوفت ماكس.

أداكوس

واحدة من الطرق الأولى لضبط المقياس والهامش الزاوي لخسائر softmax المستندة إلى جيب التمام مثل L2-softmax وCosFace وArcFace.

يُطبّق هذا المقال المبدأ التجريبي القائل بأن سرعة التعلم يجب أن تتباطأ مع تحسين الشبكة. يُقدّم المقال متغير تعديل يساوي متوسط ​​جميع الزوايا في الدفعة المصغرة للفئات المقابلة، والذي يُمثّل تقريبًا الدرجة الحالية لتحسين النموذج. عندما تكون الزاوية المتوسطة كبيرة، تكون معلمات الشبكة بعيدة عن المثالية، ويُطبّق مقياس وهامش أكبر، والعكس صحيح.

تم التدريب على مجموعات البيانات CASIA-WebFace وMS1M، ودقة الإدخال 144 × 144. تم اختباره على مجموعات البيانات LFW وMegaFace وIJB-C، مقارنة بخسائر L2-softmax وCosFace وArcFace.

على مدى السنوات الماضية، ظهرت العديد من الطرق الرائدة لتطبيق الهامش التكيفي في FR، مثل Dyn-ArcFace (2022)، وMagFace (2021)، وElasticFace (2021)، ولكننا سنركز على أحد أحدث الأعمال في هذا المجال - X2-Softmax (2023).

X2-سوفت ماكس

مقارنةً بـ AdaCos، يحاول X2-Softmax مراعاة التوزيع غير المتساوي للفئات. قد يكون الهامش الثابت المناسب بين بعض الفئات كبيرًا جدًا بحيث لا يتقارب بين الفئات الأخرى، أو صغيرًا جدًا بحيث لا يعزز التماسك بين سمات الوجه داخل الفئة.

بالنسبة للفئات ذات الزوايا الكبيرة، هناك حاجة إلى هامش كبير لزيادة الاكتناز، وبالنسبة للفئات ذات الزوايا الصغيرة، هناك حاجة إلى هامش أصغر.

دعونا نتذكر الصيغة العامة للخسائر المستندة إلى SoftMax:

هنا، بالنسبة لخسائر مثل ArcFace أو CosFace، تختلف دالة اللوغاريتم f(θ) فقط. بالنسبة لدالة خسارة X2-Softmax، تبدو كالتالي:

تستخدم الخسائر التقليدية القائمة على سوفت ماكس جيب التمام، ولكن جيب التمام يتحول إلى دالة مربعة عند توسيعه إلى متسلسلة تايلور، لذا تُختار دالة مربعة لـ X2-سوفت ماكس. يمكن تجنب الإفراط في ملاءمة النموذج بتجاهل الحدود عالية الرتبة لـ x والاحتفاظ بالحدود الثابتة والتربيعية.

هنا، a وh وk هي معلمات فائقة: h وk تحدد موضع رأس منحنى دالة لوجيت، وa تحدد اتجاه فتح المنحنى ودرجة التجميع.

في X2-Softmax، عندما تزداد الزاوية بين الأوزان θ، تزداد الهامش الزاوي ∆θ بشكل رتيب في نفس الوقت.

بالنسبة لفئتين متشابهتين أكثر، يُسهّل هامش صغير تقارب النموذج. أما بالنسبة لفئتين أقل تشابهًا، فسيتم تخصيص هامش أكبر لتعزيز الفصل بين الفئات لملامح الوجه.

للتدريب، اختار المؤلفون البنية الأساسية لشبكة Resnet50. دُرِّب النموذج على مجموعة بيانات MS1Mv3 (استنادًا إلى MS-Celeb-1M المُعالَجة مسبقًا بواسطة RetinaFace لإزالة الصور المشوشة) - 93 ألف هوية و5.1 مليون صورة وجه.

SFace: فقدان الكرة الفائقة المقيدة بالسيغمويد للتعرف القوي على الوجوه

تبقى معظم الخسائر ذات الهوامش المرنة ضمن خسائر Softmax، ولكن هناك استثناءات. يتخلى SFace عن خسائر Softmax، ولكنه يحتفظ بفكرة تحسين المسافات داخل الفئات وبين الفئات. يفرض النموذج قيودًا داخل الفئات وبين الفئات على مُتَعَدِّد Hypersphere، والذي يتم التحكم فيه بواسطة منحنيين سيجميين. تُحوِّل المنحنيات التدرجات عن طريق التحكم في معدل تغير المعاملات عند اقترابها من مركز ثقل الفئة المستهدفة أو الأجنبية.

وبالمقارنة بطرق تحسين الهامش المباشرة، فإن هذا يوفر توازناً أفضل بين الإفراط في التجهيز وعدم التجهيز، مع تأثير أقل للعينات الضوضائية الفردية على الخسارة النهائية.

لقد تم بالفعل رؤية فكرة الحد من تضمينات الوجه لجعلها تمييزية على مشعب الكرة الفائقة، على سبيل المثال، في Sphereface (تضمين الكرة الفائقة العميق للتعرف على الوجه، 2017).

الهدف هو تقليل المسافة داخل الفئة وزيادة المسافة بين الفئات، وبالتالي يمكن صياغة خسارة الكرة الفائقة المقيدة بالسينية على النحو التالي:

حيث 𝜃𝑦𝑖 هي المسافة الزاوية بين ميزة التضمين لصورة التدريب 𝑖 والنموذج الأولي المقابل. 𝜃j هي المسافة الزاوية إلى النماذج الأولية الأجنبية.

تم تصميم الدالتين 𝑟𝑖𝑛𝑡𝑟 و𝑟𝑖𝑛𝑡𝑒𝑟 لإعادة قياس الأهداف داخل الفئة وبين الفئات على التوالي والتحكم في درجة التحسين. [·]𝑏 هو عامل تدرج الكتلة، والذي يمنع أخذ مساهمة مدخلاته في الاعتبار لحساب التدرجات.

يتم اختيار وظائف Sigmoid كوظائف إعادة مقياس التدرج:

اختار المؤلفون الدوال السينية كوظائف إعادة مقياس التدرج:

𝑠 هو الخط المقارب العلوي لمنحنيين سيجمايين كمقياس ابتدائي للتدرج، و𝑘 هو المتحكم في ميل المنحنيين السيجمايين. يحدد المعاملان الفائقان 𝑎 و𝑏 نقطة التقاطع الأفقي لمنحنيين سيجمايين، ويتحكمان في الفترة المرنة لتقليل سرعة الحركة.

بالمقارنة مع وظائف الخسارة المستندة إلى SoftMax، يمكن تقييد المسافة داخل الفئة وبين الفئات في SFace بدرجة مصممة وبالتالي يمكن تحسينها بطريقة معتدلة، وهذا هو بالضبط ميزة SFace.

من أجل التدريب، اختار المؤلفون العمود الفقري لـ ResNet (كما هو الحال بالنسبة لـ Arcface).

تم تدريب النموذج على مجموعات البيانات CASIA-WebFace وVGGFace2 وMS-Celeb-1M.

النموذج الأولي كتوزيع

هناك طريقة أخرى للتعامل مع البيانات المشوشة وهي أن نأخذ في الاعتبار أن التضمين لهوية واحدة (لكل الوجوه التي تنتمي إلى شخص واحد) ليس نقطة في الفضاء بل هو توزيع له توقع وتباين وقد يكون له قيم متطرفة.

VPL (تعلم النموذج الأولي المتغير)

في مجال التعرف على الوجوه، تم التخلي عن الخسائر القائمة على الأزواج نظرًا لتعقيد التدريب، ولكن عند العمل مع نماذج أولية متوسطة، نفقد بعض المعلومات. في النهج القائم على النماذج الأولية، قد يعلق التدريب عند الحد الأدنى المحلي أو يُفرط في التناسب بسبب تأثير القيم المتطرفة على النماذج الأولية.

VPL – يمثل كل فئة كتوزيع وليس كنقطة في الفضاء الكامن.

يعمل VPL على تحسين التشابه بين الأمثلة من مجموعة التدريب ومجموعة من النماذج الأولية المتغيرة التي تم أخذ عينات منها من توزيع حسب الفئة.

يُخزَّن توزيع النماذج الأولية في وحدة M، ويتحلل على مراحل ∆t. درَّب الباحثون الخسارة باستخدام الشبكات الأساسية ResNet50 وResNet100 وMXNet، مع اختيار MXNet كشبكة أساسية نهائية للاختبار. استُخدمت مجموعة بيانات MS1M للتدريب، وحجم إدخال محاصيل الوجه هو 112×112.

هناك العديد من المناهج التي تُواصل نهجَ استكمال أساليب النماذج الأولية بمزايا الخسائر القائمة على الأزواج (أو ما يُسمى أيضًا نماذج العينة-العينة)، مثل UniTSFace (2023) أو UNPG (توليد أزواج سلبية موحدة نحو مساحة ميزات تمييزية جيدة للتعرف على الوجوه، 2022). سأركز في هذه المقالة على إحدى أحدث حالات الخسارة: EPL.

EPL: التعلم النموذجي التجريبي للتعرف العميق على الوجوه

في أساليب Softmax القائمة على الهامش، يُحسب الفقد بالمقارنة مع النماذج الأولية (مراكز الفئات)؛ حيث تُسحب جميع عينات الفئة الواحدة إلى مركز مشترك أثناء عملية التدريب. ويُعتبر هذا المتوسط ​​أثناء عملية التدريب، ويتأثر بشدة بالقيم المتطرفة للأمثلة التي قد تُحيد مركز النموذج الأولي. في أساليب Softmax، يُخزن النموذج الأولي في مصفوفة معاملات الطبقة الخطية الأخيرة، أي Pi = Wi، ويُحدّث النموذج الأولي باستخدام تدرجه في الانتشار الخلفي، وتُعظم دالة الفقد التشابه بين خصائص الأمثلة والنماذج الأولية المقابلة.

في EPL يتم إنشاء النماذج الأولية وتحديثها:

• عشوائيا في بداية التدريب
• أثناء تدريب النموذج، يقوم كل مثال (X) من خلال ميزاته x = E(X) بتحديث النموذج الأولي التجريبي المقابل Pi(e)، حيث E هو مشفر الوجه:

حيث أن "α" هو معامل التحديث التكيفي الذي تم إنشاؤه باستخدام الميزة x والنموذج الأولي الخاص بها، و"σ" هي دالة تنشيط لضبط معامل التحديث في نطاق مناسب وs(·, ·) هي دالة تشابه، والتي عادة ما تؤخذ كدالة جيب التمام.

يتم تحديث النموذج الأولي التجريبي فقط باستخدام أمثلة "إيجابية" لتجنب تأثير القيم المتطرفة للفئات المجاورة.

عملية التدريب: يقوم المبرمج باستخراج الميزات، ويتم حساب المعاملات التكيفية α لتحديث النموذج الأولي التجريبي، ويتم استخدام أوجه التشابه بين الميزات والنماذج الأولية لحساب الخسارة لتدريب المبرمج.

للاستفادة بشكل شامل من إمكانيات كلٍّ من تعلم النماذج الأولية وتعلم النماذج الأولية التجريبية، يجمع EPL بينهما كمجموع، ويُقدّم هوامش ربح مميزة. استُخدمت الشبكة الأساسية ResNet للتدريب، وCASIA-WebFace كمجموعة بيانات للتدريب. اختُبر النموذج على مجموعات بيانات MRF، وIJB-C، وLFW، وCFP-FP، وAgeDB، وMegaFace.

محول-ArcFace

كما هو واضح مما سبق، ففي الغالب، يتم استخدام تعديل الخسارة لحل مشكلة البيانات الضوضائية والإفراط في التجهيز، في حين يكون العمود الفقري مسؤولاً عن "تعقيد" النموذج، ولكن هناك استثناءات.

تُقدّم هذه المقالة مفهوم فقدان المحولات المترية - وهو مزيج من فقدان المقياس القياسي وفقدان المحولات (شبكة المحولات كفقدان إضافي). تتمتع شبكات المحولات بالقدرة على الحفاظ على العلاقات المكانية المتسلسلة، مما يسمح بزيادة القدرة التمييزية لدالة الخسارة وتطبيق النموذج في حالات أكثر تعقيدًا (على سبيل المثال، في حالة FR الثابتة مع مرور الزمن).

تكمن خصوصية هذا النموذج في عدم استخدام المحول كعمود فقري، كما هو الحال عادةً، على سبيل المثال، في نموذج محول الوجه. بدلاً من ذلك، تُرسل السمات من آخر طبقة التفافية إلى فرعي خسارة. الفرع الأول هو طبقة تسطيح عادية، يليه فقدان متري (في هذه الحالة، ArcFace، ولكن يمكن أن يكون أي فقدان قائم على التصنيف).

في الفرع الثاني، نأخذ مُخرَجًا بأبعاد H × W × D، ونُحوِّله إلى متجهات S بأبعاد 1 × 1 × D. يُمكن اعتبار هذا التسلسل كتسلسل من التضمينات من رقع مُرمِّز مُحوِّل قياسي. بعد طبقة مُرمِّز المُحوِّل، تُطبَّق طبقة خطية بدون أي إعدادات إضافية للتنشيط أو التسرب. بعد ذلك، تُقيِّم دالة الإنتروبيا المتقاطعة الخسارة لتوزيع احتمالية المُخرَج (للفئات المستهدفة N). يُجمع كلٌّ من الخسارة "الفرع 1" و"الفرع 2" عبر مجموع مُرجَّح.

في مرحلة التحقق (الاختبار)، يُقطع الفرع الثاني، وتُستخدم فقط التضمينات من الفرع الأول القياسي. لاختبار MS1M-arcface وWebFace4M (مجموعة فرعية من WebFace 260M).

خاتمة

في هذه المراجعة، ركزنا على أحد مجالات أنظمة التعرف على الوجوه، وهو وظائف الفقد. سمح لنا ذلك باستعراض التوجهات الجديدة والمقالات الحديثة في هذا المجال. وتستمر هذه المجالات في التطور عامًا بعد عام.

وقد تم حذف المواضيع التالية من هذا الجزء من المراجعة:

• العمود الفقري لنماذج FR
• نماذج FR للحالات الخاصة مثل التعرف على الوجوه التي لا تتغير مع مرور الوقت، والتعرف على الوجوه التي لا تتغير مع مرور الوقت، والتعرف على الوجوه التي لا تتغير مع مرور الوقت
• ثلاثي الأبعاد / ديناميكي FR
• مراجعة مجموعات البيانات FR سيتم دراستها في الأجزاء التالية.