Dit vreemde spel laat je gezichten nadoen - en op de een of andere manier bevordert het de AI

Tabel met links

• Abstract en I. Inleiding
• II. Gerelateerd werk
• III. Gamified Dataverzameling en interpreteerbare Fer
• IV. Methodologie
• V. Resultaten
• VI. Discussie en conclusie, ethische impactverklaring en referenties

Abstract

Het trainen van gezichtsherkenningsmodellen vereist grote hoeveelheden gegevens en kostbare annotatieprocessen. Om dit probleem te verhelpen, hebben we een gamified methode ontwikkeld om geannoteerde gezichtsherkenningsgegevens te verkrijgen zonder expliciete labeling door mensen. De game, die we Facegame hebben genoemd, daagt de spelers uit om een weergegeven afbeelding van een gezicht te imiteren dat een bepaalde basisemotie weergeeft. Elke ronde die de speler speelt, creëert nieuwe gegevens die bestaan uit een set gezichtskenmerken en herkenningspunten, die al zijn geannoteerd met het emotielabel van de beoogde gezichtsuitdrukking. Een dergelijke aanpak creëert effectief een robuust, duurzaam en continu machine learning-trainingsproces. We hebben Facegame geëvalueerd met een experiment dat verschillende bijdragen aan het veld van affectieve computing aan het licht bracht. Ten eerste stelde de gamified dataverzamelingsaanpak ons in staat om toegang te krijgen tot een rijke variatie aan gezichtsuitdrukkingen van elke basisemotie vanwege de natuurlijke variaties in de gezichtsuitdrukkingen van de spelers en hun expressieve vermogens. We rapporteren een verbeterde nauwkeurigheid wanneer de verzamelde gegevens werden gebruikt om bekende in-the-wild gezichtsherkenningsdatasets te verrijken en vervolgens werden gebruikt voor het trainen van gezichtsherkenningsmodellen. Ten tweede vormt de natuurlijke taalvoorschriftmethode die door de Facegame wordt gebruikt een nieuwe benadering voor interpreteerbare uitlegbaarheid die kan worden toegepast op elk gezichtsemotieherkenningsmodel. Tot slot observeerden we significante verbeteringen in de gezichtsemotieperceptie en expressievaardigheden van de spelers door herhaalde gameplay.

Indextermen — Affectieve computing, gezichtsherkenning, gamification, uitlegbare AI, interpreteerbaar machinaal leren

I. INLEIDING

Gezichtsuitdrukkingen zijn essentieel voor non-verbale menselijke communicatie, omdat ze een manier bieden om informatie over de emotionele toestand [1] en de gedragsintenties [2] van het individu over te brengen. Emoties zijn fundamentele componenten van sociale interactie [3], en het vermogen om emoties te uiten en waar te nemen is een onschatbare troef voor het opbouwen van sociale verbindingen. De heilige graal van affectief computergebruik is om computersystemen te voorzien van het vermogen om emoties waar te nemen en uit te drukken, en om sociale banden te kunnen vormen met menselijke gebruikers [4]. Tot voor kort werd dit vermogen als uniek voor mensen beschouwd. Echter, met name met de recente ontwikkelingen in kunstmatige intelligentie (AI), zijn er veel studies uitgevoerd die zich richten op de geautomatiseerde herkenning van emoties [5].

De gebruikelijke aanpak voor het trainen van machine learning-modellen voor gezichtsherkenning (FER) is supervised learning, waarvoor grote hoeveelheden data nodig zijn [6]. Specifiek worden diepe FER-modellen uitgedaagd door een gebrek aan voldoende data voor training [7]. Het verzamelen en cureren van zulke grote datasets is een kostbare en tijdrovende onderneming, aangezien labeling door menselijke annotators noodzakelijk is [8]. Dit vormt een obstakel voor het bereiken van significante prestatieverbeteringen in onderzoek naar emotieherkenning.

Een andere grote uitdaging ligt in de verklaarbaarheid en interpreteerbaarheid van emotieherkenningsmodellen. Studies evalueren emotieherkenningsmodellen meestal met behulp van nauwkeurigheids- en verwarringsmatrices; deze statistieken schieten echter vaak tekort in het rapporteren van het nut van de modellen voor mensen. Interpreteerbare modellen moeten uitleg bieden die eenvoudig genoeg is om door hun gebruikers te worden begrepen, en worden gegeven in een taal die voor hen betekenisvol is [9]. De verklaarbaarheid van emotieherkenningsmodellen is in de literatuur zeer zelden aan de orde gekomen. De benaderingen om verklaarbaarheid te bereiken, zijn beperkt tot modelagnostische methoden die de output van het model verklaren op basis van de input, en modeltransparante methoden (bijv. [10], [11]) die de activering in verschillende lagen van kunstmatige neurale netwerken benadrukken [12]. Geen van beide benaderingen biedt echter noodzakelijkerwijs mensvriendelijke uitleg die door hun gebruikers kan worden geïnterpreteerd.

De uitdagingen met betrekking tot het verzamelen en cureren van buitensporige hoeveelheden gelabelde data voor het trainen van FER-modellen, en het verkrijgen van interpreteerbare verklaringen uit dergelijke modellen, vragen om heterodoxe methoden. In deze studie stellen we een gamification-benadering voor voor het verzamelen van geannoteerde gezichtsemotiedata. De voorgestelde game, die Facegame heet, belichaamt een methode voor het verstrekken van natuurlijke taalvoorschriften als feedback aan de spelers, wat effectief dient als een middel om interpreteerbare uitlegbaarheid te bereiken. Samengevat zijn onze bijdragen aan het veld van affectieve computing als volgt:

• We presenteren een gamificatie-aanpak voor het snel verzamelen van geannoteerde gezichtsemotiegegevens die rijk zijn aan verschillende gezichtsuitdrukkingen, op een goedkope en moeiteloze manier.

• Wij stellen een nieuwe benadering voor voor interpreteerbare uitlegbaarheid door de intermediaire gezichtskenmerken te vertalen naar voorschriften in natuurlijke taal en deze te gebruiken als verklaring voor de emotieclassificaties die door een FER-model worden geboden.

• De gepresenteerde gamification-aanpak leidt tot aanzienlijke verbeteringen in de perceptie van gezichtsemoties en expressievaardigheden van de spelers.

De rest van dit artikel is als volgt gestructureerd. Sectie II biedt een literatuuroverzicht over emotieherkenning, verklaarbare AI en gamified dataverzameling. Sectie III beschrijft de kernbijdragen. Sectie IV presenteert de details van onze experimentele studie. Sectie V onthult de resultaten van onze experimenten. Tot slot biedt Sectie VI een discussie over de theoretische en praktische implicaties van onze bijdragen en sluit het artikel af.