Táto divná hra vás prinúti napodobňovať tváre – a nejako sa v nej posúva AI

Tabuľka odkazov

• Abstrakt a I. Úvod
• II. Súvisiace práce
• III. Gamifikovaný zber dát a interpretovateľné Fer
• IV. Metodológia
• V. Výsledky
• VI. Diskusia a záver, vyhlásenie o etických dopadoch a referencie

Abstraktné

Tréning modelov rozpoznávania emócií tváre vyžaduje veľké súbory údajov a nákladné anotačné procesy. Na zmiernenie tohto problému sme vyvinuli gamifikovanú metódu získavania anotovaných údajov o emóciách tváre bez explicitného úsilia ľudí o označovanie. Hra, ktorú sme nazvali Facegame, vyzýva hráčov, aby napodobnili zobrazený obraz tváre, ktorá zobrazuje konkrétnu základnú emóciu. Každé kolo odohrané hráčom vytvára nové údaje, ktoré pozostávajú zo súboru čŕt tváre a orientačných bodov, ktoré sú už anotované štítkom emócií cieľového výrazu tváre. Takýto prístup efektívne vytvára robustný, udržateľný a nepretržitý tréningový proces strojového učenia. Facegame sme vyhodnotili pomocou experimentu, ktorý odhalil viacero prínosov do oblasti afektívneho počítania. Po prvé, gamifikovaný prístup k zberu údajov nám umožnil prístup k bohatej variácii výrazov tváre každej základnej emócie vďaka prirodzeným variáciám vo výrazoch tváre hráčov a ich vyjadrovacím schopnostiam. Uvádzame zlepšenú presnosť, keď sa zozbierané údaje použili na obohatenie dobre známych množín údajov o emóciách tváre a následne sa použili na trénovanie modelov rozpoznávania emócií tváre. Po druhé, metóda predpisovania prirodzeného jazyka, ktorú používa Facegame, predstavuje nový prístup k interpretovateľnej vysvetliteľnosti, ktorý možno použiť na akýkoľvek model rozpoznávania emócií tváre. Nakoniec sme pozorovali výrazné zlepšenia vo vnímaní emócií tváre a vyjadrovacích schopnostiach hráčov prostredníctvom opakovanej hry.

Indexové výrazy – afektívne počítanie, rozpoznávanie emócií tváre, gamifikácia, vysvetliteľná AI, interpretovateľné strojové učenie

I. ÚVOD

Výrazy tváre sú nevyhnutné pre neverbálnu ľudskú komunikáciu, pretože poskytujú prostriedok na sprostredkovanie informácií týkajúcich sa emocionálneho stavu [1], ako aj zámerov správania [2] jednotlivca. Emócie sú základnými zložkami sociálnej interakcie [3] a schopnosť vyjadrovať a vnímať emócie je neoceniteľným prínosom pre budovanie sociálnych väzieb. Svätým grálom afektívneho počítania je umožniť počítačovým systémom schopnosť vnímať a vyjadrovať emócie a byť schopný vytvárať sociálne väzby s ľudskými používateľmi [4]. Až donedávna bola táto schopnosť považovaná za jedinečnú pre ľudí. Avšak, najmä s nedávnym pokrokom v umelej inteligencii (AI), bolo vykonaných mnoho štúdií, ktoré sa zameriavajú na automatické rozpoznávanie emócií [5].

Bežným prístupom trénovania modelov strojového učenia na rozpoznávanie emócií tváre (FER) je učenie pod dohľadom, ktoré si vyžaduje veľké súbory údajov [6]. Konkrétne hlboké modely FER sú spochybňované nedostatkom dostatočných údajov na trénovanie [7]. Zhromažďovanie a spravovanie takýchto veľkých súborov údajov je nákladné a časovo náročné, pretože je nevyhnutné označovanie ľudskými anotátormi [8]. To predstavuje prekážku pri dosahovaní výrazného zlepšenia výkonnosti vo výskume rozpoznávania emócií.

Ďalšia veľká výzva spočíva vo vysvetliteľnosti a interpretovateľnosti modelov rozpoznávania emócií. Štúdie väčšinou hodnotia modely rozpoznávania emócií pomocou matíc presnosti a zmätku; tieto metriky však často zaostávajú pri vykazovaní užitočnosti modelov pre ľudí. Interpretovateľné modely by mali poskytovať vysvetlenia, ktoré sú dostatočne jednoduché na to, aby ich používatelia pochopili, a ktoré sú uvedené v jazyku, ktorý je pre nich zmysluplný [9]. Vysvetliteľnosť modelov rozpoznávania emócií bola v literatúre riešená veľmi zriedkavo. Prístupy k dosiahnutiu vysvetliteľnosti sú obmedzené na modelagnostické metódy, ktoré vysvetľujú výstup modelu na základe vstupov, a na modelovo transparentné metódy (napr. [10], [11]), ktoré zdôrazňujú aktiváciu v rôznych vrstvách umelých neurónových sietí [ 12]. Ani jeden z týchto prístupov však nevyhnutne neposkytuje vysvetlenia priateľské k ľuďom, ktoré sú interpretovateľné ich používateľmi.

Výzvy týkajúce sa zhromažďovania a liečenia nadmerného množstva označených údajov pre tréningové modely FER a poskytovanie interpretovateľných vysvetlení z takýchto modelov si vyžadujú heterodoxné metódy. V tejto štúdii navrhujeme gamifikačný prístup k zberu anotovaných údajov o emóciách tváre. Navrhovaná hra, ktorá je pomenovaná; Facegame, stelesňuje metódu poskytovania predpisu prirodzeného jazyka ako spätnej väzby pre hráčov, efektívne slúži ako prostriedok na dosiahnutie interpretovateľnej vysvetliteľnosti. Stručne povedané, naše príspevky do oblasti afektívneho počítania sú nasledovné:

• Predstavujeme gamifikačný prístup na rýchle zhromažďovanie anotovaných údajov o emóciách tváre, ktoré sú bohaté na rôzne výrazy tváre, a to spôsobom s nízkymi nákladmi a malým úsilím.

• Navrhujeme nový prístup k interpretovateľnej vysvetliteľnosti preložením sprostredkujúcich čŕt tváre do receptov prirodzeného jazyka a ich poskytnutím ako vysvetlenie pre klasifikáciu emócií, ktorú poskytuje akýkoľvek model FER.

• Prezentovaný gamifikačný prístup vedie k výraznému zlepšeniu vnímania emócií tváre a vyjadrovacích schopností hráčov.

Zvyšok tohto dokumentu je štruktúrovaný nasledovne. Časť II poskytuje prehľad literatúry o rozpoznávaní emócií, vysvetliteľnej AI a gamifikovanom zbere údajov. Časť III popisuje hlavné príspevky. Časť IV predstavuje podrobnosti našej experimentálnej štúdie. Časť V uvádza výsledky našich experimentov. Nakoniec časť VI poskytuje diskusiu o teoretických a praktických dôsledkoch našich príspevkov a uzatvára článok.