Hierdie vreemde speletjie laat jou gesigte naboots - en op een of ander manier bevorder dit KI

Tabel van skakels

• Abstract en I. Inleiding
• II. Verwante werk
• III. Gamified Data-insameling en interpreteerbare Fer
• IV. Metodologie
• V. Resultate
• VI. Bespreking en Gevolgtrekking, Etiese Impakverklaring en Verwysings

Abstrak

Opleiding van gesigsemosie-herkenningsmodelle vereis groot stelle data en duur annotasieprosesse. Om hierdie probleem te verlig, het ons 'n gamified metode ontwikkel om geannoteerde gesigsemosiedata te verkry sonder 'n eksplisiete etiketteringspoging deur mense. Die speletjie, wat ons Facegame genoem het, daag die spelers uit om 'n vertoonbeeld van 'n gesig na te boots wat 'n spesifieke basiese emosie uitbeeld. Elke rondte wat deur die speler gespeel word, skep nuwe data wat bestaan uit 'n stel gelaatstrekke en landmerke, reeds geannoteer met die emosie-etiket van die teiken gesigsuitdrukking. So 'n benadering skep effektief 'n robuuste, volhoubare en deurlopende masjienleer-opleidingsproses. Ons het Facegame geëvalueer met 'n eksperiment wat verskeie bydraes tot die veld van affektiewe rekenaar aan die lig gebring het. Eerstens het die gamified data-insamelingsbenadering ons toegang gegee tot 'n ryk variasie van gesigsuitdrukkings van elke basiese emosie as gevolg van die natuurlike variasies in die spelers se gesigsuitdrukkings en hul ekspressiewe vermoëns. Ons rapporteer verbeterde akkuraatheid wanneer die versamelde data gebruik is om bekende in-die-wild-gesig-emosie-datastelle te verryk en opeenvolgend gebruik is vir die opleiding van gesig-emosie-herkenningsmodelle. Tweedens, die natuurlike taalvoorskrifmetode wat deur die Facegame gebruik word, vorm 'n nuwe benadering vir interpreteerbare verklaarbaarheid wat op enige gesigsemosie-herkenningsmodel toegepas kan word. Ten slotte het ons beduidende verbeterings in die gesigsemosie-persepsie en uitdrukkingsvaardighede van die spelers waargeneem deur herhaalde spel.

Indeksterme — Affektiewe rekenaars, gesigsemosie-herkenning, gamification, verklaarbare KI, interpreteerbare masjienleer

I. INLEIDING

Gesigsuitdrukkings is noodsaaklik vir nie-verbale menslike kommunikasie aangesien dit 'n manier bied om inligting oor te dra aangaande die emosionele toestand [1] sowel as die gedragsintensies [2] van die individu. Emosies is fundamentele komponente van sosiale interaksie [3], en die vermoë om emosies uit te druk en waar te neem is 'n onskatbare bate vir die bou van sosiale verbindings. Die heilige graal van affektiewe rekenaars is om rekenaarstelsels te bemagtig met die vermoë om emosies waar te neem en uit te druk, en om sosiale bande met menslike gebruikers te vorm [4]. Hierdie vermoë is tot baie onlangs as uniek aan mense beskou. Veral met die onlangse vooruitgang in Kunsmatige Intelligensie (KI), is baie studies egter uitgevoer wat fokus op die outomatiese herkenning van emosies [5].

Die algemene benadering van die opleiding van masjienleermodelle vir gesigsemosie-herkenning (FER) is leer onder toesig, wat groot stelle data vereis [6]. Spesifiek, diep FER-modelle word uitgedaag deur 'n gebrek aan voldoende data vir opleiding [7]. Die versameling en samestelling van sulke groot datastelle is 'n duur en tydrowende poging aangesien etikettering deur menslike annoteerders nodig is [8]. Dit stel 'n struikelblok om beduidende prestasieverbeterings in emosieherkenningsnavorsing te bereik.

Nog 'n groot uitdaging lê in die verklaarbaarheid en interpreteerbaarheid van emosieherkenningsmodelle. Studies evalueer meestal emosieherkenningsmodelle deur akkuraatheid en verwarringsmatrikse te gebruik; hierdie maatstawwe skiet egter dikwels tekort om die bruikbaarheid van die modelle vir mense te rapporteer. Interpreteerbare modelle moet verduidelikings verskaf wat eenvoudig genoeg is om deur hul gebruikers verstaan te word, en gegee word in 'n taal wat vir hulle betekenisvol is [9]. Die verklaarbaarheid van emosieherkenningsmodelle is baie selde in die literatuur aangespreek. Die benaderings om verklaarbaarheid te bereik is beperk tot modelagnostiese metodes wat die uitset van die model verduidelik op grond van die insette, en model-deursigtige metodes (bv. [10], [11]) wat die aktivering in verskillende lae van kunsmatige neurale netwerke uitlig. 12]. Nie een van die benaderings verskaf egter noodwendig mensvriendelike verduidelikings wat deur hul gebruikers interpreteerbaar is nie.

Die uitdagings rakende die insameling en samestelling van buitensporige hoeveelhede gemerkte data vir die opleiding van FER-modelle, en om interpreteerbare verduidelikings van sulke modelle te lewer, vereis heterodokse metodes. In hierdie studie stel ons 'n gamifikasie-benadering tot die versameling van geannoteerde gesigsemosiedata voor. Die voorgestelde speletjie, wat genoem word; Facegame, beliggaam 'n metode om natuurlike taalvoorskrif as terugvoer aan die spelers te verskaf, wat effektief dien as 'n manier om interpreteerbare verklaarbaarheid te bereik. Samevattend, ons bydraes tot die veld van affektiewe rekenaar is soos volg:

• Ons bied 'n gamification-benadering aan vir die vinnige insameling van geannoteerde gesigsemosiedata wat ryk is aan 'n verskeidenheid gesigsuitdrukkings, op 'n laekoste, lae-moeite manier.

• Ons stel 'n nuwe benadering vir interpreteerbare verklaarbaarheid voor deur die intermediêre gelaatstrekke in natuurlike taalvoorskrifte te vertaal, en dit te verskaf as 'n verduideliking vir die emosieklassifikasies wat deur enige FER-model verskaf word.

• Die voorgestelde gamification-benadering lei tot beduidende verbeterings in die gesigsemosie-persepsie en uitdrukkingsvaardighede van die spelers.

Die res van hierdie vraestel is soos volg gestruktureer. Afdeling II verskaf 'n literatuuroorsig oor emosie-herkenning, verklaarbare KI, en gamified data-insameling. Afdeling III beskryf die kernbydraes. Afdeling IV bied die besonderhede van ons eksperimentele studie aan. Afdeling V openbaar die resultate van ons eksperimente. Ten slotte bied Afdeling VI 'n bespreking oor die teoretiese en praktiese implikasies van ons bydraes, en sluit die referaat af.