Ang Kakaibang Larong Ito ay Nagagawa Mong Gayahin ang mga Mukha—at Kahit papaano Ito ay Nagsusulong ng AI

Talaan ng mga Link

• Abstract at I. Panimula
• II. Kaugnay na Gawain
• III. Gamified Data Collection at nabibigyang kahulugan Fer
• IV. Pamamaraan
• V. Mga Resulta
• VI. Pagtalakay at Konklusyon, Ethical Impact na pahayag at Mga Sanggunian

Abstract

Ang pagsasanay sa mga modelo ng pagkilala sa emosyon sa mukha ay nangangailangan ng malalaking hanay ng data at magastos na proseso ng anotasyon. Para maibsan ang problemang ito, gumawa kami ng gamified na paraan ng pagkuha ng naka-annotate na data ng emosyon sa mukha nang walang tahasang pagsisikap sa pag-label ng mga tao. Hinahamon ng laro, na pinangalanan naming Facegame, ang mga manlalaro na gayahin ang isang ipinapakitang larawan ng isang mukha na nagpapakita ng isang partikular na pangunahing emosyon. Ang bawat round na nilalaro ng player ay lumilikha ng bagong data na binubuo ng isang hanay ng mga facial feature at landmark, na may annotation na ng emotion label ng target na facial expression. Ang ganitong diskarte ay epektibong lumilikha ng isang matatag, napapanatiling, at tuluy-tuloy na proseso ng pagsasanay sa machine learning. Sinuri namin ang Facegame gamit ang isang eksperimento na nagpahayag ng ilang kontribusyon sa larangan ng affective computing. Una, ang diskarte sa pagkolekta ng gamified data ay nagbigay-daan sa amin na ma-access ang isang mayamang pagkakaiba-iba ng mga ekspresyon ng mukha ng bawat pangunahing emosyon dahil sa mga likas na pagkakaiba-iba sa mga ekspresyon ng mukha ng mga manlalaro at ang kanilang mga kakayahan sa pagpapahayag. Iniuulat namin ang pinahusay na katumpakan kapag ginamit ang nakolektang data para pagyamanin ang mga kilalang in-the-wild na mga dataset ng emosyon sa mukha at magkasunod na ginamit para sa pagsasanay ng mga modelo ng pagkilala sa emosyon ng mukha. Pangalawa, ang natural na paraan ng pagrereseta ng wika na ginagamit ng Facegame ay bumubuo ng isang nobelang diskarte para sa kakayahang maipaliwanag na maipapaliwanag na maaaring ilapat sa anumang modelo ng pagkilala sa emosyon ng mukha. Sa wakas, napansin namin ang mga makabuluhang pagpapabuti sa pang-unawa sa emosyon ng mukha at mga kasanayan sa pagpapahayag ng mga manlalaro sa pamamagitan ng paulit-ulit na paglalaro.

Mga Tuntunin ng Index —Affective na pag-compute, pagkilala sa emosyon sa mukha, gamification, naipapaliwanag na AI, nabibigyang-kahulugan ang machine learning

I. PANIMULA

Ang mga ekspresyon ng mukha ay kinakailangan sa di-berbal na komunikasyon ng tao dahil nagbibigay sila ng paraan ng paghahatid ng impormasyon tungkol sa emosyonal na estado [1] pati na rin ang mga intensyon sa pag-uugali [2] ng indibidwal. Ang mga emosyon ay pangunahing bahagi ng pakikipag-ugnayan sa lipunan [3], at ang kakayahang ipahayag at madama ang mga emosyon ay isang napakahalagang pag-aari para sa pagbuo ng mga koneksyon sa lipunan. Ang banal na grail ng affective computing ay upang bigyang kapangyarihan ang mga sistema ng computer na may kakayahang makita at ipahayag ang mga damdamin, at magagawang bumuo ng mga panlipunang ugnayan sa mga gumagamit ng tao [4]. Hanggang kamakailan lamang, ang kakayahang ito ay itinuturing na natatangi sa mga tao. Gayunpaman, lalo na sa mga kamakailang pagsulong sa Artificial Intelligence (AI), maraming mga pag-aaral ang isinagawa na nakatuon sa awtomatikong pagkilala ng mga emosyon [5].

Ang karaniwang diskarte ng pagsasanay sa mga modelo ng pag-aaral ng makina para sa pagkilala sa emosyon ng mukha (FER) ay pinangangasiwaan na pag-aaral, na nangangailangan ng malalaking hanay ng data [6]. Sa partikular, ang mga malalim na modelo ng FER ay hinamon ng kakulangan ng sapat na data para sa pagsasanay [7]. Ang pagkolekta at pag-curate ng mga ganitong malalaking dataset ay isang magastos at matagal na pagsisikap dahil ang pag-label ng mga annotator ng tao ay kinakailangan [8]. Nagdudulot ito ng balakid sa pagkamit ng makabuluhang pagpapabuti ng pagganap sa pananaliksik sa pagkilala sa emosyon.

Ang isa pang malaking hamon ay nakasalalay sa kakayahang maipaliwanag at maipaliwanag ng mga modelo ng pagkilala sa emosyon. Karamihan sa mga pag-aaral ay sinusuri ang mga modelo ng pagkilala sa emosyon gamit ang katumpakan at pagkalito na mga matrice; gayunpaman, ang mga sukatan na ito ay madalas na kulang sa pag-uulat ng utility ng mga modelo para sa mga tao. Ang mga maipaliwanag na modelo ay dapat magbigay ng mga paliwanag na sapat na simple upang maunawaan ng kanilang mga gumagamit, at ibinibigay sa isang wika na makabuluhan sa kanila [9]. Ang pagpapaliwanag ng mga modelo ng pagkilala sa emosyon ay napakabihirang natugunan sa panitikan. Ang mga diskarte upang makamit ang pagpapaliwanag ay limitado sa mga pamamaraan ng modelagnostic na nagpapaliwanag ng output ng modelo batay sa mga input, at mga pamamaraan na transparent na modelo (hal., [10], [11]) na nagha-highlight sa pag-activate sa iba't ibang mga layer ng mga artipisyal na neural network [ 12]. Gayunpaman, alinman sa diskarte ay hindi kinakailangang magbigay ng mga paliwanag na madaling gamitin ng tao na maaaring bigyang-kahulugan ng kanilang mga gumagamit.

Ang mga hamon tungkol sa pagkolekta at pag-curate ng labis na dami ng may label na data para sa pagsasanay ng mga modelo ng FER, at ang pagbibigay ng mga paliwanag na maipaliwanag mula sa mga naturang modelo ay nangangailangan ng mga pamamaraang heterodox. Sa pag-aaral na ito, nagmumungkahi kami ng diskarte sa gamification tungo sa pagkolekta ng naka-annotate na data ng emosyon sa mukha. Ang iminungkahing laro, na pinangalanan; Ang Facegame, ay naglalaman ng isang paraan para sa pagbibigay ng natural na reseta ng wika bilang feedback sa mga manlalaro, na epektibong nagsisilbing paraan ng pagkamit ng kakayahang maipaliwanag. Sa buod, ang aming mga kontribusyon sa larangan ng affective computing ay ang mga sumusunod:

• Nagpapakita kami ng diskarte sa gamification para sa mabilis na pagkolekta ng naka-annotate na data ng emosyon sa mukha na mayaman sa iba't ibang ekspresyon ng mukha, sa murang halaga at mababang pagsisikap.

• Nagmumungkahi kami ng isang bagong diskarte para sa maipaliwanag na kakayahang maipaliwanag sa pamamagitan ng pagsasalin ng mga intermediary facial feature sa mga natural na reseta ng wika, at pagbibigay ng mga ito bilang paliwanag para sa mga klasipikasyon ng emosyon na ibinigay ng anumang modelo ng FER.

• Ang ipinakita na diskarte sa gamification ay humahantong sa makabuluhang mga pagpapabuti sa pang-unawa sa emosyon ng mukha at mga kasanayan sa pagpapahayag ng mga manlalaro.

Ang natitirang bahagi ng papel na ito ay nakabalangkas tulad ng sumusunod. Nagbibigay ang Seksyon II ng pagsusuri sa panitikan sa pagkilala sa emosyon, naipapaliwanag na AI, at gamified na pangongolekta ng data. Inilalarawan ng Seksyon III ang mga pangunahing kontribusyon. Inilalahad ng Seksyon IV ang mga detalye ng aming eksperimentong pag-aaral. Inilalahad ng Seksyon V ang mga resulta ng aming mga eksperimento. Sa wakas, ang Seksyon VI ay nagbibigay ng talakayan sa teoretikal at praktikal na implikasyon ng aming mga kontribusyon, at tinatapos ang papel.