Mikroilmeiden ymmärtäminen koneoppimisen avulla
Väitöstilaisuuden tiedot
Väitöstilaisuuden päivämäärä ja aika
Väitöstilaisuuden paikka
TA 105, Linnanmaa
Väitöksen aihe
Mikroilmeiden ymmärtäminen koneoppimisen avulla
Väittelijä
Master of Science Yante Li
Tiedekunta ja yksikkö
Oulun yliopiston tutkijakoulu, Tieto- ja sähkötekniikan tiedekunta, Konenäön ja signaalianalyysin tutkimuskeskus
Oppiaine
Tietojenkäsittelytiede
Vastaväittäjä
Professori Robert Jenssen, UiT, Tromssan yliopisto
Kustos
Akatemiaprofessori Guoying Zhao, Oulun yliopisto
Mikroilmeiden ymmärtäminen koneoppimisen avulla
Tunneanalyysillä on tärkeä rooli ihmisen jokapäiväisessä elämässä. Kasvojen ilmeet ovat yksi tärkeimmistä tavoista ilmaista tunteita. Arjen tavallisten ilmeiden lisäksi tunteet voidaan ilmaista myös erityisellä tavalla, mikroilmeillä. Mikroilmeet ovat tahattomia kasvojen liikkeitä, jotka emotionaaliset ärsykkeet aiheuttavat. Mikroilmeet paljastavat ihmisten piileviä tunteita kovan paineen tilanteissa ja niitä voidaan käyttää eri sovelluksissa, kuten kliinisessä diagnoosissa sekä kansalliseen turvallisuuteen ja kuulusteluihin liittyvissä tilanteissa. Mikroilmeiden tunnistus on kuitenkin haastavaa alhaisen intensiteetin, lyhyen keston ja pienten datajoukkojen vuoksi.
Tämä opinnäytetyö on kattava yhteenveto mikroilmeiden tunnistuksen kannalta tärkeistä aiheista, ja se koostuu viidestä tutkimukseni vastaavasta artikkelista. Ensimmäiseksi otetaan käyttöön syväoppimiseen perustuva automaattinen mikroilmeentunnistusjärjestelmä. Toiseksi esitellään mikroilmeiden aktioyksikkö-tunnistus, jolla on tärkeä rooli kasvojen käyttäytymisen analysoinnissa. Kolmanneksi esitetään uusi mikroilmeiden tunnistus aktioyksikköjen avulla, joka vahvistaa aktioyksikköjen tuloksen mikroilmeiden tunnistukseen.
Tämän tutkimuksen tulokset voidaan luokitella kolmeen osaan:
(1) Mikroilmeiden tunnistukseen ehdotetaan perusteellista lähestymistapaa videon apeksikohdan avulla, mikä osoittaa, että syväoppiminen voi edistää mikroilmeiden tunnistusta videon apeksin ansiosta
(2) Avaamme uuden uran mikroilmeiden aktioyksikköjen tutkimukselle ja tarjoamme perustason ja uusia siirtymisoppimismenetelmiä tulevaa mikroilmeiden aktioyksikköjen tunnistusta varten
(3) Ehdotamme yhtenäistä kehystä, jolla mikroilmeitä voidaan tunnistaa aktioyksikköjen ja kontrastiivisen oppimisen avulla ja jolla voimme vahvistaa aktioyksikköjen merkityksen vahvassa mikroilmeiden tunnistuksessa.
Lopuksi teemme yhteenvedon työn tuloksista ja ehdotamme tulevaisuuden suunnitelmia mikroilmeiden tutkimuksille nykyisen työn rajoitusten perusteella.
Tämä opinnäytetyö on kattava yhteenveto mikroilmeiden tunnistuksen kannalta tärkeistä aiheista, ja se koostuu viidestä tutkimukseni vastaavasta artikkelista. Ensimmäiseksi otetaan käyttöön syväoppimiseen perustuva automaattinen mikroilmeentunnistusjärjestelmä. Toiseksi esitellään mikroilmeiden aktioyksikkö-tunnistus, jolla on tärkeä rooli kasvojen käyttäytymisen analysoinnissa. Kolmanneksi esitetään uusi mikroilmeiden tunnistus aktioyksikköjen avulla, joka vahvistaa aktioyksikköjen tuloksen mikroilmeiden tunnistukseen.
Tämän tutkimuksen tulokset voidaan luokitella kolmeen osaan:
(1) Mikroilmeiden tunnistukseen ehdotetaan perusteellista lähestymistapaa videon apeksikohdan avulla, mikä osoittaa, että syväoppiminen voi edistää mikroilmeiden tunnistusta videon apeksin ansiosta
(2) Avaamme uuden uran mikroilmeiden aktioyksikköjen tutkimukselle ja tarjoamme perustason ja uusia siirtymisoppimismenetelmiä tulevaa mikroilmeiden aktioyksikköjen tunnistusta varten
(3) Ehdotamme yhtenäistä kehystä, jolla mikroilmeitä voidaan tunnistaa aktioyksikköjen ja kontrastiivisen oppimisen avulla ja jolla voimme vahvistaa aktioyksikköjen merkityksen vahvassa mikroilmeiden tunnistuksessa.
Lopuksi teemme yhteenvedon työn tuloksista ja ehdotamme tulevaisuuden suunnitelmia mikroilmeiden tutkimuksille nykyisen työn rajoitusten perusteella.
Viimeksi päivitetty: 1.3.2023