Emootiontunnistus puheen prosodisten piirteiden avulla

Ihminen ilmaisee tunteitaan puhumalla. Sanojen painotus, ajoitus, äänensävy ja korkeus tehostavat ja täydentävät sisällön merkitystä.

Myös tietokoneelle kyky erotella ja tulkita tunneinformaatiota puheesta on olennaista matkalla kohti luonnollisempaa vuorovaikutusta ihmisen kanssa. Puhutaan affektiivisesta tietojenkäsittelystä, jossa yhdistyvät tietotekniikka ja kognitiotiede.

Väitöstyössä on kehitetty laatuaan ensimmäinen teknologia perustunnetilan automaattiseen tulkintaan pitkän suomenkielisen puheäänen vaihteluista (prosodiasta). Tarkkuudeltaan automatiikka vertautuu ihmisen kykyyn tunnistaa puhekumppaninsa tunnetila vastaavalla tavalla. Teknologia perustuu signaalinkäsittely-, hahmontunnistus- ja koneoppimismenetelmiin.

Suomenkielisen pitkäkestoisen puheen vaihteluihin perustuvaa tunteiden automaattista tulkintaa on tutkittu aiemmin hyvin vähän.

Väitöstyössä on kehitetty myös fuusiomenetelmä, joka tehostaa tunnetilan luokittelua lyhyistä puhekomennoista. Tämä menetelmä soveltuu muidenkin signaalien käsittelyyn. Lisäksi työ esittelee teknisen ratkaisun tunnepitoisen puhedatan visualisointiin helposti esitettävässä muodossa.

Tutkimusaineistona on suomalaisten ammattinäyttelijöiden kontrolloidussa testitilanteessa laadukkaasti tallennettu puhe. Siksi tulokset eivät ole suoraan yleistettävissä spontaanin puheen tulkintaan.