Konenäön ja signaalianalyysin tutkimuskeskus

CMVS:n tutkimuksen ydin on perustutkimus yleisistä algoritmeista tietokonenäön alalla. Keskuksen toiminnassa on saavutettu läpimurtoja useilla tutkimusalueilla, kuten tekstuurin ja dynaamisen tekstuurin analyysissä.

Kuva- ja videokuvaajat ovat avainasemassa useimmissa tietokonenäön järjestelmissä ja sovelluksissa. Kuvaajien tehtävänä on muuntaa pikselitasoinen tieto hyödylliseen muotoon, joka tallentaa tärkeimmät tekijät hyödylliseen muotoon mutta on epäherkkä epäolennaisille tekijöille, jotka johtuvat vaihtelevasta ympäristöstä. Vaikka epäolennaisuuden määritelmä riippuu sovelluksesta, yleisimmät tapaukset liittyvät kuvantamisolosuhteisiin, kuten valaistukseen, katselukulmaan, mittakaavaan, kohinaan ja sumennukseen. Tutkimuksemme pääpaino on ollut tekstuurikuvaajissa, joilla on pitkät perinteet ja jotka lukeutuvat maailman parhaisiin.

Tekstuurilla on tärkeä rooli monenlaisten kuvien ja videoiden ominaisuutena. Local Binary Pattern (LBP) -tekstuurioperaattori on ollut erittäin menestyksekäs lukuisissa sovelluksissa ympäri maailmaa ja on innoittanut lukuisia uusia tutkimuksia siihen liittyvistä menetelmistä, mukaan lukien sumennusepäherkkä paikallinen vaiheen kvantisointi (Local Phase Quantization, LPQ), Weberin lakideskriptori (Weber Law Descriptor, WLD), binääriset tilastolliset kuvan ominaisuudet (Binarized Statistical Image Features, BSIF) ja paikallinen suunta-adaptiivinen kuvaaja (Local Orientation Adaptive Descriptor, LOAD), jotka myös ovat CMVS:n tutkijoiden kehittämiä. Myös videon analysointiin tarkoitettuja avaruudellis-aikadynaamisia tekstuurikuvaajia on ehdotettu. Näistä suosituin on LBP-TOP. Yksi nykytutkimuksen painopisteistä on "perinteisten" kuvaajien yhdistäminen syväoppimiseen perustuviin lähestymistapoihin, joita sovelletaan esimerkiksi kasvoanalyysiin ja biolääketieteelliseen kuva-analyysiin.

Local Binary Patterns

Local Binary Pattern (LBP) on yksinkertainen mutta erittäin tehokas tekstuurioperaattori, joka merkitsee kuvan pikselit kynnystämällä kunkin pikselin naapuruston ja tulkitsemalla tuloksen binäärilukuna. Erottelukykynsä ja laskennallisen yksinkertaisuutensa vuoksi LBP-tekstuurioperaattori on tullut suosituksi lähestymistavaksi useissa sovelluksissa. Sitä voidaan pitää yhdistävänä lähestymistapana perinteisesti erilaisten tilastollisten ja rakenteellisten tekstuurianalyysimallien välillä. Ehkä tärkein ominaisuus LBP-operaattorissa todellisissa sovelluksissa on sen robustisuus monotonisia harmaasävymuutoksia kohtaan, jotka johtuvat esimerkiksi valaistuksen vaihteluista. Toinen tärkeä ominaisuus on sen laskennallinen yksinkertaisuus, joka mahdollistaa kuvien analysoinnin haastavissa reaaliaikaisissa asetelmissa. LBP:tä on käytetty laajimmin tiheänä tekstuurikuvaajana, mutta sitä voidaan käyttää myös harvana kuvaajana kuten SIFT tai hilalla laskettuna kuten HOG.

Tarkempaa kuvausta LBP:stä spatiaalisilla ja spatiotemporaalisilla alueilla varten, katso LBP Scholarpediassa.

Dynaamiset tekstuurikuvaajat

Dynaamiset tekstuurit (DT) tai ajalliset tekstuurit ovat tekstuuria, jossa on liikettä, ja laajentavat spatiaalisen tekstuurin ajalliseen ulottuvuuteen. Dynaamiset tekstuurianalyysimenetelmät tarjoavat tehokkaita työkaluja liikkeen analysointiin. Mahdollisia sovelluksia ovat etävalvonta ja erilaiset valvontatehtävät haastavissa ympäristöissä, kuten metsäpalojen valvonta luonnonkatastrofien estämiseksi, liikenteen valvonta, kotimaan turvallisuuden sovellukset ja eläinten käyttäytyminen seuranta tieteellisiin tutkimuksiin. DT-menetelmiä käytetään myös kasvodynamiikan analysointiin, toimintojen tunnistamiseen, videon synteesiin, liikkeen segmentointiin ja videon luokitteluun. CMVS on tehnyt laajaa tutkimusta avaruudellis-aikadynaamisista tekstuurikuvaajista, DT:n tunnistamisesta, segmentoinnista ja synteesistä. Sovellusalueisiin kuuluvat kasvoanalyysi ja toimintojen tunnistaminen.

Automaattinen kasvojen analysointi on hyvin aktiivisesti tutkittu aihe tietokonenäön tutkimuksessa, koska siitä on hyötyä useissa sovelluksissa, kuten biometrisessä tunnistuksessa, visuaalisessa valvonnassa, ihmisen ja koneen vuorovaikutuksessa, videoneuvotteluissa ja sisältöpohjaisessa kuvahaussa.

Kasvoanalyysi on yksi tärkeimmistä kyvyistä jokapäiväisessä elämässämme. Ihmiset käyttävät kasvoanalyysiä useisiin eri tehtäviin. He tunnistavat toiset ihmiset pääasiassa kasvojen perusteella - nuoriksi tai vanhoiksi, miehiksi tai naisiksi, valkoihoisiksi tai aasialaisiksi. Voimme myös nähdä kasvoista, onko henkilö iloinen tai surullinen, väsynyt tai hermostunut, tuntee kipua, kertoo totuuden tai valehtelee. Kasvot ovat erittäin tärkeitä ihmisten välisessä sosiaalisessa viestinnässä. Tunteelliset kasvot välittävät sekä henkilön emotionaalisen tilan että käyttäytymisaikeet. Suu liikkeineen on tärkeä vihje puheentunnistukseen meluisissa olosuhteissa, ja kuulovammaiset voivat jopa lukea huulilta. Pään asento ja katseen suunta antavat tietoa huomion suunnasta. Kasvot voivat myös antaa vihjeitä terveydestä. Esimerkiksi henkilö, jolla on autismi, kohtaa vaikeuksia ymmärtää ja ilmaista tunteitaan.

Suuren tärkeytensä vuoksi kasvokuva-analyysi on ollut intensiivisen tutkimuksen kohde tietokonenäössä, kuvankäsittelyssä ja niihin liittyvillä aloilla. Sen potentiaalisia sovellusalueita ovat muun muassa luonnolliset ihmisen ja tietokoneen/robotin väliset rajapinnat, biometrinen tunnistus, kuvan ja videon haku, multimedian hallinta, videonvalvonta, rikostutkinta, audiovisuaalinen puheentunnistus ja tunnetiloja havainnoivat järjestelmät erilaisiin sovelluksiin.

Yksi yhteinen tavoite tutkimuksessamme eri kasvoanalyysin osa-alueilla on kehittää menetelmiä rajoittamattomiin olosuhteisiin ("villiin ympäristöön"), mahdollistaen muutokset valaistuksessa, pään asennossa, kuvan laadussa ja taustassa.

Kasvojen tunnistaminen

Vuonna 2004 ehdotimme lähestymistapaa kasvojen esittämiseen perustuen LBP-piirteisiin. Kasvojen kuva jaetaan alueisiin, joista LBP-piirteet erotetaan ja yhdistetään paranneltuun piirrevektoriin, jota käytetään kasvokuvaajana. Tämä lähestymistapa on yksi virstanpylväistä kasvojentunnistuksen tutkimuksessa ja se sai arvostetun Koenderink-palkinnon ECCV 2014:ssä perustavanlaatuisista tietokonenäön tutkimuspanoksista, jotka ovat kestäneet ajan. Monet ryhmät ja yritykset ympäri maailmaa ovat ottaneet sen käyttöön ja kehittäneet sitä eteenpäin. Vuonna 2007 kasvokuvaajaa laajennettiin videoihin käyttäen spatiotemporaalisia LBP-TOP-operaattoreita kuvaamaan kasvojen dynamiikkaa. Monet ovat omaksuneet tämänkin lähestymistavan.

Kasvojen biometriikassa tutkimuksemme nykyinen keskeinen painopiste on tehokkaiden menetelmien kehittämisessä huijausten estoon. Toinen viimeaikaisen tutkimuksen alue on pehmeä biometriikka, jonka tavoitteena on kehittää robusteja menetelmiä esimerkiksi sukupuolen tunnistamiseen, iän arviointiin ja sukulaisuuden varmistamiseen kasvojen kuvista.

Kasvojen väärentämisen torjunta

Ilman räätälöityjä vastatoimenpiteitä suurin osa olemassa olevista kasvojen biometrisistä järjestelmistä on alttiita huijauksille, koska ne pyrkivät maksimoimaan eroavuuden identiteettien välillä huomioimatta, onko esitetty ominaisuus peräisin elävältä legitiimiltä asiakkaalta vai ei. CMVS on aktiivisesti kehittänyt ohjelmistopohjaisia menetelmiä väärillä kasvokuvilla tehtyjen hyökkäyksien havaitsemiseen (presentation attack detection, PAD). Ehdotetut vastatoimenpiteet huijauksille analysoivat kasvojen tekstuuria, liikettä ja kontekstuaalista tietoa kuvaamaan luontaisia ​​eroja aitojen ja väärien kasvojen välillä. Vuonna 2013 saimme IET Biometrics -lehdessä julkaistusta artikkelistamme vuodelta 2012 IET Biometrics Premium -palkinnon.

Katso video, joka havainnollistaa kasvojen väärentämisen torjuntaa

Kasvojen ilmeiden tunnistaminen

Automaattinen tunteiden analysointi ja ymmärtäminen ovat saaneet paljon huomiota vuosien varrella affektiivisen laskennan alalla. Yksi keskeisistä modaliteeteista on kasvojen ilmeet. CMVS on tehnyt laajaa tutkimusta kasvojen ilmeiden tunnistamisessa käyttäen dynaamista tietojen analysointia. Kokeelliset tuloksemme osoittavat myös lupaavaa suorituskykyä ryhmän onnellisuuden intensiteetin analyysissä.

Nykyisen tutkimuksemme tavoitteena on kehittää menetelmä spontaanien ilmeiden tunnistamiseksi jatkuvasta videodatasta rajoittamattomissa olosuhteissa ("vapaassa luonnossa").

Mikroilmeiden tunnistaminen ja havaitseminen

Mikroilmeet ovat hyvin nopeita tahattomia kasvojen ilmeitä, jotka paljastavat tukahdutettuja tunteita. Kasvojen mikroilmeet paljastavat ristiriidan kasvojen ilmeiden ja tunnetilan välillä, mahdollistaen tukahdutettujen tunteiden tunnistamisen. CMVS:ssä kehitetty menetelmä (ja korpus) on ensimmäinen, joka tunnistaa spontaanit kasvojen mikroilmeet ja saavuttaa erittäin lupaavia tuloksia.

Olemme myös tutkineet menetelmiä mikroilmeiden havaitsemiseksi videodatasta, jota voidaan käyttää esimerkiksi esikäsittelyvaiheena ennen tunnistamista. Nykyisen tutkimuksemme tavoitteena on tehdä automatisoidusta mikroilmeiden analyysistä käytännöllinen työkalu tosielämän sovelluksiin.

Työtämme on esitelty kansainvälisessä mediassa, kuten MIT Technology Review:ssa ja Daily Mailissa.

Sykkeen seuranta kasvovideoista

Syke on tärkeä indikaattori ihmisten fysiologisesta tilasta. Viimeaikainen tutkimus osoittaa, että fysiologisia signaaleja, kuten sykettä, voidaan mitata tavallisella kameralla. Ihmisen visuaalisella järjestelmällä on rajallinen spatiotemporaalinen herkkyys, mutta monet signaalit, jotka jäävät tämän kapasiteetin alle, voivat olla informatiivisia. Esimerkiksi ihmisen ihonväri vaihtelee hieman verenkierron mukaan. Tämä vaihtelu, vaikkakin näkymätön paljaalla silmällä, voidaan hyödyntää henkilön sykkeen saamiseksi. CMVS:ssä kehitetty menetelmä ylittää muut ratkaisut, joiden suorituskyky heikkenee ympäristön valaistusmuutosten ja kohteiden liikkeiden ollessa mukana. Nykyisen tutkimuksemme tavoitteena on sopeuttaa menetelmä erilaisiin sovelluksiin, mukaan lukien terveyden seuranta, kasvojen väärentämisen torjunta ja affektiivinen laskenta.

Visuaalinen puheentunnistus ja animaatio

Visuaalisella puheinformaatiolla on tärkeä rooli sekä puheentunnistuksessa että ihmisen ja tietokoneen vuorovaikutuksessa. Visuaalisen puheentunnistuksen paikalliset spatiotemporaaliset kuvaajat ja graafin upotukset ehdotettiin videodynamiikan tallentamiseksi, puhuttujen eristettyjen lauseiden esittämiseksi ja tunnistamiseksi pelkästään visuaalisesta syötteestä. CMVS on kehittänyt myös visuaalisesti realistisen animaatiojärjestelmän puhuvan suun syntetisoimiseksi. Videon syntetisointi saavutetaan ensin oppimalla generatiiviset mallit tallennetuista puhevideoista ja sitten käyttämällä oppimiamme malleja videoiden generointiin uusista lausumista.

3D-tietokonenäkö on ollut yksi CMVS:n ydintutkimusalueista 1990-luvun alkupuolelta lähtien. Tämä tutkimus on johtanut moniin uusiin menetelmiin ja ohjelmistotyökaluihin, jotka ovat laajasti käytössä tutkimusyhteisössä ja yrityksissä.

Viime vuosien aikana painopisteemme on ollut 3D-tietokonenäkötekniikoissa, jotka mahdollistavat kehittyneempien ominaisuuksien käytön lisätyn todellisuuden sovelluksissa, joissa todelliset ja virtuaaliset objektit ovat samassa ympäristössä. Puettavat tietokoneet, kuten Google Glass, ovat luoneet vahvaa kysyntää tällaiselle teknologialle. Yksi perustavanlaatuinen työssämme tutkima ongelma on käyttäjän tarkka paikannus ympäristöön nähden. Muita tärkeitä tutkimusongelmia ovat 3D-näkymän rakenteen arviointi ja tiheän 3D-mallin luominen useista kuvista.

Kameran kalibrointi

Geometria on tärkeä osa tietokonenäköä. Geometrian ja optiikan lait kuvaavat, miten kolmiulotteinen maailma kuvataan kameran anturille, ja siksi kuvantamisen geometrian ymmärtäminen on tärkeää automaattisten kuva-analyysimenetelmien kehittämisessä. Geometrinen kameran kalibrointi on tärkeä aihe, koska se on edellytys kuvapohjaisille metrisille 3D-mittauksille, ja meillä on vahva asiantuntemus kyseisellä alalla.

Kameran kalibrointityökalut:

• Kameran kalibrointityökalupaketti MATLAB:lle
• Kameran kalibrointityökalupaketti yleisille keskikameroille
• Kinect-kalibrointityökalu

3D-rekonstruktio

Kohteen kolmiulotteisen mallin automaattinen hankkiminen useista valokuvista on tärkeä tutkimusalue tietokonenäössä. Viime vuosien aikana olemme myös keskittyneet 3D-mallintamiseen pistepilvien avulla, jotka on tuotettu kuvapohjaisten 3D-rekonstruktiomenetelmien avulla.

Ihmisten, heidän toimiensa ja tunteidensa tunnistaminen tietokonenäön avulla ja älykkään koneen vastaus näihin haasteisiin ratkaisee osan affektiivisen ihmisen ja tietokoneen välisen vuorovaikutuksen perusongelmista.

Affektiivisten ihmisen ja tietokoneen välisten käyttöliittymien (human-computer interface, HCI) kehittäminen on suuren mielenkiinnon kohde tulevien jokapaikan tietokonejärjestelmien rakentamisessa. Tietokoneiden kanssa pitäisi pystyä vuorovaikuttamaan luonnollisella, ihmisten välisen vuorovaikutuksen kaltaisella tavalla. Tässä tietokonenäkö ja puheentunnistus tulevat olemaan avainasemassa. Tietokoneen pitäisi pystyä havaitsemaan ja tunnistamaan käyttäjä, tunnistamaan käyttäjän tunteet, kommunikoimaan helposti ymmärtämällä puhetta ja eleitä, havaitsemaan ja seuraamaan ihmisiä sekä tunnistamaan heidän toimintonsa ja tarjoamaan luonnollisen vastauksen havaintojensa perusteella. Tutkimuksemme kuvan ja videon kuvaajista, kasvojen kuvan analyysista, tunteiden tunnistamisesta, katseen analyysista, eleiden analyysista, visuaalisesta puheen analyysista ja synteesistä sekä 3D-näöstä tarjoavat ainutlaatuisen perustan affektiivisten HCI-järjestelmien rakentamiseen erilaisiin sovelluksiin.

Kokeelliset järjestelmät kasvoanalyysiin ja ihmisen ja robotin väliseen vuorovaikutukseen

Yksikössämme on kehitetty kokeellinen reaaliaikainen kasvoanalyysijärjestelmä. Järjestelmä sisältää moduulit kasvojen tunnistamiseen ja seurantaan, kasvojen piirteiden tunnistamiseen, geometriseen ja valaistuksen normalisointiin, kasvojen tunnistamiseen, sukupuolen tunnistamiseen, kasvojen ilmeiden tunnistamiseen sekä sykkeen mittaamiseen kasvovideoista. Kasvojen tunnistusosa on tämän analyysin keskiössä, sillä sen on mahdollista oppia dynaamisesti uusia ihmisiä, jotka ilmaantuvat kameran eteen, ja muistaa aiemmat analyysitulokset ja yhdistää ne uusiin jokaiselle eri henkilölle. Järjestelmä näyttää myös, miten tunnistaminen tapahtuu visualisoimalla jokaisen yksittäisen vaiheen ja niiden välitulokset. Järjestelmää on käytetty tutkimuksemme esittelyyn vierailijoille sekä erilaisissa näyttelyissä.

Järjestelmän avainosat on toteutettu Vuzix M100 -älylasien avulla. Ohjelmisto käyttää vain paikallista prosessointia eikä vaadi verkkoyhteyttä laskennan siirtämiseksi palvelimille. Kasvojen analyysiteknologia kannettavissa laitteissa mahdollistaa useanlaisia palveluita. Tuttuihin henkilöihin voidaan liittää lisätietoja, jotka näytetään heidät havaittaessa. Tulevaisuudessa ohjelmisto voisi myös automaattisesti analysoida ympäristöä esimerkiksi näkövammaisten avuksi ja käyttää muita modaliteetteja näiden tietojen välittämiseksi käyttäjälle.

Yhdessä robotiikkatiimin kanssa kehitimme hajautetun järjestelmän affektiiviseen ihmisen ja robotin väliseen vuorovaikutukseen, joka yhdistää kaikki perussensorielementit ja voi yhteistyössä älykkään ympäristön kanssa hankkia lisätietoa internetistä. Toteutettu HRI-robotti, Minotaurus, toimii reaaliajassa ja kykenee vuorovaikutukseen ihmisten kanssa. Minotaurus muodostaa melko yleisluontoisen alustan ihmisen ja robotin välisen yhteistyön kokeisiin erilaisissa sovelluksissa ja ympäristöissä.

Katso video vuorovaikutuksesta sosiaalisen robotin "Minotaurus" kanssa

Ihmisen katseen analyysi

Yksi tärkeä osa havaintopohjaisia käyttöliittymiä on ihmisen huomion analysointi. Koska silmän liike paljastaa ihmisen visuaalisen järjestelmän kiinnostuksen kohdealueet (region of interest, ROI), sitä hyödynnetään laajalti tutkimuksissa, jotka koskevat visuaalisen huomion ymmärtämistä. Ihmisen kiinnostuksen kohteiden havainnointi mahdollistaa paremman ihmisen ja tietokoneen välisen vuorovaikutuksen. Visuaalisen huomion analyysin helpottamiseksi CMVS on suunnitellut ja laatinut uuden tehtävälähtöisen silmänseurantatietokannan, joka tarjoaa 47 koehenkilön kiintopistetiheyskartat.

CMVS on myös tutkinut katseen suunnan analyysia videodatasta ja laatinut Oulu Multi-pose Eye Gaze Datasetin, joka sisältää silmien katsekuvia kuvattuna useista pään asennoista.

Kyky tunnistaa ihmisen tunteet on merkittävässä roolissa sovelluksissa ihmisen tietokonevuorovaikutuksesta ja viihteestä psykologiaan ja koulutukseen. CMVS:ssä uskomme, että eri modaliteeteista saatavien toisiaan täydentävien tietojen yhdistäminen lisää tunteiden tunnistamisen tarkkuutta.

Affektiivinen laskenta (affective computing, AC) on moderni tutkimussuuntaus, jonka tarkoituksena on ratkaista suuri haaste luoda koneelle tunneälyä. Affektiivinen laskenta on monitieteellinen tutkimusalue tavoitteenaan suunnitella järjestelmiä, jotka voivat tunnistaa, tulkita ja simuloida ihmisten tunteita ja niihin liittyviä affektiivisia ilmiöitä. Päämäärämme on luoda läpimurtoteknologiaa affektiivisessa laskennassa pohjaten tietokonenäköön, audiovisuaaliseen puheeseen, fysiologisiin signaaleihin ja muuhun dataan. CMVS:n maailmanluokan asiantuntemus näillä alueilla tarjoaa ainutlaatuisen perustan tälle tutkimukselle.

Informatiivisin tapa havaita affekti ja tunteet koneellisesti on perustuen kasvojen ilmeisiin videossa. Myös kehon liikkeet, audiovisuaalinen puhe, pää, silmät ja erilaiset fysiologiset signaalit, jotka ovat läheisesti sidoksissa tunneperäisiin muutoksiin (esimerkiksi syke, hengitys, galvaaninen ihovaste), tulisi ottaa huomioon.

Tunteiden analysointi kasvojen ilmeistä ja elektroenkefalogrammista

Hiljattain ehdotimme lähestymistapaa multimodaaliseen videon aiheuttamien tunteiden tunnistamiseen perustuen kasvojen ilmeisiin ja elektroenkefalogrammiteknologiaan (EEG:hen). Spontaanit kasvojen ilmeet hyödynnetään ulkoisena kanavana. Uusi piirre, joka on muodostettu yhdeksän kasvojen ilmeen prosentuaalisesta osuudesta, esitetään valenssi- ja kiihtymysluokkien analysointiin. Lisäksi EEG:tä käytetään sisäisenä kanavana, joka täydentää kasvojen ilmeitä luotettavamman tunteiden tunnistamisen saavuttamiseksi. Erottelukykyisiä spektriteho- ja spektritehon erotusominaisuuksia hyödynnetään EEG:n analyysissä. Lopuksi, nämä kaksi kanavaa yhdistetään piirre- ja päätöksentekotasoilla tunteiden tunnistamiseksi multimodaalisesti. Kokeet suoritettiin MAHNOB-HCI-tietokannalla, johon kuuluu 522 spontaania kasvojen ilmevideota ja EEG-signaalit 27 osallistujalta. Lisäksi ihmisen havainnointia tunteiden tunnistamisessa verrattuna ehdotettuun lähestymistapaan testattiin 10 vapaaehtoisella. Kokeelliset tulokset ja vertailut keskimääräiseen ihmisen suorituskykyyn osoittavat ehdotetun multimodaalisen lähestymistavan tehokkuuden.

Tunteiden tunnistaminen äänestä

Ihmisen ääni on yksi tärkeimmistä kanavista affektiiviseen ilmaisuun ja sitä käytetään yleisesti kaikenlaisessa multimodaalisessa affektiivisessa analyysissä. Tunteet vaikuttavat vahvasti äänen ominaisuuksiin sekä tahallisesti että implisiittisesti. Kun ääntä käytetään luonnollisessa kielipuheessa, nämä ominaisuudet sisältyvät suoraan akustiseen puheeseen liittyviin paralingvistisiin ominaisuuksiin (eli suprasegmentaaliset ominaisuudet tai prosoodia) kuten myös tarkoituksellisiin leksikaalisiin viesteihin. Nämä suhteellisen pitkäaikaiset tunneperäiset muutokset paralingvistiikassa ovat myös suurelta osin tahattomia ja automaattisia, ja siten ne välittävät tietoa puhujan tunnetilasta (sekä esitetyistä että todellisista). Tunteiden tunnistaminen suoritetaan analysoimalla äänen/puheen erilaisia akustisia ominaisuuksia tunnekuvioiden tunnistamiseksi. Puheen tapauksessa erityisesti puheen prosodia (eli intonaatio, voimakkuus, rytmi ja äänen laatu) parametrisoidaan ja hyödynnetään suoraan tai muiden valinnaisten multimodaalisten piirteiden kanssa koneoppimislähestymistavassa tunteiden tunnistamiseksi.

Multimodaalinen fuusio

Kyky tunnistaa ihmisen tunteita on merkittävässä roolissa sovelluksissa ihmisen tietokonevuorovaikutuksesta ja viihteestä psykologiaan ja koulutukseen. CMVS:ssä uskomme, että eri modaliteeteista saatavan täydentävän tiedon yhdistäminen lisää tunteiden tunnistamisen tarkkuutta. Keskeisiä modaliteetteja ovat konenäkö, puhe ja erilaiset fysiologiset signaalit.

Tunteiden tunnistaminen on avain ensimmäiseen vaiheeseen affektiivisen toiminnallisuuden mahdollistamisessa. Ihmiskäyttäjän affektiivinen tila on usein kriittinen affektiivisen kontekstin arvioinnissa ja affektiivisesti oikeassa toiminnallisessa suorituskyvyssä, koska ihmisen käyttäytymistä muuttavat ja motivoivat psykologiset tekijät, kuten stressi, mieliala ja tunteet. Johtavat tunteiden tunnistamisratkaisut perustuvat vahvasti multimodaalisuuteen hyödyntämällä datafuusiota ja luokittelua fysiologisten signaalien analyysissä, luonnollisen kielen käsittelyssä sekä kasvojen ilmeiden ja eleiden analyysissä.

Ihmiset viestivät monilla ei-kielellisillä kanavilla, kuten kasvojen ilmeillä, äänen ominaisuuksilla ja kehon eleillä. Oletamme, että eri modaliteeteista saatavan tiedon fuusio affektiivisessa laskennassa parantaa suorituskykyä verrattuna yksittäisten modaliteettien lähestymistapoihin monissa sovelluksissa. Ulkoisesti havaittavien affektiivisten käytösmallien lisäksi voidaan hyödyntää myös fysiologisia signaaleja. Käyttämämme fysiologiset signaalit sisältävät keskushermoston signaalit (EEG) ja autonomisen hermoston signaalit (sympaattinen ja parasympaattinen; sydämen sykevälin vaihtelu, EDA). Olemme yhdistäneet modaaliteetteja, kuten kasvojen videoita, äänityksiä ja fysiologisia signaaleja koneoppimistekniikoita käyttäen.

Pienitehoiset laskentaratkaisut edellyttävät, että virrankulutus vastaa ympäristöstä kerättävvissä olevaa energiaa. Käytännössä vain muutama milliwatti saattaa olla saatavilla sensoreille, viestintään ja laskentaan. Tällä osa-alueella tutkimme energiatehokkaita täysin ohjelmoitavia arkkitehtuureja ja korkean tason suunnittelutyökaluketjuja.

Valittu tutkimus: Transport Triggered Architecture (TTA) -sovellukset

Teollisuuden tilavalvonta

Olemme tutkineet energiatehokkaita signaalinkäsittelymenetelmiä erilaisten teollisten sovellusten tilavalvontaa varten. Olemme toteuttaneet menetelmiä Transport Triggered Architecture (TTA) -pohjaisella signaaliprosessorilla saavuttaaksemme energiariippumattomille langattomille anturisolmuille vaaditun suorituskyvyn ja energiatehokkuuden. VTT:n kanssa toteutettu anturisolmu on kuvattu alla olevassa kuvassa. TTA-signaaliprosessorimme toteutettiin solmussa olevalle Flash FPGA:lle.

Sovelluskohtainen kiihdytin tietokonenäköä varten

Energiatehokkaiden signaalinkäsittelymenetelmien tutkimus on laajentunut myös kattamaan tulevaisuuden IoT-ratkaisut, joissa älykkäistä antureista löytyy signaalinkäsittelytoiminnallisuuksia siirrettävän datamäärän vähentämiseksi. Ensimmäiseksi toteutettiin sovelluskohtainen kiihdytin tietokonenäköä varten. Kiihdytin toteutettiin moniydin-TTA:lla ja ohjelmoitiin OpenCL:n Portable computing language (PoCL) -toteutuksella. Kiihdytintä testattiin kaupallisia CPU:ita ja GPU:ita vastaan, ja se osoittautui tarjoavan paremman suorituskyvyn yhdessä merkittävästi pienemmän energiankulutuksen kanssa. Tietokonenäkökiihdyttimemme yksinkertaistettu TTA-arkkitehtuuri on esitetty alla olevassa kuvassa.

Sovelluskohtainen kiihdytin HEVC-videokoodaukseen

Tässä työssä olemme kiihdyttäneet HEVC in-loop -suodattimia energiatehokkaalla ohjelmoitavalla prosessoriarkkitehtuurilla. Asettamalla in-loop-suodatus sopivalle kiihdytinpiirille yleiskäyttöisen prosessorin sijasta on mahdollista saavuttaa merkittäviä parannuksia laskennan suorituskyvyssä ja energiankulutuksessa. Arkkitehtuuri voidaan ohjelmoida kokonaan korkean tason ohjelmointikielen, kuten C:n, avulla, mikä tarkoittaa, että sitä voidaan käyttää kiihdyttämään myös muita sovelluksia. Alla olevassa järjestelmäarkkitehtuurissa, joka perustuu transport triggered architecture (TTA) -ytimiin, joiden on osoitettu olevan energiatehokkaita ja suorituskykyisiä laaja-alaiselle sovellusvalikoimalle.

Viime vuosina biolääketieteellisten kuvantamisjärjestelmien lisääntynyt erotuskyky ja automatisaatio ovat johtaneet kuvadatan eksponentiaaliseen kasvuun. Näiden tietojoukkojen manuaalinen analysointi on äärimmäisen työlästä ja haittaa tulosten objektiivisuutta ja toistettavuutta. Näin ollen automaattisille kuvankäsittely- ja analyysimenetelmille on kasvava tarve. CMVS:ssä tavoitteenamme on soveltaa moderneja tietokonenäön tekniikoita biolääketieteelliseen kuva-analyysiin, mikä on yksi kehittyvistä tutkimusalueistamme.

Vuodesta 2008 lähtien olemme tehneet tutkimusta tekstuuripohjaisista menetelmistä mikroskooppi- ja röntgenkuvien analysointiin sekä HEp-2-solukuvien luokitteluun.

CMVS:ssä olemme myös vuodesta 2011 lähtien tutkineet tietokonenäköön perustuvia menetelmiä elävien solujen analysointiin mikroskooppisista kuvista ja videoista. Tänä aikana olemme olleet mukana useissa yhteisprojekteissa, joista yksi, moniulotteisen videon ja avoimen datan algoritmipohjainen yhdistäminen ja analyysi (Algorithm-based Combination and Analysis of Multidimensional Video and Open Data, ABCdata, 2012–2015), oli Tekesin rahoittama strateginen avausprojekti. Kehitämme tietokonenäköön perustuvia menetelmiä elävien solujen analysointiin mikroskooppisista kuvista ja videoista ja tarjoamme ratkaisuja, joilla voidaan

• havaita ja segmentoida yksittäiset kohteet tai partikkelit,
• mallintaa niiden muotoja ja morfologiaa,
• seurata niiden liikettä kuvajonon yli ja
• havaita tapahtumia tai poikkeavuuksia laskettujen ominaisuuksien perusteella.

Solujen seuranta

Olemme yhteistyössä Biocenter Oulun kanssa kehittäneet ratkaisun solujen dynaamisen käyttäytymisen analysointiin vaihekontrastikuvista. Nykyinen solujen seurantajärjestelmämme voi seurata yksittäisiä soluja ja tarjota yksityiskohtaisia spatiotemporaalisia mittauksia solujen käyttäytymisestä, mukaan lukien solujen määrä sekä siirtymisnopeus ja -suunta. Paperin linkki

Kasvainsolujen sferoidien havaitseminen soluviljelmistä

Olemme kehittäneet menetelmän kasvainsolujen sferoidien havaitsemiseksi fibroblastien ja kasvainsolujen soluviljelmien vaihekontrastikuvista kokeellisessa 3D-mallissa. Se perustuu paikallisiin ominaisuuksiin, jotka on määritelty superpikseleiden Biolääketieteen kuva-analyysiyli. Menetelmä oppii ulkonäköön perustuvia piirteitä, tilastollisia piirteitä, tekstuuripiirteitä ja niiden yhdistelmiä. Paperin pdf

Solujen segmentointi

Ehdotamme solujen segmentointimenetelmää, joka pystyy käsittelemään mielivaltaisia solujen muotoja. Se käyttää reunatunnistimen todennäköisyyskarttaa luomaan kiilan kosketuksissa olevien väliin ja käyttää graafin leikkauksia segmentoimaan yksittäiset solut. Menetelmän tärkein etu on, että se pystyy käsittelemään monimutkaisia solujen muotoja, koska se ei tee oletuksia solun muodosta. Paperin linkki

Kuva: Maksimiintensiteettiprojektio (näkymä ylhäältä) näytesarjasta. Vasemmalta oikealle: alkuperäinen pino, menetelmämme, 3D-graafiset leikkaukset, Farsight, MINS ja 3D MLC.

Solujen yhtäaikainen segmentointi ja seuranta

Mikroskooppisten kuvien analyysi voi olla erittäin haastavaa solujen usein toistuvan vuorovaikutuksen, matalan kontrastin, solujen muotojen vaihtelun ja solujen ulkonäköön samankaltaisuuksien vuoksi. Usein yksi ruutu ei sisällä tarpeeksi tietoa oikean päätöksen tekemiseksi segmentoinnista ja seurannasta. Näissä tilanteissa on hyödyllistä huomioida viereisten ruutujen sisältö, mikä voi olla laskennallisesti erittäin kallista pitkissä tiheissä sarjoissa. Olemme kehittäneet ahneen menetelmän solujen yhtäaikaseen segmentointiin ja seurantaan, joka ratkaisee tämän haasteen.

Soluehdotuksen luominen:

Menetelmämme käyttää useita suodatinpankkeja solujen havaitsemiseen ja käyttää watershed-menetelmää jakamaan soluklustereita ja tuottamaan soluehdotuksia (Kuva 1 näyttää tärkeimmät vaiheet). Se luo sitten hierarkkisen metsän näistä soluehdotuksista (Kuva 2 näyttää puun metsässä).

Seuranta:

Menetelmämme yhdistää ehdotukset vierekkäisissä ruuduissa ja rakentaa suunnatun graafisen mallin. Tämä malli sisältää solulle mahdolliset eri tapahtumat (mitoosi, apoptoosi, liike, lähtö, tulo). Menetelmämme löytää sitten iteratiivisesti lyhimmän polun tässä graafissa, tarjoten solusegmentaatiot ja liikeradat. Paperin linkki

Kuva 1: Segmentointiehdotuspuu. Vasemmalla: Segmentoinnit kolmesta eri suodatinpankista. Oikealla: Ehdotuksista rakennettu hierarkkinen puu.

Tekstuuripohjaiset menetelmät biolääketieteellisessä kuvan analyysissä

Tekstuuri on tärkeä piirre visuaalisessa diagnoosissaa lääketieteen asetelmissa. Näytteiden manuaalinen tarkastelu valomikroskoopilla on yhä edelleen kultastandardi. Yhteistyössä Suomen molekyylilääketieteen instituutin kanssa (dosentti Johan Lundin) tutkimme korkean suoritustehon tietokoneavusteisia menetelmiä digitoitujen rintasyövän ja paksusuolen syövän näytteiden sekä mikrobiologisten näytteiden, kuten malaria-loisten, automaattiseen analysointiin.

Viime aikoina yhteistyössä Oulun yliopistollisen sairaalan professori Osmo Tervosen kanssa olemme tutkineet rintakehän sairauksien diagnosointia röntgenkuvista käyttäen syviin konvolutionaalisiin neuroverkkoihin pohjautuvaa lähestymistapaa.

HEp-2-solujen luokittelu

Automaattinen solujen luokittelu epäsuorissa immunofluoresenssikuvissa (Indirect Immunofluorescence, IIF) voi olla tärkeä työkalu kliinisessä käytännössä ja tutkimuksessa. Viime aikoina ihmisen tyypin 2 epiteelisolujen (Human Epithelial Type 2, HEp-2) kuvien luokittelu on herättänyt suurta huomiota. HEp-2-solujen luokittelutehtävä on kuitenkin varsin haastava suurten luokansisäisten ja pienten luokkien välisten variaatioiden vuoksi. Olemme ehdottaneet useita tehokkaita lähestymistapoja tähän ongelmaan, käyttäen tekstuuria ja muotoa kuvaavia deskriptoreita sekä konvolutionaalisia neuroverkkoja.

Datasetin kuvaus:

Spontaneous Micro-Gesture (SMG) -datasetti koostuu 40 videosekvenssistä (yhteensä 821 056 ruutua, yli 8 tuntia) 40 osallistujalta (kukin sekvenssi kestää noin 15 minuuttia) sisältäen RGB-, syvyys-, siluettivideovirta- ja luurankodatan. 40 osallistujaa on rekrytoitu eurooppalaisesta yliopistosta, ja heillä on monikulttuuritausta (16 maata). 27 on miehiä ja 13 naisia, ja keskimääräinen ikä on 25 vuotta.

Datasetti sisältää 71 rentoutuneen tunnetilan (relaxed emotional state, RES) ja 71 stressaantuneen tunnetilan (stressed emotional state, SES) tapausta. Näiden tapausten pituudet vaihtelevat kahdesta viiteen minuuttiin. Jokainen osallistuja tuottaa kaksi tai neljä tapausta (puolet ovat RES:jä ja puolet SES:jä). 3 692 eleklipin luokat on määritelty manuaalisesti, ja niiden keskimääräinen pituus on 51.3 ruutua.

Joitakin esimerkkejä mikroeleistä:

Asiaankuuluvat julkaisut:

Tarkka kuvaus tietokannasta ja siihen liittyvät perustulokset löytyvät julkaisusta:
Chen, H., Liu, X., Li, X., Shi, H., & Zhao, G (2019) Analyze spontaneous gestures for emotional stress state recognition: A micro-gesture dataset and analysis with deep learning. 2019 14th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2019): 1-8.

Yhteystiedot:

Tietokantaa voidaan käyttää esimerkiksi kehon eleiden perusteella tapahtuvaan tunneanalyysiin. Lisätietoja tai tietokannan hankkimista koskevia tiedusteluja varten ole yhteydessä tohtori Guoying Zhaoon.

Datasetin kuvaus:

iMiGUE-tietokanta kokoaa 359 linkkiä julkisesti saatavilla oleviin videoihin YouTube-kanavalta Australian Open TV. Nämä videot ovat haastatteluja tai lehdistötilaisuuksia, jotka on toteutettu heti tennisottelun jälkeen, ja jokaisella videolla on ominaisuus "Voitto" tai "Häviö", joka on ottelun lopputulos. Yhteensä näissä videoissa on mukana 72 henkilöä, joista 36 on miehiä ja 36 on naisia. Lisäksi näistä videoista useita mikroeleitä tunnistetaan ja merkitään manuaalisesti 32 luokkaan.

Joitakin mikroliikkeiden esimerkkejä:

Asiaankuuluvat julkaisut:

Tietokannan yksityiskohtainen kuvaus ja siihen liittyvät perustulokset löytyvät:
Liu X, Shi H, Chen H, Yu Z, Li X & Zhao G (2021) iMiGUE: An Identity-Free Video Dataset for Micro-Gesture Understanding and Emotion Analysis. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition: 10631-10642.

Yhteystiedot:

Tietokantaa voidaan käyttää esimerkiksi kehon liikkeiden perusteella tapahtuvaan emotionaalisen analyysiin. Lisätietoja tai tietokannan hankkimista koskevia tiedusteluja varten ole yhteydessä tohtori Guoying Zhaoon.

OuluVS-tietokanta sisältää video- ja äänidatan 20 henkilöstä, jotka lausuvat kymmenen fraasia: Hello, Excuse me, I am sorry, Thank you, Good bye, See you, Nice to meet you, You are welcome, How are you, Have a good time. Jokainen henkilö lausui kunkin fraasin viisi kertaa. Lisäksi se sisältää videoita, joissa on pään liikettä edestä vasemmalle, edestä oikealle, ilman lausumista, viisi kertaa kullekin henkilölle.

Yksityiskohdat ja pohjatulokset visuaaliselle puheentunnistukselle löytyvät julkaisusta:

Zhao G, Barnard M & Pietikäinen M (2009) Lipreading with local spatiotemporal descriptors. IEEE Transactions on Multimedia 11(7):1254-1265.

Tietokantaa voidaan käyttää esimerkiksi visuaalisen puheentunnistuksen (huulilta lukemisen) tutkimiseen. Jos haluat saada tämän tietokannan, ole yhteydessä Guoying Zhaoon.

Kasvonilmeiden tietokanta Oulu-CASIA NIR&VIS sisältää videoita kuudesta tyypillisestä ilmeestä (ilo, suru, yllättyneisyys, suuttumus, pelko, inho) 80 koehenkilöstä, jotka on tallennettu kahdella kuvausjärjestelmällä, NIR (near infrared, lähi-infrapuna) ja VIS (visible light, näkyvä valo), kolmissa erilaisissa valaistusolosuhteissa: normaali sisävalaistus, heikko valaistus (vain tietokonenäyttö on päällä) ja pimeä valaistus (kaikki valot ovat pois päältä).

Tietokantaa voidaan käyttää esimerkiksi tutkiessa valaistusolosuhteiden vaikutuksia kasvonilmeisiin, kuvausjärjestelmien väliseen kasvonilmeiden tunnistukseen tai kasvojentunnistukseen. Jos haluat pääsyn tähän tietokantaan, ota yhteyttä tohtori Guoying Zhaoon.

SPOS-tietokanta sisältää 7 koehenkilön spontaaneja ja lavastettuja kasvo
nilmeitä. Koehenkilöille näytettiin tunteita herättäviä elokuvaleikkeitä spontaanien kasvonilmeiden herättämiseksi, ja näihin ilmeisiin sisältyy kuusi perustunnetta (ilo, suru, viha, yllätys, pelko, inhon tunne). Koehenkilöitä pyydettiin myös esittämään vastaavat kuusi kasvonilmettä elokuvan katsomisen jälkeen. Data tallennettiin sekä näkyvän valon että lähi-infrapuna-kameralla. Yhteensä 84 lavastettua ja 147 spontaania kasvonilmevideota merkittiin alusta huippukohtaan.

Tähän asti spontaanit ja lavastetut kasvonilmeet ovat yleensä löytyneet eri tietokannoista. Tietokantojen väliset erot (eri kokeelliset asetelmat ja eri osallistujat) ovat vaikeuttaneet tutkimuksia, jotka ottavat huomioon sekä spontaanit että lavastetut kasvonilmeet. Tämä tietokanta tarjoaa dataa, joka on kerätty samoista osallistujista samoissa tallennusolosuhteissa, mikä mahdollistaa spontaanien ja lavastettujen kasvonilmeiden vertailun tai erottelun.

Liittyvä julkaisu:

Pfister, T.; Xiaobai Li; Guoying Zhao; Pietikainen, M.; "Differentiating spontaneous from posed facial expressions within a generic facial expression recognition framework". Computer Vision Workshops (ICCV Workshops), 2011 IEEE International Conference, vol., no., pp.868-875, 6-13 Nov. 2011.

Yhteystiedot:

Pyytääksesi kopion SPOS-tietokannasta lähetä sähköpostia tohtori Xiaobai Lille.

Mikroilmeet ovat tärkeitä vihjeitä ihmisten vilpillisen käytöksen analysoinnissa. Tähän asti koulutusaineiston puute on vaikeuttanut automaattisen mikroilmeiden tunnistamisen tutkimusta, ja SMIC kehitettiin täyttämään tämä aukko. SMIC-tietokanta sisältää tunteellisista elokuvaleikkeistä aiheutuneita spontaaneja mikroilmeitä. Koehenkilöille näytettiin tunteita herättäviä elokuvaleikkeitä, jotka voivat aiheuttaa voimakkaita tunnereaktioita, ja heitä pyydettiin PIILOTTAMAAN todelliset tunteensa elokuvaklippejä katsottaessa. Jos he epäonnistuivat siinä, heidän oli täytettävä pitkä ja tylsä kyselylomake rangaistukseksi. Tämäntyyppinen asetelma on luotu korkean panoksen valehtelutilanteen luomiseksi, jotta mikroilmeet voidaan aiheuttaa.

ICCV2011-paperissamme julkaisimme ensimmäisen version SMIC:stä (nimeltään SMIC-sub), joka sisältää vain 6 koehenkilön tiedot nauhoitettuna 100 kuvan sekuntinopeudella toimivalla suurnopeuskameralla.

Myöhemmin FG2013-paperissamme julkaisimme täyden version SMIC:stä (SMIC-nimellä). Täyteen versioon SMIC:stä tallennettiin 20 koehenkilön tiedot, ja yhteensä 164 spontaania mikroilmettä löydettiin 16 koehenkilöltä. Kaikki data on kerätty 100 kuvan sekuntinopeudella toimivalla suurnopeuskameralla. Myös normaalilla nopeudella toimivat kamerat, joissa on 25 kuvan sekuntinopeus, sekä näkyvän valon alueelta (VIS) että lähi-infrapuna-alueelta (NIR), lisättiin tallennukseen jälkimmäisten 10 koehenkilön osalta. SMIC-tietokantaan sisältyy näin ollen kolme datasettiä: SMIC-HS, SMIC-VIS ja SMIC-NIR.

*PÄIVITYS!

Nyt julkaisemme laajennetun version SMIC:stä (nimeltään SMIC-E), joka sisältää pitkiä videoleikkeitä, jotka sisältävät joitain ylimääräisiä ei-mikroilmeisiä ruutuja ennen ja jälkeen merkittyjen mikroilmeiden. SMIC-E sisältää SMIC:n tavoin kolme datasettiä, jotka ovat SMIC-E-HS, SMIC-E-VIS ja SMIC-E-NIR. SMIC-E-VIS- ja SMIC-E-NIR-dataseteistä kumpikin sisältää 71 pitkää videoleikettä, joiden keskimääräinen kesto on 5,9 sekuntia. SMIC-E-HS-datasetti sisältää 157 pitkää videoleikettä, joiden keskimääräinen kesto on 5,9 sekuntia. Kolme näytettä alkuperäisestä SMIC-HS-datasetistä ei sisälly SMIC-E-HS:ään alkuperäisten videoiden tietojen menetyksen vuoksi. SMIC-E-tietokantaa on mahdollista käyttää mikroilmeiden paikantamistarkoituksiin.

Liittyvä julkaisu:

Xiaobai Li; Pfister, T.; Xiaohua Huang; Guoying Zhao; Pietikainen, M., "A Spontaneous Micro-expression Database: Inducement, collection and baseline," in Automatic Face and Gesture Recognition (FG), 2013 10th IEEE International Conference and Workshops on , vol., no., pp.1-6, 22-26 April 2013

Pfister, T.; Xiaobai Li; Guoying Zhao; Pietikainen, M., "Recognising spontaneous facial micro-expressions," in Computer Vision (ICCV), 2011 IEEE International Conference on , vol., no., pp.1449-1456, 6-13 Nov. 2011

Yhteystiedot:

Jos haluat pyytää kopion SMIC-tietokannasta (ilmoita, minkä version/otoksen tarvitset), lähetä sähköpostia tohtori Xiaobai Lille.

Datan kuvaus

Mikroilmeet (microexpression, ME) ovat tärkeitä vihjeitä ihmisten todellisten tunteiden paljastamiseksi, mutta niitä on vaikea tai mahdotonta havaita paljaalla silmällä, koska ne ovat hyvin lyhyitä ja hiuksenhienoja. On odotettavissa, että on mahdollista kehittää robusteja tietokonenäön menetelmiä ME:iden automaattiseen analysointiin, mikä vaatii paljon mikroilmedataa.

Nykyiset ME-tietokannat sisältävät pääasiassa vain yhdenkaltaisia etupuolelta kuvattuja 2D-värivideoita, mikä on rajoittavaa, koska jotkut ME:t saattavat olla paremmin nähtävissä sivunäkymistä. Tutkimus koskien 4D-dataa tavallisista kasvonilmeistä on kukoistanut, ja uskomme, että 4D-data on hyödyllistä mikroilmeiden tutkimuksessa. Kokosimme 4DME-tietokannan, joka on uusi spontaani mikroilmetietokanta sisältäen 4D-dataa yhdessä kolmen muun videomodaliteetin kanssa (harmaasävy, RGB ja syvyys).

Julkaisemme nyt ensimmäisen version 4DME-datasta (nimeltään 4DME). Se sisältää kaksi osajoukkoa eli 1) tiedot, jotka on tallennettu Dimension Imaging 4D (DI4D) -tallennusjärjestelmällä ja rekonstruoitu 3D-verkkoina (nimellä 4DME-4D) ja 2) tiedot, jotka on tallennettu edestä harmaasävykameralla (60FPS, 640x480, nimellä 4DME-gray). Kummallekin osajoukolle tarjoamme lyhyitä klippejä leikatuista mikroilmeistä ja makroilmeistä (ilmaantumisesta loppumiseen) tunnistustestiä varten sekä pitkiä klippejä (kontekstikehyksillä) paikantamistestiä varten. Kaikki tiedot on annotoitu tunnekategorioiden ja toimintayksikköetikettien avulla. Muita versioita 4DME:stä saatetaan julkaista myöhemmin.

Liittyvät julkaisut

Xiaobai Li, Shiyang Cheng, Yante Li, Muzammil Behzad, Jie Shen, Stefanos Zafeiriou, Maja Pantic, Guoying Zhao. "4DME: A spontaneous 4D micro-expression dataset with multimodalities," in IEEE Transactions on Affective Computing 2022.

Yhteystiedot

Jos haluat pyytää kopion 4DME-tietokannasta, lähetä sähköpostia tohtori Xiaobai Lille.

Yhteydenotot osoitteseen Etunimi.Sukunimi@oulu.fi

Professorit

• Dr. Janne Heikkilä, Director, TS304 [Personal page] [G Scholar] [LinkedIn]
• Dr. Tapio Seppänen, Associate Director, TS303 [G Scholar]
• Dr. Guoying Zhao, Academy Professor, TS302 [Personal page] [G Scholar] [ResearchGate]
• Dr. Matti Pietikäinen (emeritus) [Personal page] [G Scholar] [dblp]
• Dr. Olli Silvén (retired), TS304 [G Scholar]

Apulaisprofessorit

• Dr. Miguel Bordallo López, TS349 [Personal page] [G Scholar] [LinkedIn]
• Dr. Mourad Oussalah, TS379

Nuoremmat apulaisprofessorit

• Dr. Haoyu Chen, TS321

Dosentit

• Dr. Jukka Kortelainen, TS313 [Personal page] [G Scholar]
• Dr. Xiaobai Li [LinkedIn] [G Scholar]
• Dr. Li Liu [G Scholar]
• Dr. Qing Liu, TS325 [Personal page] [G Scholar]

Vanhemmat tutkijat ja post-docit

• Dr. Snehal Bhayani, TS315
• Dr. Constantino Álvarez Casado, TS301 [Personal page] [ResearchGate]
• Dr. Yawen Cui, TS336
• Dr. Anja Keskinarkaus [ResearchGate] [G Scholar]
• Dr. Jukka Komulainen, TS324 [PersonalPage] [G Scholar]
• Dr. Yante Li, TS311
• Dr. Yang Liu, TS316
• Dr. Matti Matilainen, TS324
• Dr. Janne Mustaniemi, TS301 [Personal page] [G Scholar]
• Dr. Le Nguyen, TS322
• Dr. Matteo Pedone, TS329 [LinkedIn] [G Scholar]
• Dr. Mehdi Safarpour, TS301
• Dr. Pekka Sangi, TS328 [Personal page] [G Scholar]
• Dr. Zhuo Su, TS313
• Dr. Praneeth Susarla, TS315
• Dr. Xiaoting Wu, TS317
• Dr. Qianru Xu, TS311

Tutkijat

• Ahmed Hammad Alhawwary, TS317
• Djamila Romaissa Beddiar, TS327
• Md. Ziaul Hoque, TS324
• Xingxun Jiang, TS314
• Huai-Qian Khor, TS323
• Manuel Lage, TS313
• Yanying Liang, TS314
• Haotian Liu, TS314
• Abdelrahman Mostafa, TS316
• Sofeem Nasim, TS309
• Nhi Nguyen, TS313
• Kai Noponen, TS309 [ResearchGate] [G Scholar]
• Mehrdad Rostami, TS327
• Ali Salar, TS308
• Umer Saleem, TS376
• Marco Savic, TS316
• Tiina Seppänen, TS377 [ResearchGate] [G Scholar]
• Atif Shah, TS336
• Ahmed Shaheen, TS381
• Sasan Sharifipour, TS381
• Shuzhou Sun, TS310
• Zhaodong Sun, TS334
• Tuomas Varanka, TS333
• Alexander Vedernikov, TS334
• Haidong Wu, TS317
• Wuti Xiong, TS334
• Huali Xu, TS322
• Hui Zhang, TS323
• Jiehua Zhang, TS323

Tutkimusapulaiset

• Timo Hyart, TS317
• Azizul Kawser, TS306
• Jani Kähkönen, TS376
• Mikael Rinkinen, TS317
• Windula Sanda Durage, TS381
• Fuzel Shaik, TS308
• Anastasia Voitenko, TS317
• Hao Yu, TS336
• Boyi Zheng, TS308

Vieralijiat

• Yulan Dai, TS381
• Yohani Ranasinghe, TS322
• Xin Shu, TS336
• Jiaojiao Su, TS317
• Yushun Xiao, TS336
• Jinghua Zhang, TS310
• Xiaoyan Zhou, TS317

Tukihenkilöstö

• Hannu Rautio, TS359

Alumnit ja entiset vierailijat

• Carlos De Oliveira Affonso [G Scholar]
• Gun Ahn
• Jeena Ainikkal Velayudhan
• Dr. Saad Ullah Akram [Personal page] [G Scholar]
• Shariful Md. Alam
• Iman Alikhani [G Scholar] [LinkedIn]
• Muhammad Awais Aslam [ResearchGate][G Scholar]
• Nooshin Bahader
• Hao Ban
• Dr. Neslihan Bayramoglu [Personal page]
• Dr. Muzammil Behzad [Personal page] [G Scholar] [LinkedIn] [ResearchGate]
• Mohamed Bengana
• Bilel Bennadji
• Dr. Salah Eddine Bekhouche [Personal page] [G Scholar]
• Hugo Bernicard
• Tuukka Bogdanoff
• Anastasiia Borodulina
• Dr. Zinelabidine Boulkenafet [ResearchGate] [G Scholar]
• Dr. Wheidima Carneiro de Melo
• Dr. Jie Chen [Personal page] [G Scholar]
• Dr. Weitong Chen
• Dr. Xu Cheng
• Fan Dai
• Wanxia Deng
• Berkay Elagöz
• Dr. Yuhua Fan
• Linpu Fang
• Dr. Angelos Fylakis [Personal page] [G Scholar]
• Mina Ghobrial
• Eric Granger
• Yundi Guo
• Dr. Abdenour Hadid [G Scholar] [LinkedIn]
• Ilyas Hamadouche
• Silviya Hasana
• Dr. Arto Hautala [LinkedIn] [G Scholar]
• Dr. Ilkka Hautala [ResearchGate] [G Scholar]
• Riku Hietaniemi [LinkedIn] [G Scholar]
• Dr. Jukka Hirvasniemi [G Scholar]
• Tuomas Holmberg
• Dr. Xiaopeng Hong [Personal page]
• Youssef Hosni
• Dr. Xiaohua Huang [Personal page] [G Scholar] [ResearchGate]
• Khor Huai-Qian
• Dr. Lam Huynh [Personal page] [G Scholar]
• Dr. Sami Huttunen [LinkedIn] [G Scholar] [GitHub]
• Brian Irvine
• Antti Isosalo [G Scholar] [solecris]
• Dr. Ilkka Juuso [LinkedIn][solecris]
• Anri Kivimäki
• Merja Kreivi-Kauppinen
• Dr. Jari Korhonen [G Scholar]
• William Kretzschmar
• Dr. Zuzana Kukelova
• Theo Lassalle
• Dr. Bo Li
• Guifeng Li
• Zhaofeng Li
• Bofan Lin
• Na Liu
• Dr. Xin Liu [Personal page] [G Scholar]
• Atiq Mahmud
• Arman Mansouri
• Dr. Jiri Matas [Personal page]
• Seyed Mirmojarabian
• Ahmed Mohammed
• Surat-E Md Mostafa
• Dr. Usman Muhammad
• Sofia Mäkikyrö
• Dr. Phong Nguyen [Personal page] [G Scholar]
• Xuesong Niu
• Shuichi Otani
• Yuma Ouchi
• Niina Palmu
• Dr. Juha Partala [Personal page] [G Scholar]
• Dr. Wei Peng
• Charmin Pingamage
• Zalan Rajna [ResearchGate] [G Scholar]
• Dr. Mohammad Sabokrou
• Thibault Sap
• Mahalakshmy Seetharaman
• Jaakko Seppänen
• Changchong Sheng
• Dr. Henglin Shi
• Dr. Jingang Shi [G Scholar]
• Kaushik Sundarajayaraman
• Rokayia Sultana
• Mohammad Tavakolian [G Scholar] [LinkedIn] [Researchgate] [Personal page]
• Aleksei Tiulpin
• Khanh Tran-Thuong [G Scholar]
• Tuomas Tuokkola
• Sercan Türkmen
• Dr. Nhat Vo
• Xiaowen Wang
• Takahiro Watanabe
• Muhammad Waqas
• Dr. Liang Wu
• Dr. Baiqiang Xai
• Yuxi Xia
• Zhaoqiang Xia
• Dr. Yingyue Xu [G Scholar]
• Kohei Yamamoto
• Ruijing Yang
• Dr. Markus Ylimäki [Personal page] [G Scholar]
• Dr. Zitong Yu
• Dr. Stefanos Zafeiriou [Personal page]
• Dr. Delu Zeng
• Jingliang Zhang
• Jiawei Zhang
• Xiaochao Zhao [G Scholar]
• Yunrui Zhao
• Dhiaa Eddine Zidane

Konenäön ja signaalianalyysin tutkimuskeskus
PL 4500
90014 Oulun yliopisto

Sisäinen posti: 9CSE

Katuosoitteemme on

Konenäön ja signaalianalyysin tutkimuskeskus
Erkki Koiso-Kanttilan katu 3, E-ovi
90570 Oulu

CMVS:n tutkimusryhmät sijaitsevat toisessa ja kolmannessa kerroksessa Tietotalo 1:ssä, lähellä Linnanmaan pääbussipysäkkiä (Yliopisto E).