Videoesitys-ja syväoppimistekniikat kasvojen esittämishyökkäysten tunnistamiseksi.

Kasvontunnistusteknologia on otettu käyttöön laajasti eri turvallisuus sovelluksissa kuten lentokentillä, puhelimissa, pankeissa ja valvontaan viranomaisten toimesta. Valitettavasti viimeaikaiset tutkimukset ovat näyttäneet kasvontunnistusjärjestelmien olevan haavoittuvaisia hyökkäyksille. Esimerkkejä hyökkäyksistä ovat väärä kasvojen varmistus käyttäen kuvaa, silikoonimaskia, videota tai jopa 3-ulotteista maskia vilpilliseen varmistukseen biometriselta järjestelmältä. Viime vuosina on kehitetty huomattavalla vaivannäöllä sekä ohjelmisto- että laitteistopohjaisia ratkaisuja, mutta niiden suorituskyvyt heikkenevät huomattavasti käytännön tilanteissa (kuten vaihteleva valaistus, käyttäjä demografia ja käytetyt kamerat).

Tämä väitöskirja käyttää hyväkseen viimeisimpiä kehityksiä kasvontunnistusjärjestelmän huijauksen torjumiseen. Erityisesti keskitytään esitettyyn videon piirre- ja syväoppimismenetelmiin, joilla voidaan selvittää sekä spatiaalista että temporaalista informaatiota oikeiden videoiden ja hyökkäysvideoiden välillä. Kyseinen selvitys on kuitenkin vaikeaa sillä 1) molemmat, oikeat videot ja hyökkäysvideot sisältävät spatiotemporaalista tietoa ja 2) datan luokittelu on haastavaa. Tämä perspektiivi ottaen huomioon tutkitaan piirreyhdistystekniikoita piirteiden tärkeyden laskemiseen, sillä mitä paremmat mallin piirteet ovat, sitä tarkempi se on. Tulokset osoittavat, että hybridi syväoppiminen tarjoaa vahvemman erottelukyvyn kuin yksittäisen syvämallin piirteet. Sen lisäksi esitetään mekanismi piirteiden augmentointiin käyttäen näytteiden oppimista. Näytetään, että konvoluutiopiirteiden suora integraatio rekursiiviseen neuroverkkoon voi luoda interferenssiä (esim. molemminpuolinen poissulku ja redundanssi), joka rajoittaa menetelmän tehokkuutta.

Toinen suuri ongelma on syväoppimismallien kehittäminen ilman ihmisten luokiteltua dataa. Tämä vaatii tutkimusyhteisöltä erityistä huomiota robustien kasvontunnistusjärjestelmän huijaamisen havaitsemisen tekniikoiden kehitystä. Kaksi tekniikkaa kehitetään vähentääkseen riippuvuutta luokitellusta datasta käyttäen itseohjattua oppimista, jossa mallit saavat ohjaussignaalit puhtaasti datasta. Lopuksi mallien generalisaatio otetaan huomioon esitetyssä mallissa, jossa globaali liike koodaa komplekseja havaintoja videoista, jotta saadaan mahdollisimman eroavaisia piirteitä.