3D-aistimisesta tiheään ennustukseen

Tämä väitöskirja esittelee uusia koneoppimiseen perustuvia lähestymistapoja 3D-havainnoinnin ja tiheän ennustuksen parantamiseen. Viime vuosina syvät neuroverkot (DNN) ovat suoriutuneet hyvin erilaisissa konenäkötehtävissä. Siitä huolimatta nykyinen kehitys on johtanut kompromissiin tarkkuuden, verkon koon ja arkkitehtuuriin liittyvien suunnittelukustannusten välillä. Tässä työssä ehdotetaan tarkkoja ja kevyitä DNN:iä hyödyntämällä aiempaa tietoa, integroimalla ns. itsehuomio, käyttämällä monen skaalan 2D-3D-esitysten fuusiota ja esittämällä tehokkaita neuroarkkitehtuurihakustrategioita (NAS).

Viimeaikaisilla monokulaarisen syvyyden estimointimenetelmillä on saavutettu vaikuttavia tuloksia. Niihin on kuitenkin päästy usein suurilla verkkoarkkitehtuureilla, jotka käyttävät jopa satoja miljoonia parametreja ja massiivista määrää opetusdataa. Tämä väitöskirjatyö esittelee arkkitehtuureja, jotka hyödyntävät geometrisia rajoituksia ja ei-paikallisia itsehuomiomekanismeja suorituskyvyn parantamiseen. Lisäksi menetelmillä saavutetaan huippuluokan tuloksia käyttämällä vähintään kymmenen kertaa vähemmän parametreja kuin kilpailevilla lähestymistavoilla.

Syvyyden täydentämisen tarkoituksena on tihentää harvat syvyyssyötemittaukset. Parhaat syvyyden täydennysmenetelmät toimivat vain tapauksissa, joissa 3D-pistetiheys on suhteellisen korkea. Tämä työ esittää puitteet uudelle monen skaalan lähestymistavalle, joka toimii suoraan sekä 2D- että 3D-piirreavaruuksissa. Toisin kuin aikaisemmat lähestymistavat, menetelmä sopii hyvin äärimmäisen harvoille ja epätasaisesti jakautuneille 3D-pisteille. Ehdotettu arkkitehtuuri on myös erittäin kompakti ja toimii millä tahansa lähteellä tuotettujen 3D-syötepisteiden kanssa.

Tiheä ennustus ratkaisee pikselitasolla muunnosongelmia, jotka voivat muodostua monista osatehtävistä kuten syvyyden estimointi, semanttinen segmentointi, optisen vuon ennustaminen ja kuvan entistäminen. Nykyiset menetelmät käyttävät yleensä käsin suunniteltuja DNN:iä tai keskittyvät yhteen osatehtävään. Tämä väitöskirja esittelee uudenlaisen lähestymistavan hyödyntäen NAS:ia yleisempiin tiheisiin ennustusongelmiin, jotka mahdollistavat kokonaisvaltaisen näkymän ymmärtämisen.