Laskennallinen mallintaminen visuaalisen huomion analyysiin

Kuvat sisältävät tyypillisesti valtavan määrän informaatiota, jota ei pystytä prosessoimaan lyhyessä ajassa ihmisen näköjärjestelmän rajoitetun prosessointi kapasiteetin takia. Termi "visuaalinen huomio" on biologian ja psykologian motivoima mekanismi, joka toimii valiten oleellisen informaation ja suodattaen ylimääräisen informaation. Mallinnettaessa huomiomekanismia konenäön käyttöön on olennaista, että laskennallinen malli visuaaliselle huomiolle ehdottaa tärkeät alueet kuvista, jotka ihmisen näköjärjestelmä on nähnyt.

Tämä väitöskirja on perusteellinen yhteenveto tärkeimmistä osa-alueista liittyen visuaalisen huomion analyysin laskennalliseen mallintamiseen, koostuen useasta julkaisusta. Ensimmäiseksi esittelemme datan esikäsittelyn laskennallista mallia varten ottaen mukaan silmänliikedatan, silmänjäljitysdatan keräämisen ja silmänjäljitystietokantojen hyödyntämisen visuaalisen huomion laskennallisen mallien evaluoinnissa. Toiseksi laskennalliset mallit tai tärkeysmallit visuaaliseen huomioon esitellään perinteisistä ohjaamattomista menetelmistä syviin tärkeysmalleihin. Kolmanneksi havainnollistamme tärkeysintegraation, joka yhdistää useita tärkeysehdotuksia useista eri tärkeysmalliehdokkaista, jolla saavutamme paremman tarkkuuden.

Kontribuutiomme ovat seuraavat kolme asiaa. Ensimmäiseksi keräämme silmänjäljitystietokannan visuaalisen huomion analyysiin. Toiseksi ehdotamme kolmea tärkeysmallia visuaalisen huomion perusteelliseen tarkasteluun. Tämä sisältää ohjaamattoman mallin, joka käyttää kaksisuuntaista etenemismallia, konvoluutioneuroverkkopohjaisen mallin, joka yhdistää syvän ehdollisen satunnaiskentän monitasotärkeystarkistukseen ja konvoluutioneuroverkkopohjaisen mallin ehdollisella sarjasatunnaiskentällä usean mallin yhteisopetukseen. Kolmanneksi ehdotamme tärkeysintegraatiomenetelmää ja suoritamme kattavia testejä ja analyysejä aiheesta. Lopuks, tiivistämme kontribuution, työstämme ja ehdotamme mahdollisia sovelluksia tärkeysmalleista ja laajennamme tärkeysaiheeseen liittyviä sovelluksia tehostamaan tärkeysmenetelmiä eri konenäön aiheisiin.