Syväoppimiseen perustuva automaattinen kuvatekstitys lääketieteelliselle kuvantamiselle

Kuvan sisällön tekstuaalinen kuvaus on nouseva tekoälyn ala, joka yhdistää tietokonetieteen ja luonnollisen kielen käsittelyn (NLP). Kuvatekstitys (IC) tarkoittaa tehtävää, jossa kuvien visuaalista sisältöä analysoidaan ja kuvataan automaattisesti luonnollisen kielen avulla. Kuvatekstityksellä on monenlaisia sovelluksia, kuten kuvahaku, visuaalinen kysymyksiin vastaaminen, lääketieteellinen diagnoosi . . . jne.
Lääketieteellinen kuvatekstitys (MIC) puolestaan kuvaa lääketieteellisten kuvien sisältöä keskittyen kliinisesti merkittäviin löydöksiin, toisin kuin tyypillisissä IC-järjestelmissä, joissa painotetaan esineitä ja niiden välisiä suhteita. MIC tukee tietokoneavusteisia diagnoosijärjestelmiä, päätöksentekoprosesseja ja sairauksien hoitoa, mikä vapauttaa työvoimaa ja auttaa ammattilaisia päivittäisessä työssään. MIC yhdistää monimutkaisen lääketieteellisen tiedon luonnollisen kielen ilmaisuun. MIC on kuitenkin vaativa ja aikaa vievä tehtävä, joka vaatii lääketieteellisten asiantuntijoiden osallistumista tuotettujen kuvatekstien arviointiin ja vahvistamiseen.
Lääketieteelliset kuvat tarjoavat mahdollisuuden tutkia ihmiskehoa ilman leikkausta ja paljastavat mahdollisia sairauksia, joita asiantuntijat voivat arvioida. Tämä tekee MIC-prosessista vaikeampaa kuin tavallinen IC, sillä lääketieteelliset kuvat ovat heterogeenisiä, monimutkaisia ja hyvin spesifejä, ja niitä tulee kuvata käyttäen erityistä lääketieteellistä terminologiaa. Tässä haastavassa kentässä on tehty edistysaskeleita kohti automaattista MIC ä kouluttamalla koneita hyödyntämään kuvien koodaamaa merkityksellistä tietoa lääketieteen erityisnäkökohdat huomioiden.
Tämä väitöskirja pyrkii kehittämään selitettäviä syväoppimismenetelmiä lääketieteellisten kuvien analysointiin, ymmärtämiseen ja kuvaamiseen visuaalisten havaintojen pohjalta. Väitöskirja keskittyy erityisesti syväoppimiseen perustuviin kuvatekstitys-malleihin, joissa hyödynnetään erilaisia huomioihin perustuvia kooderi-dekooderi-arkkitehtuureja ja hakuperusteisia menetelmiä. Toiseksi tarkastellaan lääketieteellisen datan saatavuuden parantamista kuvatekstitysprosessin suorituskyvyn tehostamiseksi.
Kolmanneksi kehitetään selitettävä moduuli, joka antaa näyttöön perustuvaa tukea ja auttaa rikastuttamaan diagnoosiraportteja. Lopuksi arvioidaan ja optimoidaan suori-tuskykyä sekä pyritään löytämään sopiva selitettävyysviitekehys ottaen huomioon kuvatekstityksen eri vaiheiden vinoumat.