Ohjelmistotestausautomaation kypsyyden arviointi ja parantaminen hyvien käytäntöjen perusteella

Kypsä testiautomaatio on avainasemassa korkean tuotelaadun saavuttamisessa ilman että tarvitsee tinkiä tuotekehityksen nopeudesta. Usein organisaatioiden vielä kehittymättömät testiautomaatiokäytännöt estävät niitä saamasta automaatiolta odotettuja hyötyjä. Yritykset parantaa testiautomaatiokäytäntöjä eivät aina onnistu, mikä johtuu yleensä puutteellisesta testiautomaation kypsyydenarvioinnista ja -parantamisesta.

Tämän väitöskirjan tavoitteena on kehittää ohjeistusta testiautomaation kypsyyden arviointiin ja parantamiseen syntetisoimalla olemassa olevia ohjeita eri lähteistä, tutkimalla kehitettyjen ohjeiden omaksumista ja arvioimalla kehitettyjen ohjeiden tehokkuutta yhdessä ohjelmistoteollisuuden toimijoiden kanssa.

Väitöskirjassa syntetisoitiin testiautomaation hyvien käytäntöjen taksonomia 18 testikypsyysmallista. Kirjallisuuskatsauksessa tutkittiin 26 akateemista ja 55 harmaankirjallisuuden lähdettä. Havaittiin, että nykyinen kirjallisuus sisältää ohjeita, joita ei ole testikypsyysmalleissa, kuten uusia teknisiä hyviä käytäntöjä ja neuvoja (esim. teknisiä menetelmiä ja kokemuspohjaista heuristiikkaa) tiettyjen hyvien käytäntöjen toteuttamiseksi. Kirjallisuudesta syntetisoitujen, kypsyysmalleihin pohjautuvien hyvien käytäntöjen avulla kehitettiin kyselylomake ohjelmistoteollisuuden testiautomaation kypsyyden tilan mittaamiseen.

Yli 100 organisaatiosta ja 25 maasta saadun 151 kyselyvastauksen perusteella tehtiin havaintoja testiautomaation hyvien käytäntöjen omaksumisesta. Puutteita havaittiin testiautomaation suunnittelun ja käytön ohjeistuksessa sekä hyötyjen mittaamisen käytänteissä. Tulokset osoittavat, että testiautomaation korkea kypsyysaste voi johtaa tuotteiden korkeaan laatuun hidastamatta tuotekehityksen nopeutta nykyaikaisessa ohjelmistokehityksessä. Havainnot perustuvat sekä empiiriseen kokemustutkimukseen, jossa tutkittiin testiautomaation kypsyyden parantamisessa onnistuneen DevOps-tiimin kokemuksia että kvantitatiiviseen tutkimukseen, jossa 37 avoimen lähdekoodin projektista kerättiin dataa käyttämällä kehitettyä kyselylomaketta ja louhimalla lähdekoodin versionhallintaa, testiautomaatiojärjestelmien lokitietoja sekä virhetietokantoja.

Tämän väitöskirjan tuloksilla edistetään ohjelmistotestiautomaation tutkimuksen teorian kehittämistä ja empiiristä tutkimusta. Ohjelmistoteollisuuden edustajat voivat hyötyä väitöskirjassa kehitetyistä ja arvioiduista ohjeista testiautomaation kypsyyden arvioimiseksi ja parantamiseksi.