Tarkka puheentunnistin on automaattisen suullisen kielitaidon arvioinnin tärkein osa, mutta kielenoppijoiden puhetta voi olla vaikea tunnistaa erilaisten ääntämistapojen ja esimerkiksi kielioppivirheiden vuoksi. Lisäksi perinteinen puheentunnistin tarvitsee toimiakseen paljon litteroitua kohdekielistä aineistoa, jolla tunnistinta opetetaan.
Pienten kielten, kuten suomen ja ruotsin, puheentunnistuksen kehittäminen on haastavampaa kuin esimerkiksi englannin, koska puhujia ja siten myös opetusaineistoa on saatavilla huomattavasti vähemmän. DigiTalan tutkimuksissa tunnistuksen kohteina on kielenoppijoiden puhumaa suomea ja ruotsia, joista on saatavilla vain vähän aineistoa.
Kohdekielinen aineisto vain hienosäätöä varten
Perinteisen, litteroidun puheaineiston sijaan puheentunnistin opetettiin ensin suurella, litteroimattomalla aineistolla. Esiopetus oli itseohjattua, eli kone oppi suoraan puheainestosta ilman ihmisen väliintuloa.
Sekä suomen että ruotsin puheentunnistin esiopetettiin suurella, litteroimattomalla monikielisellä aineistolla, joka sisälsi puhetta 23 eri kielestä. Ruotsin puheentunnistin opetettiin lisäksi ruotsinkielisellä, litteroimattomalla puheaineistolla. Suomen kielestä vastaavaa laajaa aineistoa ei ollut saatavilla.
Esiopetuksen jälkeen tunnistin hienosäädettiin DigiTala-projektissa kerätyllä, litteroidulla suomen- ja ruotsinoppijoiden puheella. Uusien puheentunnistinten suoritusta verrattiin tunnistimiin, joita oli opetettu vain pienellä, litteroidulla kohdeaineistolla.
Itseoppinut kone oli tarkempi
Esiopetetut puheentunnistimet tuottivat tarkempia tuloksia kuin pelkästään pienellä, litteroidulla kohdekielisellä puheella opetettu puheentunnistin. Myös monikielisellä puheella esiopetettu tunnistin toimi paremmin kuin pelkästään kohdekielellä opetettu tunnistin ilman esiopetusta.
Toisin sanoen: itseoppinut kone voi oppia uuden kielen kohtuullisen pienestä kohdeaineistosta, vaikka se ei olisi aiemmin kuullut kyseistä kieltä. Tämä on merkittävä löydös, joka tekee pienten puhujaryhmien, kuten kieltenoppijoiden, puheentunnistinten kehittämisestä tehokkaampaa.
Ei-syntyperäisen puheen tunnistinten kehittämisestä voi lukea lisää Yaroslav Getmanin diplomityöstä.
Ruotsinkielisen puheentunnistimen kehittämisestä kertova tutkimusartikkeli on luettavissa Interspeech –konferenssijulkaisussa.