Puheen- ja kielenkäsittely

Toisen kielen (L2) puheen muuntaminen tekstiksi teknologian ja koneoppimisen avulla on haastavaa useasta syystä.

L2-puhujat eivät ole natiiveja, minkä takia puheessa voi olla vahva aksentti eikä se aina ole sujuvaa. Tutkimusta toisen kielen puheentunnistuksesta tarvitaan, sillä L2-suomesta tai -ruotsista ei ole olemassa tietokantoja, joita voitaisiin käyttää mallien opettamiseen. Aalto-yliopiston tutkijatiimi soveltaa omaa huipputason osaamistaan puheentunnistuksesta pienentääkseen L1-puheen mallien ja L2-oppijoiden välistä kuilua. Mitä tarkemmin voidaan tunnistaa se, mitä on sanottu, sitä luotettavampaa suullisen kielitaidon automaattinen arviointi on.

Puheen tunnistamisen tekstiksi lisäksi toinen kiinnostava ja haastava ongelma on suullisen kielitaidon automaattinen arviointi. Se sisältää puheen automaattisen tunnistuksen ja jakaminen osiin sekä sitten ääntämisen, prosodian, sujuvuuden, sanaston ja kieliopin arvioinnin. Kaikkia näitä varten tarvitaan vaativia koneoppimisen metodeja, joilla näytteet ja taustalla piilevät puheen muuttujat voidaan yhdistää kieliasiantuntijoiden määrittämiin virallisiin suullisen kielitaidon tasoihin.

Aallon tutkijatiimiin kuuluvat Mikko Kurimo, Aku Rouhe, Ekaterina Voskoboinik, Ragheb Al-Ghezi, Yaroslav Getman, Clara Akiki ja Mateiu Tu­dor.