Kuka olet?
Olen Tuomo Hiippala, englannin kielen ja digitaalisten ihmistieteiden apulaisprofessori Helsingin yliopiston Kielten osastolla, jossa olen työskennellyt vuodesta 2018 lähtien.
Mikä on tutkimuksesi aihe?
Tutkin multimodaalisuutta, jolla tarkoitetaan sitä kuinka ihmisten välinen viestintä ja vuorovaikutus pohjautuvat usean ilmaisukeinon tarkoituksellisille yhdistelmille. Tämä ilmiö käsitetään nykyään luonnolliseksi osaksi viestintää ja vuorovaikutusta. Esimerkiksi kasvokkainen vuorovaikutus hyödyntää jatkuvasti puhutun kielen, eleiden, katseen ja kehon asennon koordinoituja yhdistelmiä, kun taas arkipäiväiset sivupohjaiset tekstit yhdistelevät saumattomasti kirjoitettua kieltä, valokuvia, diagrammeja, sommittelua ja muita ilmaisukeinoja viestiäkseen lukijalle.
Mitä ilmaisukeinoja yhdistellään ja miten riippuu pitkälti tilanteesta, jossa viestintä tapahtuu. Ihmiset kohtaavat päivittäisessä elämässään erittäin laajan joukon erilaisia viestintätilanteita, joihin he osallistuvat usein melko vaivattomasti. Minua kiinnostavat ne periaatteet, jotka ohjaavat eri ilmaisukeinojen kirjoa ja yhdistelmiä, ja mahdollistavat päivittäisen toimintamme eri viestintätilanteissa. Näiden periaatteiden kuvaus ja ymmärrys edellyttää empiiristä tutkimusta, jota hidastaa tällä hetkellä laajojen ja yksityiskohtaisten aineistojen puute. Tästä syystä olen tällä hetkellä erittäin kiinnostunut laskennallisista menetelmistä ja niiden sovelluksista multimodaalisen viestinnän empiiriseen tutkimukseen.
Miten Kielipankki liittyy tutkimukseesi?
Olen julkaissut Kielipankissa kaksi multimodaalista korpusta, joista toinen liittyy väitöskirjaani (GeM-HTB) ja toinen viimeaikaiseen tutkimushankkeeseeni (AI2D-RST). Kielipankki on mielestäni erittäin hyödyllinen palvelu korpusten pitkäaikaissäilytykseen ja jakeluun. Aion jakaa myös kehittämäni multimodaaliset korpukset myös jatkossa Kielipankin kautta.
Kielipankin aineistoon liittyviä julkaisuja:
Tuomo Hiippala (2016) Helsingin kaupungin matkailuesitteiden multimodaalinen korpus. Terra 128(2): 75-85.
Tuomo Hiippala, Malihe Alikhani, Jonas Haverinen, Timo Kalliokoski, Evanfiya Logacheva, Serafina Orekhova, Aino Tuomainen, Matthew Stone, John A. Bateman (2020) AI2D-RST: A multimodal corpus of 1000 primary school science diagrams.
FIN-CLARIN eli suomalaisten yliopistojen, Tieteen tietotekniikan keskuksen ja Kotimaisten kielten keskuksen muodostama konsortio auttaa humanististen tieteiden tutkijoita käyttämään, jalostamaan, säilyttämään ja jakamaan tutkimusaineistoja. Aineistoja ja työkaluja tarjoaa Kielipankki.