Vuoden 2021 Kirjastoverkkopäivillä pidettiin työpaja nimeltä Kiinalaisen huoneen arvoitus: automaattisen sisällönkuvailun arviointi jatkuu. Työpaja oli jatkoa aiempien Kirjastoverkkopäivien Annif-työkalun ympärille rakennetuille työpajoille. Aikaisempien pajojen tapaan nytkin keskityttiin automaattisen sisällönkuvailun laatuun ja sen arviointiin. Tässäkin työpajassa osallistujat pääsivät arvioimaan eri aineistoille eri tavoin (koneellisesti ja ihmisvoimin) tuotettuja kuvailuja. Työpajan tarkoitus oli saada laajempi käsitys Annif-työkalun toiminnasta ja kehityksestä.

Työpajassa mukana oli myös professori Koraljka Golub ruotsalaisesta Linné-yliopistosta. Golubin videoitu esitys käsitteli automaattisen sisällönkuvailun laadun arviointia ja hän osallistui lisäksi aktiivisesti keskusteluun työpajan yleisön kanssa. 

Työpajan tuloksista havaittiin Annifin algoritmien kehittyneen, sisällönkuvailun ammattilaisten tuottamat kuvailut arvioitiin kuitenkin koneen tuottamia paremmiksi. Työpajasta ja sen tuloksista kerromme tarkemmin Tietolinjan numerossa 2/2021 (Inkinen, Lehtinen & Suominen 2021).

Työpajassa esittelimme myös Sisällönkuvailun asiantuntijaryhmän Siskun tekemää Finto AI -palvelun testausta. Testauksen ei ollut tarkoitus olla täysi tieteellinen tutkimus tai käytettävyystutkimus, vaan tarkoitus oli kerätä kokemuksia Finto AI:sta ammattilaiskuvailijan käytössä. Testissä kahdeksan sisällönkuvailun ammattilaista testasi Finto AI:n verkkokäyttöliittymää materiaalilla, jota he työssään käsittelevät. Yleisesti ottaen Finto AI:ta pidettiin hyvänä apuvälineenä kuvailutyössä, vaikkei sen käyttö prosessia nopeuttaisikaan. Kyselyn tuloksista voi lukea lisää testiraportista (Lehtinen (toim.) 2021). 

Suuret kiitokset kaikille Kirjastoverkkopäivien työpajaan ja sen valmisteluun osallistuneille sekä Siskun raportin mahdollistaneille! 

 

Inkinen J, Lehtinen M & Suominen O (2021). Automaattisen kuvailun arvoituksia Kirjastoverkkopäivillä 2021. Tietolinja, 2021(2).  https://urn.fi/URN:NBN:fi-fe2021121661232

Lehtinen, M. (toim.), Anttila, M., Forsén, M. Fröjdholm, T., Hilander, L., Hintikka, O., Lindfors, I.,Tiainen, K., & Turunen, T. (2021). Sisällönkuvailun ammattilaisten kokemuksia Finto AI:n käytöstä. https://urn.fi/URN:ISBN:978-951-51-7816-9