Tekoälyä sisällönkuvailussa

Automaattinen sisällönkuvailu osaksi Finton palveluja

Finto laajenee automaattisen sisällönkuvailun palveluihin Finto AI -työkalun ja sen rajapintapalvelun myötä. Palvelu tukee suomen-, ruotsin- ja englanninkielisen tekstin automaattista sisällönkuvailua. 

Finto AI on saatavilla osoitteessa ai.finto.fi, josta löytyvän lomakkeen avulla palvelua voi kokeilla ja käyttää. Automaattinen sisällönkuvailu toimii parhaiten opinnäytetyö- ja tietokirja-aineistoissa.

Finto on jo yli kuuden vuoden ajan tukenut sisällönkuvailutyötä tarjoamalla pääsyn keskeisiin sanastoihin ja ontologioihin. Finto AI tuo koneoppimisen ja kieliteknologian tarjoamia mahdollisuuksia työkaluiksi perinteiseen sisällönkuvailutyöhön. Palvelun taustalla on Kansalliskirjastossa kehitetty työkalu Annif, jota on useiden vuosien ajan kehitetty kokeellisena palveluna. 

Annif on jo käytössä Jyväskylän yliopiston JYX-julkaisuarkistossa, jossa sitä käytetään opinnäytetöiden kuvailun apuna. Opinnäytetyönsä järjestelmään jättävä opiskelija saa nähtäväkseen Annifin ehdottamat asiasanat, joita hän voi halutessaan muokata. Lopulliset asiasanat hyväksyy kirjastovirkailija tarkistuksen jälkeen. Vastaavanlaista käyttöä pilotoidaan tällä hetkellä mm. Vaasan yliopiston Osuva-julkaisuarkistossa. 

Myös Kirjavälitys Oy käyttää rajapintapalvelua vielä julkaisemattomien kirjojen asiasanoitukseen kustantajan esittelytekstin pohjalta. “Annif on tuttavuutemme aikana kehittynyt selvästi, ja sen seuraaminen on ollut todella mielenkiintoista. Erityisesti tietokirjojen esittelyteksteihin perustuvaan asiasanoitukseen se pystyy usein tarjoamaan YSO-termejä tarkasti, melko usein myös kattavasti”, kertoo Anna Tuominen Kirjavälityksen tuotetietopalveluista.

Automaattista sisällönkuvailua erilaisilla sanasto- ja kieliyhdistelmillä ja monentyyppisillä aineistoilla on jo pitkään kokeiltu Annifin kehityksen osana. Tällä hetkellä käytössä oleva toiminnallisuus perustuu useiden algoritmien yhdistelmään, jolla on saatu hyviä tuloksia. Koneoppimisalgoritmeja on opetettu pääosin Finnasta kerätyillä viitetiedoilla, mutta myös kokotekstidokumentteja on käytetty näiden algoritmien ehdotusten hienosäätöön. 

Algoritmien ja opetusaineistojen kehitys jatkuu yhä ja sitä mukaa kun toimivia ratkaisuja löytyy, niitä viedään osaksi Finto AI -palvelua.

Katso esittelyvideo: https://youtu.be/ZKN22mXKMm8 

Lisää aiheesta:

Lehtinen M, Inkinen J & Suominen O (2019). Aaveita koneessa: Automaattisen sisällönkuvailun arviointia Kirjastoverkkopäivillä 2019. Tietolinja, 2019(2). Pysyvä osoite: http://urn.fi/URN:NBN:fi-fe2019120445612

Finto-palvelu http://finto.fi/fi/

Lisätietoja:

Mona Lehtinen, tietoasiantuntija, Automaattinen kuvailu

Juho Inkinen, tietojärjestelmäasiantuntija, Automaattinen kuvailu

Osma Suominen, tietojärjestelmäasiantuntija, Automaattinen kuvailu

[email protected]

Kansalliskirjaston Finto-palvelu on julkaissut uuden version Finto.fi:n taustaohjelmisto Skosmoksesta.

Skosmoksen uusi versio 2.6 tuo mukanaan erityisesti REST-rajapintaan (api.finto.fi) liittyviä uusia toiminnallisuuksia, laatuparannuksia, sekä korjauksia. Keskeisimpinä uudistuksina esim.

• selainkäyttöliittymän ja REST-rajapinnan välimuistia hyödyntävä uudistus, joka parantaa suorituskykyä valttämällä sivujen turhia uudelleenlatauksia
• sanaston käsitteiden aakkosellisen listauksen hakeminen
• käsitteen vaihtoehtoisten termien (altLabel) hakeminen käytettyjen termien (prefLabel) lisäksi
• globaali label-metodi termipohjaisille kyselyille

Tarkemmat tiedot uudesta julkaisusta löydät Skosmoksen Github-sivulta:

https://github.com/NatLibFi/Skosmos/releases/tag/v2.6

Githubin wikistä löytyy ohjeet uuden version asennukseen ja päivitykseen:

https://github.com/NatLibFi/Skosmos/wiki

Skosmos 2.6 on saatavilla avoimena lähdekoodina MIT-lisenssillä.

Uutta Skosmos-versiota koskevaa palautetta voi lähettää osoitteeseen [email protected], ja aiheeseen liittyvään keskusteluun voi osallistua skosmos-users -listalla.

Skosmos-ohjelmiston kehitystä tehdään kuukausittaisissa sprinteissä. Skosmoksen koko kehitysjonon ja aktiivisena olevien sprinttien kehitysjonot löydät täältä: https://github.com/NatLibFi/Skosmos/projects

Hei,

Annifin uusin versio on julkaistu!

Annifin antamien tulosten laatua voi tämän päivityksen jälkeen tarkastella myös asiasanakohtaisesti, ts. tutkia kuinka monta kertaa tiettyä asiasanaa ehdotettiin oikein. Tavanomaisesti annif eval -komennon tulokset kerrotaan dokumenttikohtaisesti, eli niissä on mitattu dokumentille ehdotettujen oikeiden asiasanojen määrää. Tämän päivityksen myötä luokituksiin liittyvät notaatiokoodit näkyvät myös Annifin web-käyttöliittymässä (annif.org) lomaketta käytettäessä.

Annifin käyttö omana asennuksenaan vaatii Pythonista nyt vähintään version 3.6. Annif tukee myös Python-versioita 3.7 sekä 3.8. Annifin ns. kehittäjäasennuksessa on luovuttu Pipenv-työkalun käytöstä riippuvuuksien hallintaan - jatkossa käytetään perinteistä pip-työkalua. Päivitykseen liittyy myös bugikorjauksia ja muita pienempiä parannuksia. Lisätietoa os. https://github.com/NatLibFi/Annif/releases/tag/v0.47.0

- Annif-tiimi