Blog
Kansalliskirjaston Finto-palvelu on julkaissut uuden version Finto.fi:n taustaohjelmisto Skosmoksesta.
Skosmoksen uusi versio 2.7 parantaa erityisesti yksittäisen käsitteen tietosivun käytettävyyttä. Keskeisimpiä uudistuksia ovat
- konfiguroitava ominaisuuksien järjestys
- kustomoitujen ominaisuuksien vihjetekstit (Kuva 1)
- erikielisten vaihtoehtoisten termien (altLabels) listojen parempi aakkostus
Lisäksi Finton REST-rajapintaan (api.finto.fi) tehtiin uudistus, joka mahdollistaa uusien ja viimeksi muokattujen käsitteiden tietojen hakemisen.
Kuva 1. Skosmos osaa nyt näyttää sanastokohtaisesti määriteltyjen ominaisuuksien määritelmät.
Tarkemmat tiedot uudesta julkaisusta löydät Skosmoksen Github-sivulta:
https://github.com/NatLibFi/Skosmos/releases/tag/v2.7
Githubin wikistä löytyy ohjeet uuden version asennukseen ja päivitykseen:
https://github.com/NatLibFi/Skosmos/wiki
Skosmos 2.7 on saatavilla avoimena lähdekoodina MIT-lisenssillä.
Uutta Skosmos-versiota koskevaa palautetta voi lähettää osoitteeseen finto-posti@helsinki.fi, ja aiheeseen liittyvään keskusteluun voi osallistua skosmos-users -listalla.
Skosmos-ohjelmiston kehitystä tehdään kuukausittaisissa sprinteissä. Skosmoksen koko kehitysjonon ja aktiivisena olevien sprinttien kehitysjonot löydät täältä: https://github.com/NatLibFi/Skosmos/projects
Seuraava Skosmos-sprintti pidetään kesälomakauden jälkeen syyskuussa.
Finto AI:n julkaisun vanavedessä olemme myös uudistaneet Annifin visuaalista ilmettä. Suunnittelusta on vastannut Hahmo Design Oy. Annifin esittelysivusto on saanut 25.6.2020 alkaen uuden, raikkaan ulkoasun ja itse Annif oman logon! Käy tutustumassa www.annif.org!
Tekoälyä sisällönkuvailussa
Automaattinen sisällönkuvailu osaksi Finton palveluja
Finto laajenee automaattisen sisällönkuvailun palveluihin Finto AI -työkalun ja sen rajapintapalvelun myötä. Palvelu tukee suomen-, ruotsin- ja englanninkielisen tekstin automaattista sisällönkuvailua.
Finto AI on saatavilla osoitteessa ai.finto.fi, josta löytyvän lomakkeen avulla palvelua voi kokeilla ja käyttää. Automaattinen sisällönkuvailu toimii parhaiten opinnäytetyö- ja tietokirja-aineistoissa.
Finto on jo yli kuuden vuoden ajan tukenut sisällönkuvailutyötä tarjoamalla pääsyn keskeisiin sanastoihin ja ontologioihin. Finto AI tuo koneoppimisen ja kieliteknologian tarjoamia mahdollisuuksia työkaluiksi perinteiseen sisällönkuvailutyöhön. Palvelun taustalla on Kansalliskirjastossa kehitetty työkalu Annif, jota on useiden vuosien ajan kehitetty kokeellisena palveluna.
Annif on jo käytössä Jyväskylän yliopiston JYX-julkaisuarkistossa, jossa sitä käytetään opinnäytetöiden kuvailun apuna. Opinnäytetyönsä järjestelmään jättävä opiskelija saa nähtäväkseen Annifin ehdottamat asiasanat, joita hän voi halutessaan muokata. Lopulliset asiasanat hyväksyy kirjastovirkailija tarkistuksen jälkeen. Vastaavanlaista käyttöä pilotoidaan tällä hetkellä mm. Vaasan yliopiston Osuva-julkaisuarkistossa.
Myös Kirjavälitys Oy käyttää rajapintapalvelua vielä julkaisemattomien kirjojen asiasanoitukseen kustantajan esittelytekstin pohjalta. “Annif on tuttavuutemme aikana kehittynyt selvästi, ja sen seuraaminen on ollut todella mielenkiintoista. Erityisesti tietokirjojen esittelyteksteihin perustuvaan asiasanoitukseen se pystyy usein tarjoamaan YSO-termejä tarkasti, melko usein myös kattavasti”, kertoo Anna Tuominen Kirjavälityksen tuotetietopalveluista.
Automaattista sisällönkuvailua erilaisilla sanasto- ja kieliyhdistelmillä ja monentyyppisillä aineistoilla on jo pitkään kokeiltu Annifin kehityksen osana. Tällä hetkellä käytössä oleva toiminnallisuus perustuu useiden algoritmien yhdistelmään, jolla on saatu hyviä tuloksia. Koneoppimisalgoritmeja on opetettu pääosin Finnasta kerätyillä viitetiedoilla, mutta myös kokotekstidokumentteja on käytetty näiden algoritmien ehdotusten hienosäätöön.
Algoritmien ja opetusaineistojen kehitys jatkuu yhä ja sitä mukaa kun toimivia ratkaisuja löytyy, niitä viedään osaksi Finto AI -palvelua.
Katso esittelyvideo: https://youtu.be/ZKN22mXKMm8
Lisää aiheesta:
Lehtinen M, Inkinen J & Suominen O (2019). Aaveita koneessa: Automaattisen sisällönkuvailun arviointia Kirjastoverkkopäivillä 2019. Tietolinja, 2019(2). Pysyvä osoite: http://urn.fi/URN:NBN:fi-fe2019120445612
Finto-palvelu http://finto.fi/fi/
Lisätietoja:
Mona Lehtinen, tietoasiantuntija, Automaattinen kuvailu
Juho Inkinen, tietojärjestelmäasiantuntija, Automaattinen kuvailu
Osma Suominen, tietojärjestelmäasiantuntija, Automaattinen kuvailu
etunimi.sukunimi@helsinki.fi
Kansalliskirjaston Finto-palvelu on julkaissut uuden version Finto.fi:n taustaohjelmisto Skosmoksesta.
Skosmoksen uusi versio 2.6 tuo mukanaan erityisesti REST-rajapintaan (api.finto.fi) liittyviä uusia toiminnallisuuksia, laatuparannuksia, sekä korjauksia. Keskeisimpinä uudistuksina esim.
- selainkäyttöliittymän ja REST-rajapinnan välimuistia hyödyntävä uudistus, joka parantaa suorituskykyä valttämällä sivujen turhia uudelleenlatauksia
- sanaston käsitteiden aakkosellisen listauksen hakeminen
- käsitteen vaihtoehtoisten termien (altLabel) hakeminen käytettyjen termien (prefLabel) lisäksi
- globaali label-metodi termipohjaisille kyselyille
Tarkemmat tiedot uudesta julkaisusta löydät Skosmoksen Github-sivulta:
https://github.com/NatLibFi/Skosmos/releases/tag/v2.6
Githubin wikistä löytyy ohjeet uuden version asennukseen ja päivitykseen:
https://github.com/NatLibFi/Skosmos/wiki
Skosmos 2.6 on saatavilla avoimena lähdekoodina MIT-lisenssillä.
Uutta Skosmos-versiota koskevaa palautetta voi lähettää osoitteeseen finto-posti@helsinki.fi, ja aiheeseen liittyvään keskusteluun voi osallistua skosmos-users -listalla.
Skosmos-ohjelmiston kehitystä tehdään kuukausittaisissa sprinteissä. Skosmoksen koko kehitysjonon ja aktiivisena olevien sprinttien kehitysjonot löydät täältä: https://github.com/NatLibFi/Skosmos/projects
Hei,
Annifin uusin versio on julkaistu!
Annifin antamien tulosten laatua voi tämän päivityksen jälkeen tarkastella myös asiasanakohtaisesti, ts. tutkia kuinka monta kertaa tiettyä asiasanaa ehdotettiin oikein. Tavanomaisesti annif eval -komennon tulokset kerrotaan dokumenttikohtaisesti, eli niissä on mitattu dokumentille ehdotettujen oikeiden asiasanojen määrää. Tämän päivityksen myötä luokituksiin liittyvät notaatiokoodit näkyvät myös Annifin web-käyttöliittymässä (annif.org) lomaketta käytettäessä.
Annifin käyttö omana asennuksenaan vaatii Pythonista nyt vähintään version 3.6. Annif tukee myös Python-versioita 3.7 sekä 3.8. Annifin ns. kehittäjäasennuksessa on luovuttu Pipenv-työkalun käytöstä riippuvuuksien hallintaan - jatkossa käytetään perinteistä pip-työkalua. Päivitykseen liittyy myös bugikorjauksia ja muita pienempiä parannuksia. Lisätietoa os. https://github.com/NatLibFi/Annif/releases/tag/v0.47.0
- Annif-tiimi
Kansalliskirjaston Finto-palvelu on julkaissut uuden version Finto.fi:n taustaohjelmisto Skosmoksesta.
Skosmoksen uusi versio 2.5 tuo mukanaan uusia toiminnallisuuksia, laatuparannuksia, sekä korjauksia aiemmin havaittuihin virheisiin. Merkittävimpiä uudistuksia ovat mm.
- pitkien tietolistojen automaattinen lyhennys käsitesivulla (Kuva 1)
- tuki venäjän- ja tanskankielisille käyttöliittymille (Skosmoksessa, ei käytössä Finto.fi:ssä)
- helppokäyttöinen viesti-plugin esim. sanastokohtaisten ilmoitustekstien esittämiselle
Kuva 1. Assosiatiivisten käsitteiden listan automaattinen lyhennys YKL:ssa.
Tarkemmat tiedot uudesta julkaisusta löydät Skosmoksen Github-sivulta:
https://github.com/NatLibFi/Skosmos/releases/tag/v2.5
Githubin wikistä löytyy ohjeet uuden version asennukseen ja päivitykseen:
https://github.com/NatLibFi/Skosmos/wiki
Skosmos 2.5 on saatavilla avoimena lähdekoodina MIT-lisenssillä.
Uutta Skosmos-versiota koskevaa palautetta voi lähettää osoitteeseen finto-posti@helsinki.fi, ja aiheeseen liittyvään keskusteluun voi osallistua skosmos-users -listalla.
Skosmos-ohjelmiston kehitystä tehdään kuukausittaisissa sprinteissä. Skosmoksen koko kehitysjonon ja aktiivisena olevien sprinttien kehitysjonot löydät täältä: https://github.com/NatLibFi/Skosmos/projects
Kansallinen audiovisuaalinen instituutti KAVI on tutkinut Annifin käyttöä, ja Tommi Lehtosen ja Juha Piukkulan artikkeli aiheesta on juuri julkaistu Informaatiotutkimus-lehdessä (linkki pdf-versioon, viitetiedot alla). Julkaisussa käsitellään siis mielenkiintoista projektia, jossa Annifia on käytetty televisio-ohjelmien asiasanoittamiseen tekstitystietojen ja ohjelmakuvausten perusteella. Tulokset vaikuttavat lupaavilta ja yhteistyö KAVI:n ja Annif-tiimin välillä jatkuu!
Lehtonen, T., & Piukkula, J. (2020). Automaattinen asiasanoitus Radio- ja televisio-ohjelmatietokanta Ritvassa. Informaatiotutkimus, 39(1). https://doi.org/10.23978/inf.88107
Annifin rajapinta api.annif.org (ja sitä käyttävä lomake annif.org-sivulla) päivittyi 26.3.2020. Päivityksessä rajapinta siirtyi käyttämään YSO:n uusinta ns. jäädytettyä versiota (2020.1.Diotima), kuten myös uusinta versiota Annifista (0.46). Mukana on jälleen uudella ja laajemmalla Finna-pohjaisella aineistolla koulutetut mallit. Uutta on neuroverkkoihin pohjautuvan ensemble-algoritmin käyttöönotto (lisätietoja GitHubissa). Päivitys näkyy käyttäjille parempina asiasanaehdotuksina, sillä neuroverkkopohjaisella mallilla päästään yksinkertaista ensemble-mallia parempiin tuloksiin.
Rajapinnan tarjonta
Annifin rajapinta tarjoaa useita projekteja, jotka tukevat tiettyä sanastoa ja kieltä. Projektivalikoima pysyi edellisen kaltaisena, tosin joidenkin muutosten kera. Tarjolla ovat siis nämä projektit:
- yso-fi / yso-sv / yso-en: Yleisprojektit YSO:n käyttöön kolmella kielellä, nykyään neuroverkkopohjaisia ensemble-malleja
- wikidata-en: Wikidata-aiheita englanninkielisen tekstin pohjalta ehdottava projekti
- hogwarts: Tylypahkan tupia nimen perusteella ehdottava projekti
Tämä päivitys on jälleen askel lähemmäksi Annifin tuotantokäyttövalmiutta eli Finto AI-palvelua. Pyrimme julkaisemaan Finto AI:n tämän kevään aikana ja tiedotamme asiasta lisää myöhemmin.
Kansalliskirjaston Finto-palvelu on julkaissut uuden version Finto.fi:n taustaohjelmisto Skosmoksesta.
Skosmoksen uusi versio 2.4 tuo mukanaan uusia toiminnallisuuksia, laatuparannuksia, sekä korjauksia aiemmin havaittuihin virheisiin. Käyttäjille näkyvimpiä uudistuksia ovat
- parannettu tuki luokitusten numeropohjaisille hauille (Kuva 1)
- kymmenluokitusten aakkosellisen hakemiston luokkatarkenteet (Kuva 2)
- mahdollisuus korvata ilmaisu "käytettävä termi" käsitenäkymässä sanastokohtaisesti määriteltävällä tarkemmalla ilmaisulla (sanaston tietomallista riippuen) (Kuva 3)
Kuva 1. Numerohaku palauttaa myös etsityllä numerolla alkavat luokkakoodit
Kuva 2. Kymmenluokitusten aakkosellisen hakemiston luokkanumerotarkenteet
Kuva 3. Suomalaisten yhteisönimien käsitesivu
Tarkemmat tiedot uudesta julkaisusta löydät Skosmoksen Github-sivulta:
https://github.com/NatLibFi/Skosmos/releases/tag/v2.4
Githubin wikistä löytyy ohjeet mm. asennukseen ja päivitykseen:
https://github.com/NatLibFi/Skosmos/wiki
Skosmos 2.4 on saatavilla avoimena lähdekoodina MIT-lisenssillä.
Uutta Skosmos-versiota koskevaa palautetta voi lähettää osoitteeseen finto-posti@helsinki.fi, ja aiheeseen liittyvään keskusteluun voi osallistua skosmos-users -listalla.
Skosmos-ohjelmiston kehitystä tehdään jatkossa kuukausittaisissa sprinteissä. Skosmoksen koko kehitysjonon ja aktiivisena olevien sprinttien kehitysjonon löydät täältä: https://github.com/NatLibFi/Skosmos/projects
Annif omissa käsissä -koulutuksen ajankohta on päätetty: 25.3.2020, klo. 12-16, paikkana Kansalliskirjasto, tarkemmin ottaen Fabianian auditorio, Yliopistonkatu 1. Ilmoittautuminen on nyt avattu osoitteessa https://elomake.helsinki.fi/lomakkeet/103951/lomake.html (ilmoittautumiset viimeistään 11.3., enintään 25 osallistujaa mahtuu mukaan). Tervetuloa!
Lisätietoja:
Annif on Kansalliskirjastossa kehitettävä automaattisen kuvailun työkalu. Se on vapaata lähdekoodia ja siihen voi tutustua mm. osoitteessa https://annif.org tai GitHubissa os. https://github.com/NatLibFi/Annif. Annifia voi käyttää rajapinnan yli tai omana asennuksena; tässä koulutuksessa siis keskitytään jälkimmäiseen eli tilanteeseen, jossa haluat tee se itse -hengessä asentaa Annifin omalle tietokoneellesi ja opettaa sen omalla sanastolla ja/tai koulutusaineistolla.
Järjestimme Annifin käyttöä käsittelevä työpajan ensimmäisen kerran SWIB19-konferenssin yhteydessä Hampurissa marraskuussa 2019 yhdessä Saksan taloustieteen kansalliskirjasto ZBW:n kanssa.
Hyödynnämme tämän edellisen työpajan perusteella laadittua materiaalia, joka löytyy osoitteesta https://github.com/NatLibFi/Annif-tutorial. Materiaaliin voi tutustua jo nyt, mutta niihin voi vielä tulla pieniä muutoksia ennen työpajaa.
Huom.! Työpajaa varten sinun tulisi pystyä asentamaan koneellesi VirtualBox tai Docker (em. asennukset vaativat järjestelmänvalvojan oikeudet). Vaihtoehtoisesti kokeneet Linux-käyttäjät voivat asentaa Annifin omalle koneelleen itse. Ennen koulutusta koita saada ensimmäinen tehtävä tehtyä jo valmiiksi https://github.com/NatLibFi/Annif-tutorial/blob/master/exercises/01_install_annif.md. Mikäli ongelmia tulee, avustamme mahdollisissa Annifin asennukseen liittyvissä pulmatilanteissa ennen varsinaisen työpajan alkua klo. 10-11. Otathan tässä tapauksessa yhteyttä järjestäjiin etukäteen.
Jos et pääse tällä kertaa paikalle, materiaalit ovat jatkossakin saatavissa verkossa ja täydentyvät ehkäpä tulevaisuudessa vielä opetusvideoilla. Mikäli sinulla heräsi kysyttävää, voit ottaa yhteyttä allekirjoittaneisiin vaikka s-postilla (etunimi.sukunimi@helsinki.fi)
Tapaamisiin Annifin merkeissä!
Annif-tiimi: Osma Suominen, Juho Inkinen, Mona Lehtinen
Kansalliskirjaston Finto-palvelu on julkaissut uuden version Finto.fi:n taustaohjelmisto Skosmoksesta.
Skosmoksen uusi versio 2.3 tuo mukanaan uusia toiminnallisuuksia, parannuksia ohjelmiston suorituskykyyn, sekä korjauksia aiemmin havaittuihin virheisiin. Käyttäjille näkyvimpiä uudistuksia ovat
- käsitesivun nopeampi latautuminen: perustiedot ja linkkien tiedot latautuvat toisistaan riippumatta
- LCSH- ja Wikidata-linkitysten tiedot haetaan enstistä nopeammilla metodeilla
- kopiointipainike luokitusten luokan numeron kopiointiin (luokan nimen sijasta)
Tarkemmat tiedot julkaisusta projektin ohjelmistojakelu-sivulta:
https://github.com/NatLibFi/Skosmos/releases/tag/v2.3
Projektin wikisivuilta löytyy ohjeet mm. asennukseen ja päivitykseen:
https://github.com/NatLibFi/Skosmos/wiki
Skosmos 2.3 on saatavilla avoimena lähdekoodina MIT-lisenssillä.
Uutta Skosmos-versiota koskevaa palautetta voi lähettää osoitteeseen finto-posti@helsinki.fi, ja aiheeseen liittyvään keskusteluun voi osallistua skosmos-users -listalla.
Skosmos-ohjelmiston kehitystä tehdään jatkossa kuukausittaisissa sprinteissä. Skosmoksen koko kehitysjonon ja aktiivisena olevien sprinttien kehitysjonon löydät täältä: https://github.com/NatLibFi/Skosmos/projects
Kiinnostaako automaattinen sisällönkuvailu? Haluaisitko kokeilla ja oppia käyttämään Annifia, automaattista asiasanoittajaa?
Annif on Kansalliskirjastossa kehitettävä automaattisen kuvailun työkalu. Se on vapaata lähdekoodia ja siihen voi tutustua mm. osoitteessa https://annif.org tai GitHubissa os. https://github.com/NatLibFi/Annif. Annifia voi käyttää rajapinnan yli tai omana asennuksena, tässä koulutuksessa keskitytään jälkimmäiseen eli tilanteeseen, jossa haluat tee se itse -hengessä asentaa Annifin omalle tietokoneellesi ja opettaa sen omalla sanastolla ja/tai koulutusaineistolla.
Järjestimme Annifin käyttöä käsittelevä työpajan ensimmäisen kerran SWIB19-seminaarin yhteydessä Hampurissa marraskuussa 2019. Mukana oli myös Saksan taloustieteen kansalliskirjasto ZBW. Seminaarin ohjelma on verkossa os. http://swib.org/swib19/. Nyt on aika kotiuttaa tämä koulutus Suomeenkin, tarkemmin ottaen omiin tiloihimme Kansalliskirjastossa. Tervetuloa siis Annif-työpajaan 2020!
Hyödynnämme edellisen työpajan perusteella laadittua materiaalia, joka löytyy osoitteesta https://github.com/NatLibFi/Annif-tutorial. Materiaaliin voi tutustua jo nyt, mutta niihin voi tulla muutoksia ennen työpajaa. Tarkempaa ohjeistusta käytännön järjestelyjen ja tehtävien suhteen on luvassa myöhemmin. Työpajan alustava ajankohta on maalis-huhtikuun vaihde 2020. Suunnittelemme työpajasta noin puolen työpäivän mittaista (n. klo. 12-16). Jos olet kiinnostunut tästä koulutuksesta, käy äänestämässä itsellesi sopivia ajankohtia* Doodlessa os. https://doodle.com/poll/8ph5e2beqk4qprmr. Äänestämällä et sitoudu osallistumaan. Varsinainen ilmoittautuminen järjestetään, kunhan päivämäärä saadaan lyötyä lukkoon.
Avustamme mahdollisissa Annifin asennukseen liittyvissä pulmatilanteissa noin tuntia ennen varsinaisen työpajan alkua. Jos itsellesi sopivaa päivämäärää ei löydy - tai et muuten pääse tällä kertaa paikalle - materiaalit ovat jatkossakin saatavissa verkossa ja täydentyvät ehkäpä tulevaisuudessa vielä opetusvideoilla. Mikäli sinulla heräsi kysyttävää, voit ottaa yhteyttä allekirjoittaneisiin vaikka s-postilla (etunimi.sukunimi(a)helsinki.fi)
Tapaamisiin Annifin merkeissä!
Annif-tiimi: Osma Suominen, Juho Inkinen, Mona Lehtinen
* Päivämäärät yhdellä vilkaisulla:
25.3, 27.3, 1.4., 3.4., 7.4.
Finton tarjoamilla sanastoilla ja palveluilla on paljon käyttäjiä sekä kotimaassa että ulkomailla. Kukin organisaatio, järjestelmä ja palvelu hyödyntää Fintoa omalla tavallaan. Tähän mennessä käyttäjistä ja käyttötavoista on ollut esillä vain vähän tietoa verkossa. Korjaamme nyt tilannetta ja julkaisemme asiakaswikissämme sivun, jossa esitellään muutamia keskeisiä Finton sanastoja ja palveluja hyödyntäviä tahoja: valtioneuvoston ja usean ministeriön verkkosivut, Yle, suomi.fi, ministeriöiden yhteiset tietojärjestelmät, UNESCO, sveitsiläinen BARTOC-hanke sekä kotimainen museosektori. Käyttäjätarinat löytyvät täältä:
https://www.kiwi.fi/x/hgKEBw
Kunkin käyttäjätahon kohdalla on lyhyt kuvaus niistä käyttötapauksista, joissa Fintoa on heillä hyödynnetty. Lisäksi organisaatioiden edustajat kertovat omin sanoin, minkälaista apua he ovat Fintosta kokeneet saavansa. Kartutamme käyttäjäesittelyitä tulevaisuudessa tarpeen mukaan.
Haluatko kertoa meille, miten sinun organisaatiossasi hyödyntää Finton sanastoja tai palveluita? Olisimme erittäin kiitollisia käyttäjätarinoista! Otathan yhteyttä: finto-posti@helsinki.fi
Kiitos!
