Blog
Api.annif.org on uudistunut 17.1.2020! Uudistus vaikuttaa myös osoitteessa annif.org olevaan testilomakkeeseen, joka käyttää rajapintaa. Tähän tiedotteeseen on koottu yhteenveto muutoksista rajapinnan nykyisille käyttäjille.
Uudet algoritmit ja opetusaineistot
Otimme testirajapintapalvelu api.annif.org:issa käyttöön uusimman Annif-ohjelmistoversion sekä sen mukana tuomia uusia algoritmeja, mm. omikuji-algoritmit, jotka on koulutettu paljon entistä laajemmilla opetusaineistoilla. Parannusten pitäisi ennen kaikkea näkyä entistä osuvampina asiasanaehdotuksina.
Uudempi YSO, jossa mukana myös YSO-paikat
Uudistuksen myötä YSO päivitettiin uudempaan versioon 2019.3 Cicero. Lisäksi mukana ovat nyt myös YSO-paikat, joten Annifin rajapintapalvelu voi ehdottaa myös paikannimiä aiheiksi.
Rajapinnan tarjoamat projektit
Annifin rajapinnassa on tarjolla useita projekteja, jotka tukevat tiettyä sanastoa ja kieltä. Projektivalikoima pysyi edellisen kaltaisena, tosin pienin muutoksin, koska joidenkin projektien tausta-algoritmit vaihtuivat. Tarjolla ovat tällä hetkellä nämä projektit:
- yso-fi / yso-sv / yso-en: Yleisprojektit YSO:n käyttöön kolmella kielellä
- wikidata-en: Wikidata-aiheita englanninkielisen tekstin pohjalta ehdottava projekti
- hogwarts: Tylypahkan tupia nimen perusteella ehdottava projekti
Muutoksia rajapinnan metodinimissä
Annifin rajapinnan keskeisin metodi, jolle annetaan tekstiä ja joka ehdottaa aiheita, on alkuperäiseltä nimeltään “analyze”. Tämän nimen kuitenkin todettiin olevan harhaanjohtava ja nykyisin metodi tunnetaan nimellä “suggest”. Suosittelemme sovellusten siirtyvän käyttämään uutta metodinimeä. Vanhakin nimi kuitenkin toimii jatkossakin, vaikka sitä ei uudistuksen jälkeen enää mainita rajapinnan dokumentaatiossa.
Annif-prototyypin rajapinta v0 poistui käytöstä
Osoitteessa api.annif.org/v0/ on ollut jo vuoden 2017 keväästä asti tarjolla Annifin alkuperäisen prototyypin rajapinta, joka poistui käytöstä rajapintauudistuksen myötä.
HTTPS-protokolla tarjolla
Rajapinta api.annif.org toimii nyt HTTP-protokollan lisäksi myös suojatulla HTTPS-yhteydellä.
Tulevaisuuden näkymiä
Rajapintaan on suunniteltu lisättäväksi myös uusi learn-metodi, jota voidaan käyttää Annifin opettamiseen esimerkiksi sen jälkeen, kun kuvailija on tarkistanut Annifin ehdottamat aiheet ja korjaillut niitä. Tämän metodin käyttö testirajapinnassa ei tässä vaiheessa kuitenkaan ole sallittua, koska haluamme ensin selvittää huolellisesti, miten palautteesta oppiminen käytännössä vaikuttaa Annifin ehdotusten laatuun ja sitten päättää, miten laajaan käyttöön learn-metodi voidaan avata.
Seuraava YSO:n jäädytetty versio julkaistaan alkukeväästä 2020 ja Annifin rajapintapalvelukin siirtyy aikanaan käyttämään sitä. Tästä tiedotetaan erikseen.
Testirajapinnan uudistus on ensimmäinen askel kohti tavoitettamme tarjota tuotantokäyttöön soveltuva automaattisen sisällönkuvailun rajapinta Finton rajapinnan tämän kevään aikana. Tekniikaltaan uusi rajapinta tulee olemaan lähes identtinen api.annif.org-testirajapinnan kanssa, mutta se on tarkoitettu tuotantokäyttöön ja tarjolla on vain rajallinen joukko projekteja, ensi vaiheessa YSO:lle (kolmella kielellä) mutta tulevaisuudessa myös muille sanastoille. Uudesta rajapinnasta tiedotetaan erikseen ja sen käyttöön tullaan tarjoamaan tarkempaa ohjeistusta ja tukipalveluja.
Finto-palvelua on kehitetty Kansalliskirjastossa projektimuotoisesti vuodesta 2013 alkaen. Projektivaihe päättyi vuoden 2018 lopussa, jolloin Fintosta tuli osa Kansalliskirjaston tarjoamia pysyviä palveluita.
Projektivaiheessa Finton kehittämistä rahoittivat Valtiovarainministeriö ja Opetus- ja kulttuuriministeriö. Pysyvän palvelun rahoitus tulee opetus ja kulttuuriministeriöltä ja sillä mahdollistetaan palvelu OKM:n hallinnonalan organisaatioille. Rahoitusmallin muuttuessa osa Finton palveluista joudutaan muuttamaan maksullisiksi OKM:n hallinnonalan ulkopuolisille organisaatioille.
Finto.fi:n selailu- ja rajapintakäyttö pysyvät kaikille maksuttomina jatkossakin. Maksullisuus koskee pääasiassa oman sanaston/ontologian julkaisua ja päivittämistä Finto.fi:ssä sekä oman sanaston kehittämiseen ja käyttöön liittyviä tukipalveluita.
Finto järjestää tammikuussa sidosryhmille keskustelutilaisuuden maksullisen palvelun mallista. Keskusteluja käydään myös organisaatiokohtaisesti tarpeen mukaan. Maksullisuus tulee voimaan vuoden 2020 aikana.
Kansalliskirjasto odottaa luottavaisin mielin Finton ympärille muodostuneen laajan, hallinnon rajat ylittävän kumppanuusverkoston hyvin sujuneen yhteistyön jatkoa yhteentoimivuuden edistämiseksi myös tulevaisuudessa.
Lisätietoa: Finton kehittämispäällikkö Mikko Lappalainen, etunimi.sukunimi@helsinki.fi
Finton asiakaswikissä on julkaistu Finto-palvelun kokouskalenteri. Siinä esitetään Finto-palvelun toimintaan sisältyvät säännöllisesti järjestettävät kokoukset. Näitä ovat Finton yhteistyöverkoston kokoukset (kaksi kertaa vuodessa), Ontologiakehittäjien yhteistyöryhmän kokoukset (kaksi kertaa vuodessa) sekä YSO-kokoukset (neljä kertaa vuodessa). Säännöllisten kokousten lisäksi voidaan järjestää lisäkokouksia tarpeen mukaan. Asiakaswikissä näkyvässä kaaviossa on esitetty myös suuntaa-antava arvio kokousten ajankohdista. Kokouskalenteri löytyy täältä:
https://www.kiwi.fi/display/Finto/Finto-palvelun+kokouskalenteri
Lisätietoa kokouksista ja kokouskalenterista: finto-posti@helsinki.fi
Api.annif.org uudistuu tammikuussa 2020! Tavoitteenamme on ottaa käyttöön uudistettu rajapinta keskiviikkona 15.1.2020. Tähän tiedotteeseen on koottu yhteenveto odotettavissa olevista muutoksista rajapinnan nykyisille käyttäjille. Tiedotamme lisää, kun muutos on tehty.
Uudet algoritmit ja opetusaineistot
Annifia on aktiivisesti kehitetty vuoden 2019 aikana, mutta testirajapintapalvelu api.annif.org on pysynyt pitkään muuttumattomana. Nyt otamme käyttöön uusimman Annif-ohjelmistoversion sekä sen mukana tuomia uusia algoritmeja, jotka on koulutettu paljon entistä laajemmilla opetusaineistoilla. Parannusten pitäisi ennen kaikkea näkyä entistä osuvampina asiasanaehdotuksina.
Uudempi YSO, jossa mukana myös YSO-paikat
Nykyinen api.annif.org-rajapintapalvelu käyttää Yleisen suomalaisen ontologian versiota 2018.3 Boëthius, joka on jo lähes kaksi vuotta vanha. Uudistuksen myötä YSO päivitetään uudempaan versioon 2019.3 Cicero. Lisäksi mukana ovat nyt myös YSO-paikat, joten Annifin rajapintapalvelu voi jatkossa ehdottaa myös paikannimiä aiheiksi.
Seuraava YSO:n jäädytetty versio julkaistaan alkukeväästä 2020 ja Annifin rajapintapalvelu siirtyy aikanaan käyttämään sitä. Tästä tiedotetaan erikseen.
Rajapinnan tarjoamat projektit
Annifin rajapinnassa on tarjolla useita projekteja, jotka tukevat tiettyä sanastoa ja kieltä. Projektivalikoima pysyy nykyisen kaltaisena, mutta pieniä muutoksia on odotettavissa, koska joidenkin projektien tausta-algoritmit vaihtuvat. Tarjolla on jatkossakin ainakin nämä projektit:
- yso-fi / yso-sv / yso-en: Yleisprojektit YSO:n käyttöön kolmella kielellä
- wikidata-en: Wikidata-aiheita englanninkielisen tekstin pohjalta ehdottava projekti
- hogwarts: Tylypahkan tupia nimen perusteella ehdottava projekti
Muutoksia rajapinnan metodinimissä
Annifin rajapinnan keskeisin metodi, jolle annetaan tekstiä ja joka ehdottaa aiheita, on alkuperäiseltä nimeltään “analyze”. Tämän metodin nimi kuitenkin todettiin harhaanjohtavaksi ja nykyisin se tunnetaan nimellä “suggest”. Suosittelemme, että sovellukset siirtyvät käyttämään uutta metodinimeä, joka toimii jo nyt. Vanhakin nimi kuitenkin toimii jatkossakin, vaikka sitä ei uudistuksen jälkeen enää mainita rajapinnan dokumentaatiossa.
Rajapintaan tulee myös uusi learn-metodi, jota voidaan käyttää Annifin opettamiseen esimerkiksi sen jälkeen, kun kuvailija on tarkistanut Annifin ehdottamat aiheet ja korjaillut niitä. Tämän metodin käyttö testirajapinnassa ei tässä vaiheessa kuitenkaan ole sallittua, koska haluamme ensin selvittää huolellisesti, miten palautteesta oppiminen käytännössä vaikuttaa Annifin ehdotusten laatuun ja sitten päättää, miten laajaan käyttöön learn-metodi voidaan avata.
Annif-prototyypin rajapinta v0 poistuu käytöstä
Osoitteessa api.annif.org/v0/ on ollut jo vuoden 2017 keväästä asti tarjolla Annifin alkuperäisen prototyypin rajapinta. Se poistuu käytöstä rajapintauudistuksen myötä.
Suojattu HTTPS-yhteys tulossa
Testirajapinta api.annif.org ei vielä ole käytettävissä suojatun HTTPS-yhteyden yli. Pyrimme mahdollistamaan HTTPS-käytön mahdollisimman pian, mutta tähän uudistukseen se ei vielä välttämättä ehdi.
Kohti tuotantokäyttöön soveltuvaa rajapintaa
Testirajapinnan uudistus on ensimmäinen askel kohti tavoitettamme tarjota tuotantokäyttöön soveltuva automaattisen sisällönkuvailun rajapinta Finton rajapinnan yhteyteen vuoden 2020 kevääseen mennessä. Tekniikaltaan uusi rajapinta tulee olemaan lähes identtinen api.annif.org-testirajapinnan kanssa, mutta se on tarkoitettu tuotantokäyttöön ja tarjolla on vain rajallinen joukko projekteja, ensi vaiheessa YSO:lle (kolmella kielellä) mutta tulevaisuudessa myös muille sanastoille. Uudesta rajapinnasta tiedotetaan erikseen ja sen käyttöön tullaan tarjoamaan tarkempaa ohjeistusta ja tukipalveluja.
Kirjastoverkkopäivillä 2019 järjestetystä automaattisen sisällönkuvailun työpajasta on nyt julkaistu Tietolinja-lehdessä 2/2019 raportti, joka on luettavissa osoitteessa http://urn.fi/URN:NBN:fi-fe2019120445612.
Työpaja keskittyi eri tavoin tuotettujen kuvailujen laadun arviointiin. Kuvailuja oli tuotettu sekä ihmisvoimin että täysin koneellisesti tai koneen avustamana. Kuvaillut aineistot olivat mm. uutistekstejä, tietokirjoja ja pro gradu –tutkielmia. Automaattiset ja puoliautomaattiset kuvailut oli tuotettu Annif-työkalulla. Ihmisten tuottamat kuvailut arvioitiin laadukkaimmiksi kuin koneelliset; erot kuitenkin kaventuvat algoritmien kehittyessä ja koneelliset kuvailutkin menestyivät hyvin esim. gradujen kohdalla. Annifin käyttämistä algoritmeista parhaiten suoriutui muita algoritmeja yhdistelevä ensemble.
Työpajasta saatiin arvokasta palautetta Annifista ja automaattisesta kuvailusta, lämmin kiitos kaikille osallistujille!
Hei,
Järjestimme SWIB19 –konferenssissa työpajan, jossa esittelimme automaattisen asiasanoituksen työkalua Annifia ja sen käyttöä. Työpaja painottui harjoitusten tekemiseen, mutta sisälsi myös esittelyä ja luentomaisempia osuuksia. Harjoitusaineistoina työpajassa käytettiin englanninkielisiä graduja ja taloustieteen julkaisuja, joita analysoitiin Annifin tärkeimmillä algoritmeilla. Työpajan (englanninkieliset) materiaalit ovat nyt julkisesti saatavilla os. https://github.com/NatLibFi/Annif-tutorial - halukkaat ovat siis tervetulleita kokeilemaan harjoituksia ja opiskelemaan Annifin käyttöä itsenäisesti! Harjoitukset toimivat useimmilla käyttöjärjestelmillä koneella, jossa on vähintään 8 GB keskusmuistia (RAM) ja 20 GB vapaata levytilaa, tarkemmat asennusohjeet ovat ensimmäisessä tehtävässä.
Otamme myös mielellään vastaan palautetta tutoriaalista, tarkoituksenamme on mahdollisuuksien mukaan järjestää vastaava Suomessakin keväällä/kesällä 2020 (tiedot tarkentuvat myöhemmin). Voit ottaa yhteyttä allekirjoittaneisiin vaikka s-postilla (osoitteet muotoa etunimi.sukunimi(a)helsinki.fi).
Osma Suominen, Mona Lehtinen ja Juho Inkinen
Kansalliskirjaston Finto-palvelu on julkaissut uuden version Finto.fi:n taustaohjelmisto Skosmoksesta.
Skosmoksen uusi versio 2.2 tuo mukanaan uusia toiminnallisuuksia, parannuksia ohjelmiston suorituskykyyn, sekä korjauksia aiemmin havaittuihin virheisiin. Käyttäjille näkyvimpiä uudistuksia ovat
- sanaston sisällön kielen vaihtaminen erikielistä termiä klikkaamalla
- tuki sanaston MARCXML-lataukselle sanaston etusivulta ja rajapinnasta (vain MARC-tuetuille sanastoille)
- sanastojen välisten linkitysten tuen parantaminen
- parannettu tuki kymmenluokitusten hierarkkisen rakenteen esittämiselle
Skosmos 2.2 on saatavilla avoimena lähdekoodina MIT-lisenssillä.
Tarkemmat tiedot julkaisusta projektin ohjelmistojakelu-sivulta:
https://github.com/NatLibFi/Skosmos/releases/tag/v2.2
Projektin wikisivuilta löytyy ohjeet mm. asennukseen ja päivitykseen:
https://github.com/NatLibFi/Skosmos/wiki
Skosmos-ohjelmiston kehitys jatkuu 2.2:n jälkeen.
Uutta Skosmos-versiota koskevaa palautetta voi lähettää osoitteeseen finto-posti@helsinki.fi, ja aiheeseen liittyvään keskusteluun voi osallistua skosmos-users -listalla.
Automaattisen sisällönkuvailun työkalun Annifin uusin versio 0.44 on julkaistu. Tässä julkaisussa on mukana Maui Server -integraatio, joka korvaa aiemman Maui Servicen. Eval-komentoa on paranneltu lisäämällä F1@5 -metriikka (viiden parhaan ehdotuksen F1-pisteet). Tätä metriikkaa käytetään yleisesti eri algoritmien vertailussa. Julkaisu sisältää myös parannuksia nn_ensemble -algoritmiin ja joitain bugikorjauksia.
https://github.com/NatLibFi/Annif/releases/tag/v0.44.0
Automaattisesta asiasanoituksen ohjelmistosta Annifista on juuri julkaistu uusi päivitetty versio. (Annifiin voi tutustua osoitteessa http://www.annif.org)
Tässä päivityksessä on uutuutena mukana neuroverkkoihin perustuva, koulutettava algoritmi (nn_ensemble). Lisäksi versiossa on mukana oletusarvoiset asetukset eri algoritmeille, mikä helpottaa projektien kouluttamista. Päivitys sisältää myös joitain bugikorjauksia sekä mm. muistin käyttöön liittyviä optimointeja, jotka nopeuttavat käyttöä.
Lue lisää GitHubissa ()
Päivitys ei vielä vaikuta Annifin rajapintakäyttäjiin, mutta uusi versio tullaan ottamaan käyttöön myös rajapintapalvelussa loppuvuoden aikana.
Kirjastoverkkopäivät lähestyvät ja ilmoittautuminen on auki vielä 4.10. asti. Ohjelma ja ilmoittautuminen löytyvät osoitteesta https://www.kiwi.fi/x/soDoBw .
Automaattisesta kuvailusta kiinnostuneille voi suositella keskiviikon 23.10. rinnakkaisohjelmaa 3A Tekoäly ja automaattinen kuvailu, jossa käydään läpi mm. automaattisen kuvailun prosessien kehittämistä sekä automaattisen kuvailun työkalun Annifin käyttökokemuksia ja tulevaisuuden näkymiä. Torstaina 24.10. järjestetään myös työpaja Automaattinen kuvailu: Aaveita koneessa, jossa keskitytään kuvailun laatuun. Työpajan osallistujat pääsevät myös arvioimaan itse eri tavoin tuotettuja kuvailuja.
Finto-palvelu on saanut hiljattain teknistä vahvistusta riveihinsä, kun Mika Ahonen aloitti huhtikuun lopussa työt tietojärjestelmäasiantuntijana. Hän on valmistunut kauppatieteen kandidaatiksi Jyväskylän yliopistosta pääaineenaan tietojärjestelmätiede sekä on viimeistelemässä kognitiotieteen maisteriopintoja samassa opinahjossa, gradun aiheena HTI-analyysi älykkään teknologian kehittämisessä. Mikan mukanaolo mahdollistaa Fintolle entistä laajemman panostuksen tekniseen kehitystyöhön. Hän tulee työskentelemään mm. Skosmoksen teknisen kehityksen parissa. Tervetuloa tiimiin, Mika!
Finto-tiimin osaamista vahvistamaan haetaan
TIETOJÄRJESTELMÄASIANTUNTIJAA (Information Systems Specialist)
määräaikaiseen työsuhteeseen 31.12.2020 asti. 1.4.2019 alkaen tai sopimuksen mukaan. Työsuhde voi olla myös osa-aikainen.
Tietojärjestelmäasiantuntijana vastuullasi on Skosmoksen ja Finto.fi:n jatkokehittäminen osana Finto-tiimiä. Sinulta toivotaan ohjelmointiosaamista (käytämme mm. seuraavia: Python, Javascript, PHP, Java), Linux-osaamista sekä kokemusta REST-rajapinnoista. Linkitetyn datan tekniikoiden (RDF, SPARQL), Linux-palvelinylläpidon sekä ohjelmistotestauksen automatisoinnin tuntemus katsotaan eduksi.
Lisätietoa ja hakuohjeet: https://www.helsinki.fi/fi/avoimet-tyopaikat/tietojarjestelmaasiantuntija
Finto-tiimi on laatinut yhdessä sidosryhmien kanssa ontologioiden käyttöönotto-ohjeistuksen järjestelmäkehitystä varten. Finton ontologioita on viime aikoina otettu käyttöön laajalti erilaisissa järjestelmissä erilaisin teknisin ratkaisuin ja käyttöönottoja tulee varmasti jatkossa lisää. Ontologiat saadaan kattavasti, yhteentoimivasti ja käyttäjää parhaalla tavalla palvelevasti käyttöön, jos niihin kiinnitetään erityistä huomiota järjestelmien teknisessä toteutuksessa. Ohjeistuksen tarkoituksena on tuoda helpotusta ja lisätietoa käyttöönottoprosessiin. Sen kohdeyleisöä ovat erityisesti järjestelmien vaatimusmäärittelyn tekijät, organisaation kuvailuympäristöstä ja tiedonhakujärjestelmästä vastaavat sekä järjestelmien yhteentoimivuudesta vastaavat.
Ohjeistus löytyy Finton asiakaswikistä: https://www.kiwi.fi/x/uYNWBg
Tiedotetta ja linkkiä saa mielellään jakaa eteenpäin!
Yhteystiedot ja palaute: Marjut Puominen, marjut.puominen@hel.fi
