Blog

Kansallinen audiovisuaalinen instituutti KAVI on tutkinut Annifin käyttöä, ja Tommi Lehtosen ja Juha Piukkulan artikkeli aiheesta on juuri julkaistu Informaatiotutkimus-lehdessä (linkki pdf-versioon, viitetiedot alla). Julkaisussa käsitellään siis mielenkiintoista projektia, jossa Annifia on käytetty televisio-ohjelmien asiasanoittamiseen tekstitystietojen ja ohjelmakuvausten perusteella. Tulokset vaikuttavat lupaavilta ja yhteistyö KAVI:n ja Annif-tiimin välillä jatkuu!

Lehtonen, T., & Piukkula, J. (2020). Automaattinen asiasanoitus Radio- ja televisio-ohjelmatietokanta Ritvassa. Informaatiotutkimus, 39(1). https://doi.org/10.23978/inf.88107

Annifin rajapinta api.annif.org (ja sitä käyttävä lomake annif.org-sivulla) päivittyi 26.3.2020. Päivityksessä rajapinta siirtyi käyttämään YSO:n uusinta ns. jäädytettyä versiota (2020.1.Diotima), kuten myös uusinta versiota Annifista (0.46). Mukana on jälleen uudella ja laajemmalla Finna-pohjaisella aineistolla koulutetut mallit. Uutta on neuroverkkoihin pohjautuvan ensemble-algoritmin käyttöönotto (lisätietoja GitHubissa). Päivitys näkyy käyttäjille parempina asiasanaehdotuksina, sillä neuroverkkopohjaisella mallilla päästään yksinkertaista ensemble-mallia parempiin tuloksiin. 

Rajapinnan tarjonta

Annifin rajapinta tarjoaa useita projekteja, jotka tukevat tiettyä sanastoa ja kieltä. Projektivalikoima pysyi edellisen kaltaisena, tosin joidenkin muutosten kera. Tarjolla ovat siis nämä projektit:

  • yso-fi / yso-sv / yso-en: Yleisprojektit YSO:n käyttöön kolmella kielellä, nykyään neuroverkkopohjaisia ensemble-malleja
  • wikidata-en: Wikidata-aiheita englanninkielisen tekstin pohjalta ehdottava projekti
  • hogwarts: Tylypahkan tupia nimen perusteella ehdottava projekti


Tämä päivitys on jälleen askel lähemmäksi Annifin tuotantokäyttövalmiutta eli Finto AI-palvelua. Pyrimme julkaisemaan Finto AI:n tämän kevään aikana ja tiedotamme asiasta lisää myöhemmin.

Kansalliskirjaston Finto-palvelu on julkaissut uuden version Finto.fi:n taustaohjelmisto Skosmoksesta.

Skosmoksen uusi versio 2.4 tuo mukanaan uusia toiminnallisuuksia, laatuparannuksia, sekä korjauksia aiemmin havaittuihin virheisiin. Käyttäjille näkyvimpiä uudistuksia ovat

  • parannettu tuki luokitusten numeropohjaisille hauille (Kuva 1)
  • kymmenluokitusten aakkosellisen hakemiston luokkatarkenteet (Kuva 2)
  • mahdollisuus korvata ilmaisu "käytettävä termi" käsitenäkymässä sanastokohtaisesti määriteltävällä tarkemmalla ilmaisulla (sanaston tietomallista riippuen) (Kuva 3)


Kuva 1. Numerohaku palauttaa myös etsityllä numerolla alkavat luokkakoodit



Kuva 2. Kymmenluokitusten aakkosellisen hakemiston luokkanumerotarkenteet



Kuva 3. Suomalaisten yhteisönimien käsitesivu


Tarkemmat tiedot uudesta julkaisusta löydät Skosmoksen Github-sivulta:

https://github.com/NatLibFi/Skosmos/releases/tag/v2.4

Githubin wikistä löytyy ohjeet mm. asennukseen ja päivitykseen:

https://github.com/NatLibFi/Skosmos/wiki


Skosmos 2.4 on saatavilla avoimena lähdekoodina MIT-lisenssillä.

Uutta Skosmos-versiota koskevaa palautetta voi lähettää osoitteeseen finto-posti@helsinki.fi, ja aiheeseen liittyvään keskusteluun voi osallistua skosmos-users -listalla.


Skosmos-ohjelmiston kehitystä tehdään jatkossa kuukausittaisissa sprinteissä. Skosmoksen koko kehitysjonon ja aktiivisena olevien sprinttien kehitysjonon löydät täältä: https://github.com/NatLibFi/Skosmos/projects

Annif omissa käsissä -koulutuksen ajankohta on päätetty: 25.3.2020, klo. 12-16, paikkana Kansalliskirjasto, tarkemmin ottaen Fabianian auditorio, Yliopistonkatu 1. Ilmoittautuminen on nyt avattu osoitteessa https://elomake.helsinki.fi/lomakkeet/103951/lomake.html (ilmoittautumiset viimeistään 11.3., enintään 25 osallistujaa mahtuu mukaan). Tervetuloa!

Lisätietoja:

Annif on Kansalliskirjastossa kehitettävä automaattisen kuvailun työkalu. Se on vapaata lähdekoodia ja siihen voi tutustua mm. osoitteessa https://annif.org tai GitHubissa os. https://github.com/NatLibFi/Annif. Annifia voi käyttää rajapinnan yli tai omana asennuksena; tässä koulutuksessa siis keskitytään jälkimmäiseen eli tilanteeseen, jossa haluat tee se itse -hengessä asentaa Annifin omalle tietokoneellesi ja opettaa sen omalla sanastolla ja/tai koulutusaineistolla.

Järjestimme Annifin käyttöä käsittelevä työpajan ensimmäisen kerran SWIB19-konferenssin yhteydessä Hampurissa marraskuussa 2019 yhdessä Saksan taloustieteen kansalliskirjasto ZBW:n kanssa. 

Hyödynnämme tämän edellisen työpajan perusteella laadittua materiaalia, joka löytyy osoitteesta https://github.com/NatLibFi/Annif-tutorial. Materiaaliin voi tutustua jo nyt, mutta niihin voi vielä tulla pieniä muutoksia ennen työpajaa. 

Huom.! Työpajaa varten sinun tulisi pystyä asentamaan koneellesi VirtualBox tai Docker (em. asennukset vaativat järjestelmänvalvojan oikeudet). Vaihtoehtoisesti kokeneet Linux-käyttäjät voivat asentaa Annifin omalle koneelleen itse. Ennen koulutusta koita saada ensimmäinen tehtävä tehtyä jo valmiiksi https://github.com/NatLibFi/Annif-tutorial/blob/master/exercises/01_install_annif.md. Mikäli ongelmia tulee, avustamme mahdollisissa Annifin asennukseen liittyvissä pulmatilanteissa ennen varsinaisen työpajan alkua klo. 10-11. Otathan tässä tapauksessa yhteyttä järjestäjiin etukäteen.

Jos  et pääse tällä kertaa paikalle, materiaalit ovat jatkossakin saatavissa verkossa ja täydentyvät ehkäpä tulevaisuudessa vielä opetusvideoilla. Mikäli sinulla heräsi kysyttävää, voit ottaa yhteyttä allekirjoittaneisiin vaikka s-postilla (etunimi.sukunimi@helsinki.fi)

Tapaamisiin Annifin merkeissä!

Annif-tiimi: Osma Suominen, Juho Inkinen, Mona Lehtinen

Annif 0.46 julkaistu

Annif on päivittynyt versioon 0.46! Tämä päivitys vähentää muistin käyttöä koulutusvaiheessa. Lisäksi mallien uudelleenkoulutusta on helpotettu: edeltävää koulutuskierrosta varten kertaalleen käsitellyn datan uudelleenkäyttö on mahdollista komennolla train --cached. Annifin käyttämään sanastoon voi nyt myös tehdä päivityksiä ilman tarvetta uudelleenkouluttaa mallit sen jälkeen. Luokituksissa (esim. YKL) olevat notaatiokoodit sisällytetään nyt käsitteiden yhteyteen ja ne näkyvät Annfin tuloksissa. Päivitys sisältää myös muita viilauksia ja bugikorjauksia, lisätietoa os. https://github.com/NatLibFi/Annif/releases/tag/v0.46.0

Kansalliskirjaston Finto-palvelu on julkaissut uuden version Finto.fi:n taustaohjelmisto Skosmoksesta.

Skosmoksen uusi versio 2.3 tuo mukanaan uusia toiminnallisuuksia, parannuksia ohjelmiston suorituskykyyn, sekä korjauksia aiemmin havaittuihin virheisiin. Käyttäjille näkyvimpiä uudistuksia ovat

  • käsitesivun nopeampi latautuminen: perustiedot ja linkkien tiedot latautuvat toisistaan riippumatta
  • LCSH- ja Wikidata-linkitysten tiedot haetaan enstistä nopeammilla metodeilla
  • kopiointipainike luokitusten luokan numeron kopiointiin (luokan nimen sijasta)

Tarkemmat tiedot julkaisusta projektin ohjelmistojakelu-sivulta:

https://github.com/NatLibFi/Skosmos/releases/tag/v2.3

Projektin wikisivuilta löytyy ohjeet mm. asennukseen ja päivitykseen:

https://github.com/NatLibFi/Skosmos/wiki

Skosmos 2.3 on saatavilla avoimena lähdekoodina MIT-lisenssillä.

Uutta Skosmos-versiota koskevaa palautetta voi lähettää osoitteeseen finto-posti@helsinki.fi, ja aiheeseen liittyvään keskusteluun voi osallistua skosmos-users -listalla.


Skosmos-ohjelmiston kehitystä tehdään jatkossa kuukausittaisissa sprinteissä. Skosmoksen koko kehitysjonon ja aktiivisena olevien sprinttien kehitysjonon löydät täältä: https://github.com/NatLibFi/Skosmos/projects


Kiinnostaako automaattinen sisällönkuvailu? Haluaisitko kokeilla ja oppia käyttämään Annifia, automaattista asiasanoittajaa?

Annif on Kansalliskirjastossa kehitettävä automaattisen kuvailun työkalu. Se on vapaata lähdekoodia ja siihen voi tutustua mm. osoitteessa https://annif.org tai GitHubissa os. https://github.com/NatLibFi/Annif. Annifia voi käyttää rajapinnan yli tai omana asennuksena, tässä koulutuksessa keskitytään jälkimmäiseen eli tilanteeseen, jossa haluat tee se itse -hengessä asentaa Annifin omalle tietokoneellesi ja opettaa sen omalla sanastolla ja/tai koulutusaineistolla.

Järjestimme Annifin käyttöä käsittelevä työpajan ensimmäisen kerran SWIB19-seminaarin yhteydessä Hampurissa marraskuussa 2019. Mukana oli myös Saksan taloustieteen kansalliskirjasto ZBW. Seminaarin ohjelma on verkossa os. http://swib.org/swib19/. Nyt on aika kotiuttaa tämä koulutus Suomeenkin, tarkemmin ottaen omiin tiloihimme Kansalliskirjastossa. Tervetuloa siis Annif-työpajaan 2020!

Hyödynnämme edellisen työpajan perusteella laadittua materiaalia, joka löytyy osoitteesta https://github.com/NatLibFi/Annif-tutorial. Materiaaliin voi tutustua jo nyt, mutta niihin voi tulla muutoksia ennen työpajaa. Tarkempaa ohjeistusta käytännön järjestelyjen ja tehtävien suhteen on luvassa myöhemmin. Työpajan alustava ajankohta on maalis-huhtikuun vaihde 2020. Suunnittelemme työpajasta noin puolen työpäivän mittaista (n. klo. 12-16). Jos olet kiinnostunut tästä koulutuksesta, käy äänestämässä itsellesi sopivia ajankohtia* Doodlessa os. https://doodle.com/poll/8ph5e2beqk4qprmr. Äänestämällä et sitoudu osallistumaan. Varsinainen ilmoittautuminen järjestetään, kunhan päivämäärä saadaan lyötyä lukkoon. 

Avustamme mahdollisissa Annifin asennukseen liittyvissä pulmatilanteissa noin tuntia ennen varsinaisen työpajan alkua. Jos itsellesi sopivaa päivämäärää ei löydy - tai et muuten pääse tällä kertaa paikalle - materiaalit ovat jatkossakin saatavissa verkossa ja täydentyvät ehkäpä tulevaisuudessa vielä opetusvideoilla. Mikäli sinulla heräsi kysyttävää, voit ottaa yhteyttä allekirjoittaneisiin vaikka s-postilla (etunimi.sukunimi(a)helsinki.fi)

Tapaamisiin Annifin merkeissä!

Annif-tiimi: Osma Suominen, Juho Inkinen, Mona Lehtinen

* Päivämäärät yhdellä vilkaisulla:

25.3, 27.3, 1.4., 3.4., 7.4.



Finton tarjoamilla sanastoilla ja palveluilla on paljon käyttäjiä sekä kotimaassa että ulkomailla. Kukin organisaatio, järjestelmä ja palvelu hyödyntää Fintoa omalla tavallaan. Tähän mennessä käyttäjistä ja käyttötavoista on ollut esillä vain vähän tietoa verkossa. Korjaamme nyt tilannetta ja julkaisemme asiakaswikissämme sivun, jossa esitellään muutamia keskeisiä Finton sanastoja ja palveluja hyödyntäviä tahoja: valtioneuvoston ja usean ministeriön verkkosivut, Yle, suomi.fi, ministeriöiden yhteiset tietojärjestelmät, UNESCO, sveitsiläinen BARTOC-hanke sekä kotimainen museosektori. Käyttäjätarinat löytyvät täältä:
https://www.kiwi.fi/x/hgKEBw

Kunkin käyttäjätahon kohdalla on lyhyt kuvaus niistä käyttötapauksista, joissa Fintoa on heillä hyödynnetty. Lisäksi organisaatioiden edustajat kertovat omin sanoin, minkälaista apua he ovat Fintosta kokeneet saavansa. Kartutamme käyttäjäesittelyitä tulevaisuudessa tarpeen mukaan.

Haluatko kertoa meille, miten sinun organisaatiossasi hyödyntää Finton sanastoja tai palveluita? Olisimme erittäin kiitollisia käyttäjätarinoista! Otathan yhteyttä: finto-posti@helsinki.fi

Kiitos!


Api.annif.org on uudistunut 17.1.2020! Uudistus vaikuttaa myös osoitteessa annif.org olevaan testilomakkeeseen, joka käyttää rajapintaa. Tähän tiedotteeseen on koottu yhteenveto muutoksista rajapinnan nykyisille käyttäjille.

Uudet algoritmit ja opetusaineistot

Otimme testirajapintapalvelu api.annif.org:issa käyttöön uusimman Annif-ohjelmistoversion sekä sen mukana tuomia uusia algoritmeja, mm. omikuji-algoritmit, jotka on koulutettu paljon entistä laajemmilla opetusaineistoilla. Parannusten pitäisi ennen kaikkea näkyä entistä osuvampina asiasanaehdotuksina. 

Uudempi YSO, jossa mukana myös YSO-paikat

Uudistuksen myötä YSO päivitettiin uudempaan versioon 2019.3 Cicero. Lisäksi mukana ovat nyt myös YSO-paikat, joten Annifin rajapintapalvelu voi ehdottaa myös paikannimiä aiheiksi. 

Rajapinnan tarjoamat projektit

Annifin rajapinnassa on tarjolla useita projekteja, jotka tukevat tiettyä sanastoa ja kieltä. Projektivalikoima pysyi edellisen kaltaisena, tosin pienin muutoksin, koska joidenkin projektien tausta-algoritmit vaihtuivat. Tarjolla ovat tällä hetkellä nämä projektit:

  • yso-fi / yso-sv / yso-en: Yleisprojektit YSO:n käyttöön kolmella kielellä
  • wikidata-en: Wikidata-aiheita englanninkielisen tekstin pohjalta ehdottava projekti
  • hogwarts: Tylypahkan tupia nimen perusteella ehdottava projekti

Muutoksia rajapinnan metodinimissä

Annifin rajapinnan keskeisin metodi, jolle annetaan tekstiä ja joka ehdottaa aiheita, on alkuperäiseltä nimeltään “analyze”. Tämän nimen kuitenkin todettiin olevan harhaanjohtava ja nykyisin metodi tunnetaan nimellä “suggest”. Suosittelemme sovellusten siirtyvän käyttämään uutta metodinimeä. Vanhakin nimi kuitenkin toimii jatkossakin, vaikka sitä ei uudistuksen jälkeen enää mainita rajapinnan dokumentaatiossa.


Annif-prototyypin rajapinta v0 poistui käytöstä

Osoitteessa api.annif.org/v0/ on ollut jo vuoden 2017 keväästä asti tarjolla Annifin alkuperäisen prototyypin rajapinta, joka poistui käytöstä rajapintauudistuksen myötä.

HTTPS-protokolla tarjolla

Rajapinta api.annif.org toimii nyt HTTP-protokollan lisäksi myös suojatulla HTTPS-yhteydellä.

Tulevaisuuden näkymiä

Rajapintaan on suunniteltu lisättäväksi myös uusi learn-metodi, jota voidaan käyttää Annifin opettamiseen esimerkiksi sen jälkeen, kun kuvailija on tarkistanut Annifin ehdottamat aiheet ja korjaillut niitä. Tämän metodin käyttö testirajapinnassa ei tässä vaiheessa kuitenkaan ole sallittua, koska haluamme ensin selvittää huolellisesti, miten palautteesta oppiminen käytännössä vaikuttaa Annifin ehdotusten laatuun ja sitten päättää, miten laajaan käyttöön learn-metodi voidaan avata.

Seuraava YSO:n jäädytetty versio julkaistaan alkukeväästä 2020 ja Annifin rajapintapalvelukin siirtyy aikanaan käyttämään sitä. Tästä tiedotetaan erikseen.

Testirajapinnan uudistus on ensimmäinen askel kohti tavoitettamme tarjota tuotantokäyttöön soveltuva automaattisen sisällönkuvailun rajapinta Finton rajapinnan tämän kevään aikana. Tekniikaltaan uusi rajapinta tulee olemaan lähes identtinen api.annif.org-testirajapinnan kanssa, mutta se on tarkoitettu tuotantokäyttöön ja tarjolla on vain rajallinen joukko projekteja, ensi vaiheessa YSO:lle (kolmella kielellä) mutta tulevaisuudessa myös muille sanastoille. Uudesta rajapinnasta tiedotetaan erikseen ja sen käyttöön tullaan tarjoamaan tarkempaa ohjeistusta ja tukipalveluja.

Finto-palvelua on kehitetty Kansalliskirjastossa projektimuotoisesti vuodesta 2013 alkaen. Projektivaihe päättyi vuoden 2018 lopussa, jolloin Fintosta tuli osa Kansalliskirjaston tarjoamia pysyviä palveluita. 

Projektivaiheessa Finton kehittämistä rahoittivat Valtiovarainministeriö ja Opetus- ja kulttuuriministeriö. Pysyvän palvelun rahoitus tulee opetus ja kulttuuriministeriöltä ja sillä mahdollistetaan palvelu OKM:n hallinnonalan organisaatioille. Rahoitusmallin muuttuessa osa Finton palveluista joudutaan muuttamaan maksullisiksi OKM:n hallinnonalan ulkopuolisille organisaatioille.

Finto.fi:n selailu- ja rajapintakäyttö pysyvät kaikille maksuttomina jatkossakin. Maksullisuus koskee pääasiassa oman sanaston/ontologian julkaisua ja päivittämistä Finto.fi:ssä sekä oman sanaston kehittämiseen ja käyttöön liittyviä tukipalveluita.

Finto järjestää tammikuussa sidosryhmille keskustelutilaisuuden maksullisen palvelun mallista. Keskusteluja käydään myös organisaatiokohtaisesti tarpeen mukaan. Maksullisuus tulee voimaan vuoden 2020 aikana. 

Kansalliskirjasto odottaa luottavaisin mielin Finton ympärille muodostuneen laajan, hallinnon rajat ylittävän kumppanuusverkoston hyvin sujuneen yhteistyön jatkoa yhteentoimivuuden edistämiseksi myös tulevaisuudessa. 

Lisätietoa: Finton kehittämispäällikkö Mikko Lappalainen, etunimi.sukunimi@helsinki.fi

Finton asiakaswikissä on julkaistu Finto-palvelun kokouskalenteri. Siinä esitetään Finto-palvelun toimintaan sisältyvät säännöllisesti järjestettävät kokoukset. Näitä ovat Finton yhteistyöverkoston kokoukset (kaksi kertaa vuodessa), Ontologiakehittäjien yhteistyöryhmän kokoukset (kaksi kertaa vuodessa) sekä YSO-kokoukset (neljä kertaa vuodessa). Säännöllisten kokousten lisäksi voidaan järjestää lisäkokouksia tarpeen mukaan. Asiakaswikissä näkyvässä kaaviossa on esitetty myös suuntaa-antava arvio kokousten ajankohdista. Kokouskalenteri löytyy täältä:

https://www.kiwi.fi/display/Finto/Finto-palvelun+kokouskalenteri

Lisätietoa kokouksista ja kokouskalenterista: finto-posti@helsinki.fi

Annif 0.45 julkaistu

Automaattinen asiasanoittaja Annif on päivittynyt! Tässä julkaisussa on uututena mukana Omikuji, joka tukee useita viime aikoina kehitettyjä ns. äärimmäiseen moniluokkaiseen luokitteluun (extreme multilabel classification) suunniteltuja koneoppimisalgoritmeja. Omikuji-algoritmeilla saadut testitulokset ovat ollet erittäin hyviä, ja aiomme panostaa niihin jatkossa. Vw-ensemble puolestaan on poistettu algoritmien joukosta, sillä nn-ensemblen toiminnallisuudet ovat samankaltaiset ja tulokset paremmat. `Train` ja `learn` -komentojen yhteydessä voi nyt myös uudelleenmääritellä .cfg-tiedostossa käytettyjä parametreja  (`--backend-param/-p`). Julkaisussa on mukana myös Python 3.8 -tuki (nn_ensembleä lukuunottamatta), sekä yleisiä parannuksia ja bugikorjauksia. Ks. tarkemmmat tiedot: https://github.com/NatLibFi/Annif/releases/tag/v0.45.0

Api.annif.org uudistuu tammikuussa 2020! Tavoitteenamme on ottaa käyttöön uudistettu rajapinta keskiviikkona 15.1.2020. Tähän tiedotteeseen on koottu yhteenveto odotettavissa olevista muutoksista rajapinnan nykyisille käyttäjille. Tiedotamme lisää, kun muutos on tehty.

Uudet algoritmit ja opetusaineistot

Annifia on aktiivisesti kehitetty vuoden 2019 aikana, mutta testirajapintapalvelu api.annif.org on pysynyt pitkään muuttumattomana. Nyt otamme käyttöön uusimman Annif-ohjelmistoversion sekä sen mukana tuomia uusia algoritmeja, jotka on koulutettu paljon entistä laajemmilla opetusaineistoilla. Parannusten pitäisi ennen kaikkea näkyä entistä osuvampina asiasanaehdotuksina. 

Uudempi YSO, jossa mukana myös YSO-paikat

Nykyinen api.annif.org-rajapintapalvelu käyttää Yleisen suomalaisen ontologian versiota 2018.3 Boëthius, joka on jo lähes kaksi vuotta vanha. Uudistuksen myötä YSO päivitetään uudempaan versioon 2019.3 Cicero. Lisäksi mukana ovat nyt myös YSO-paikat, joten Annifin rajapintapalvelu voi jatkossa ehdottaa myös paikannimiä aiheiksi.

Seuraava YSO:n jäädytetty versio julkaistaan alkukeväästä 2020 ja Annifin rajapintapalvelu siirtyy aikanaan käyttämään sitä. Tästä tiedotetaan erikseen.

Rajapinnan tarjoamat projektit

Annifin rajapinnassa on tarjolla useita projekteja, jotka tukevat tiettyä sanastoa ja kieltä. Projektivalikoima pysyy nykyisen kaltaisena, mutta pieniä muutoksia on odotettavissa, koska joidenkin projektien tausta-algoritmit vaihtuvat. Tarjolla on jatkossakin ainakin nämä projektit:

  • yso-fi / yso-sv / yso-en: Yleisprojektit YSO:n käyttöön kolmella kielellä
  • wikidata-en: Wikidata-aiheita englanninkielisen tekstin pohjalta ehdottava projekti
  • hogwarts: Tylypahkan tupia nimen perusteella ehdottava projekti

Muutoksia rajapinnan metodinimissä

Annifin rajapinnan keskeisin metodi, jolle annetaan tekstiä ja joka ehdottaa aiheita, on alkuperäiseltä nimeltään “analyze”. Tämän metodin nimi kuitenkin todettiin harhaanjohtavaksi ja nykyisin se tunnetaan nimellä “suggest”. Suosittelemme, että sovellukset siirtyvät käyttämään uutta metodinimeä, joka toimii jo nyt. Vanhakin nimi kuitenkin toimii jatkossakin, vaikka sitä ei uudistuksen jälkeen enää mainita rajapinnan dokumentaatiossa.

Rajapintaan tulee myös uusi learn-metodi, jota voidaan käyttää Annifin opettamiseen esimerkiksi sen jälkeen, kun kuvailija on tarkistanut Annifin ehdottamat aiheet ja korjaillut niitä. Tämän metodin käyttö testirajapinnassa ei tässä vaiheessa kuitenkaan ole sallittua, koska haluamme ensin selvittää huolellisesti, miten palautteesta oppiminen käytännössä vaikuttaa Annifin ehdotusten laatuun ja sitten päättää, miten laajaan käyttöön learn-metodi voidaan avata.

Annif-prototyypin rajapinta v0 poistuu käytöstä

Osoitteessa api.annif.org/v0/ on ollut jo vuoden 2017 keväästä asti tarjolla Annifin alkuperäisen prototyypin rajapinta. Se poistuu käytöstä rajapintauudistuksen myötä.

Suojattu HTTPS-yhteys tulossa

Testirajapinta api.annif.org ei vielä ole käytettävissä suojatun HTTPS-yhteyden yli. Pyrimme mahdollistamaan HTTPS-käytön mahdollisimman pian, mutta tähän uudistukseen se ei vielä välttämättä ehdi.

Kohti tuotantokäyttöön soveltuvaa rajapintaa

Testirajapinnan uudistus on ensimmäinen askel kohti tavoitettamme tarjota tuotantokäyttöön soveltuva automaattisen sisällönkuvailun rajapinta Finton rajapinnan yhteyteen vuoden 2020 kevääseen mennessä. Tekniikaltaan uusi rajapinta tulee olemaan lähes identtinen api.annif.org-testirajapinnan kanssa, mutta se on tarkoitettu tuotantokäyttöön ja tarjolla on vain rajallinen joukko projekteja, ensi vaiheessa YSO:lle (kolmella kielellä) mutta tulevaisuudessa myös muille sanastoille. Uudesta rajapinnasta tiedotetaan erikseen ja sen käyttöön tullaan tarjoamaan tarkempaa ohjeistusta ja tukipalveluja.


Kirjastoverkkopäivillä 2019 järjestetystä automaattisen sisällönkuvailun työpajasta on nyt julkaistu Tietolinja-lehdessä 2/2019 raportti, joka on luettavissa osoitteessa http://urn.fi/URN:NBN:fi-fe2019120445612.

Työpaja keskittyi eri tavoin tuotettujen kuvailujen laadun arviointiin. Kuvailuja oli tuotettu sekä ihmisvoimin että täysin koneellisesti tai koneen avustamana. Kuvaillut aineistot olivat mm. uutistekstejä, tietokirjoja ja pro gradu –tutkielmia. Automaattiset ja puoliautomaattiset kuvailut oli tuotettu Annif-työkalulla. Ihmisten tuottamat kuvailut arvioitiin laadukkaimmiksi kuin koneelliset; erot kuitenkin kaventuvat algoritmien kehittyessä ja koneelliset kuvailutkin menestyivät hyvin esim. gradujen kohdalla. Annifin käyttämistä algoritmeista parhaiten suoriutui muita algoritmeja yhdistelevä ensemble.

Työpajasta saatiin arvokasta palautetta Annifista ja automaattisesta kuvailusta, lämmin kiitos kaikille osallistujille!


Annif-tutoriaali

Hei,

Järjestimme SWIB19 –konferenssissa työpajan, jossa esittelimme automaattisen asiasanoituksen työkalua Annifia ja sen käyttöä. Työpaja painottui harjoitusten tekemiseen, mutta sisälsi myös esittelyä ja luentomaisempia osuuksia. Harjoitusaineistoina työpajassa käytettiin englanninkielisiä graduja ja taloustieteen julkaisuja, joita analysoitiin Annifin tärkeimmillä algoritmeilla. Työpajan (englanninkieliset) materiaalit ovat nyt julkisesti saatavilla os. https://github.com/NatLibFi/Annif-tutorial - halukkaat ovat siis tervetulleita kokeilemaan harjoituksia ja opiskelemaan Annifin käyttöä itsenäisesti! Harjoitukset toimivat useimmilla käyttöjärjestelmillä koneella, jossa on vähintään 8 GB keskusmuistia (RAM) ja 20 GB vapaata levytilaa, tarkemmat asennusohjeet ovat ensimmäisessä tehtävässä.

Otamme myös mielellään vastaan palautetta tutoriaalista, tarkoituksenamme on mahdollisuuksien mukaan järjestää vastaava Suomessakin keväällä/kesällä 2020 (tiedot tarkentuvat myöhemmin). Voit ottaa yhteyttä allekirjoittaneisiin vaikka s-postilla (osoitteet muotoa etunimi.sukunimi(a)helsinki.fi).


Osma Suominen, Mona Lehtinen ja Juho Inkinen