Blog from February, 2020

Annif omissa käsissä -koulutuksen ajankohta on päätetty: 25.3.2020, klo. 12-16, paikkana Kansalliskirjasto, tarkemmin ottaen Fabianian auditorio, Yliopistonkatu 1. Ilmoittautuminen on nyt avattu osoitteessa https://elomake.helsinki.fi/lomakkeet/103951/lomake.html (ilmoittautumiset viimeistään 11.3., enintään 25 osallistujaa mahtuu mukaan). Tervetuloa!

Lisätietoja:

Annif on Kansalliskirjastossa kehitettävä automaattisen kuvailun työkalu. Se on vapaata lähdekoodia ja siihen voi tutustua mm. osoitteessa https://annif.org tai GitHubissa os. https://github.com/NatLibFi/Annif. Annifia voi käyttää rajapinnan yli tai omana asennuksena; tässä koulutuksessa siis keskitytään jälkimmäiseen eli tilanteeseen, jossa haluat tee se itse -hengessä asentaa Annifin omalle tietokoneellesi ja opettaa sen omalla sanastolla ja/tai koulutusaineistolla.

Järjestimme Annifin käyttöä käsittelevä työpajan ensimmäisen kerran SWIB19-konferenssin yhteydessä Hampurissa marraskuussa 2019 yhdessä Saksan taloustieteen kansalliskirjasto ZBW:n kanssa. 

Hyödynnämme tämän edellisen työpajan perusteella laadittua materiaalia, joka löytyy osoitteesta https://github.com/NatLibFi/Annif-tutorial. Materiaaliin voi tutustua jo nyt, mutta niihin voi vielä tulla pieniä muutoksia ennen työpajaa. 

Huom.! Työpajaa varten sinun tulisi pystyä asentamaan koneellesi VirtualBox tai Docker (em. asennukset vaativat järjestelmänvalvojan oikeudet). Vaihtoehtoisesti kokeneet Linux-käyttäjät voivat asentaa Annifin omalle koneelleen itse. Ennen koulutusta koita saada ensimmäinen tehtävä tehtyä jo valmiiksi https://github.com/NatLibFi/Annif-tutorial/blob/master/exercises/01_install_annif.md. Mikäli ongelmia tulee, avustamme mahdollisissa Annifin asennukseen liittyvissä pulmatilanteissa ennen varsinaisen työpajan alkua klo. 10-11. Otathan tässä tapauksessa yhteyttä järjestäjiin etukäteen.

Jos  et pääse tällä kertaa paikalle, materiaalit ovat jatkossakin saatavissa verkossa ja täydentyvät ehkäpä tulevaisuudessa vielä opetusvideoilla. Mikäli sinulla heräsi kysyttävää, voit ottaa yhteyttä allekirjoittaneisiin vaikka s-postilla ([email protected])

Tapaamisiin Annifin merkeissä!

Annif-tiimi: Osma Suominen, Juho Inkinen, Mona Lehtinen

Yleisestä suomalaisesta ontologiasta (YSO) on julkaistu uusi jäädytetty versio: 2020.1.Diotima. Se on erityisesti erikoisontologioiden kehittäjille suunnattu versio YSOsta, johon ei päivitetä finto.fi:n YSO-julkaisuversiossa näkyviä jatkuvia muutoksia. 2020.1.Diotima on optimoitu TopBraid Composer -editointityökalulla tapahtuvaa ontologiatyötä ajatellen ja poikkeaa tietomalliltaan joiltain osin YSOn julkaisuversiosta. Edellinen jäädytetty versio 2019.3.Cicero julkaistiin maaliskuussa 2019. 2020.1.Diotima vastaa YSOn tilaa 19.2.2020 ja löytyy alla olevasta linkistä:

https://github.com/NatLibFi/Finto-data/tree/master/vocabularies/yso/releases/2020.1.Diotima

Diotima sisältää nämä edellisestä jäädytetystä YSO-versiosta (2019.3.Cicero) puuttuvat lisäykset ja uudistukset:

  • Kaikki vuoden 2019 YSA- ja YSO-kokouksissa päätetyt uudet käsitteet sekä käsitteiden muutokset
  • Kaikkien YSA-käsitteiden luontipäivätiedot lisättynä vastaavien YSO-käsitteiden tietoihin

Alla olevasta taulukkolinkistä (xlsx) löytyvät listattuna erillisiin välilehtiin YSOn Cicero-versioon verrattuna tapahtuneet käytettävien termien muutokset kaikilla kolmella kielellä, uudet käsitteet sekä käytöstä poistetut käsitteet:

YSO-muuttuneet-Diotima.xlsx

Uusi YSO-versio on nimetty kreikkalaisen filosofin Diotiman mukaan. Diotima oli antiikin Kreikan ensimmäisiä nimeltä tunnettuja naispuolisia filosofeja. Tärkein hänestä säilynyt tietolähde on Platonin Pidot, jossa esitetään hänen ajatuksiaan rakkaudesta. Diotiman mukaan korkeimmat rakkauden asteet ovat rakkaus tietoa kohtaan ja kaikkein korkeimpana rakkaus rakkautta itseään kohtaan.

Lisätietoja tästä versiosta: [email protected]

Alkuperäisen blogitekstin lisännyt Tuomas Palonen, viimeksi muokattu maaliskuuta 26, 2020



Annif 0.46 julkaistu

Annif on päivittynyt versioon 0.46! Tämä päivitys vähentää muistin käyttöä koulutusvaiheessa. Lisäksi mallien uudelleenkoulutusta on helpotettu: edeltävää koulutuskierrosta varten kertaalleen käsitellyn datan uudelleenkäyttö on mahdollista komennolla train --cached. Annifin käyttämään sanastoon voi nyt myös tehdä päivityksiä ilman tarvetta uudelleenkouluttaa mallit sen jälkeen. Luokituksissa (esim. YKL) olevat notaatiokoodit sisällytetään nyt käsitteiden yhteyteen ja ne näkyvät Annfin tuloksissa. Päivitys sisältää myös muita viilauksia ja bugikorjauksia, lisätietoa os. https://github.com/NatLibFi/Annif/releases/tag/v0.46.0

Kansalliskirjaston Finto-palvelu on julkaissut uuden version Finto.fi:n taustaohjelmisto Skosmoksesta.

Skosmoksen uusi versio 2.3 tuo mukanaan uusia toiminnallisuuksia, parannuksia ohjelmiston suorituskykyyn, sekä korjauksia aiemmin havaittuihin virheisiin. Käyttäjille näkyvimpiä uudistuksia ovat

  • käsitesivun nopeampi latautuminen: perustiedot ja linkkien tiedot latautuvat toisistaan riippumatta
  • LCSH- ja Wikidata-linkitysten tiedot haetaan enstistä nopeammilla metodeilla
  • kopiointipainike luokitusten luokan numeron kopiointiin (luokan nimen sijasta)

Tarkemmat tiedot julkaisusta projektin ohjelmistojakelu-sivulta:

https://github.com/NatLibFi/Skosmos/releases/tag/v2.3

Projektin wikisivuilta löytyy ohjeet mm. asennukseen ja päivitykseen:

https://github.com/NatLibFi/Skosmos/wiki

Skosmos 2.3 on saatavilla avoimena lähdekoodina MIT-lisenssillä.

Uutta Skosmos-versiota koskevaa palautetta voi lähettää osoitteeseen [email protected], ja aiheeseen liittyvään keskusteluun voi osallistua skosmos-users -listalla.


Skosmos-ohjelmiston kehitystä tehdään jatkossa kuukausittaisissa sprinteissä. Skosmoksen koko kehitysjonon ja aktiivisena olevien sprinttien kehitysjonon löydät täältä: https://github.com/NatLibFi/Skosmos/projects


Kiinnostaako automaattinen sisällönkuvailu? Haluaisitko kokeilla ja oppia käyttämään Annifia, automaattista asiasanoittajaa?

Annif on Kansalliskirjastossa kehitettävä automaattisen kuvailun työkalu. Se on vapaata lähdekoodia ja siihen voi tutustua mm. osoitteessa https://annif.org tai GitHubissa os. https://github.com/NatLibFi/Annif. Annifia voi käyttää rajapinnan yli tai omana asennuksena, tässä koulutuksessa keskitytään jälkimmäiseen eli tilanteeseen, jossa haluat tee se itse -hengessä asentaa Annifin omalle tietokoneellesi ja opettaa sen omalla sanastolla ja/tai koulutusaineistolla.

Järjestimme Annifin käyttöä käsittelevä työpajan ensimmäisen kerran SWIB19-seminaarin yhteydessä Hampurissa marraskuussa 2019. Mukana oli myös Saksan taloustieteen kansalliskirjasto ZBW. Seminaarin ohjelma on verkossa os. http://swib.org/swib19/. Nyt on aika kotiuttaa tämä koulutus Suomeenkin, tarkemmin ottaen omiin tiloihimme Kansalliskirjastossa. Tervetuloa siis Annif-työpajaan 2020!

Hyödynnämme edellisen työpajan perusteella laadittua materiaalia, joka löytyy osoitteesta https://github.com/NatLibFi/Annif-tutorial. Materiaaliin voi tutustua jo nyt, mutta niihin voi tulla muutoksia ennen työpajaa. Tarkempaa ohjeistusta käytännön järjestelyjen ja tehtävien suhteen on luvassa myöhemmin. Työpajan alustava ajankohta on maalis-huhtikuun vaihde 2020. Suunnittelemme työpajasta noin puolen työpäivän mittaista (n. klo. 12-16). Jos olet kiinnostunut tästä koulutuksesta, käy äänestämässä itsellesi sopivia ajankohtia* Doodlessa os. https://doodle.com/poll/8ph5e2beqk4qprmr. Äänestämällä et sitoudu osallistumaan. Varsinainen ilmoittautuminen järjestetään, kunhan päivämäärä saadaan lyötyä lukkoon. 

Avustamme mahdollisissa Annifin asennukseen liittyvissä pulmatilanteissa noin tuntia ennen varsinaisen työpajan alkua. Jos itsellesi sopivaa päivämäärää ei löydy - tai et muuten pääse tällä kertaa paikalle - materiaalit ovat jatkossakin saatavissa verkossa ja täydentyvät ehkäpä tulevaisuudessa vielä opetusvideoilla. Mikäli sinulla heräsi kysyttävää, voit ottaa yhteyttä allekirjoittaneisiin vaikka s-postilla (etunimi.sukunimi(a)helsinki.fi)

Tapaamisiin Annifin merkeissä!

Annif-tiimi: Osma Suominen, Juho Inkinen, Mona Lehtinen

* Päivämäärät yhdellä vilkaisulla:

25.3, 27.3, 1.4., 3.4., 7.4.



YSAn maantieteellisiä käsitteitä on rikastettu Maanmittauslaitoksen Paikannimirekisterin tiedoilla. Paikannimirekisteri on noin 800 000 käsitteen nykyisiin suomalaisiin paikkoihin keskittynyt tietolähde, jota hyödynnetään usean verkkopalvelun taustalla. 

YSAan on lisätty PNR:n pohjalta käsitteiden välisiä suhteita sekä tyyppitietoja (onko paikka esim. järvi, kylä vaiko kunta). Lisäksi YSAn käsitteisiin on lisätty linkki vastaavaan PNR-käsitteeseen, jonka avulla paikalle saadaan tarvittaessa tarkat sijaintitiedot. Sijaintitietoja voidaan hyödyntää esimerkiksi Finnan kaltaisissa tiedonhakujärjestelmissä.

Paikkojen rikastus pohjautuu YSAn paikannimissä havaittuihin kehittämistarpeisiin, joita koskeva raportti on luettavissa Doriassa: http://urn.fi/URN:ISBN:978-951-51-1870-7

YSAn maantieteellisiä käsitteitä on noin 6500. Tässä vaiheessa paikkarikastus koskee noin 65%:a näistä paikoista, keskittyen nykyisiin suomalaisiin paikkoihin. Historiallisille ja Suomen ulkopuolisille paikoille tehtävä vastaava uudistus on vasta suunnitteilla. 

Rikastetut maantieteelliset käsitteet tullaan julkaisemaan lähitulevaisuudessa Fintossa omana YSO-paikat -sanastonaan, jota voidaan käyttää YSOn rinnalla tai omana itsenäisenä sanastonaan.

Paikkakäsitteiden luonnin periaatteet ja MARC21-formaattia koskevat auktoriteettitietueohjeet: https://www.kiwi.fi/x/SIcdCw (YSAn maantieteelliset käsitteet)

Lisätietoja: [email protected]

YSAn käsite "Helsinki" ennen rikastusta

YSAn käsite "Helsinki" rikastuksen jälkeen

YSAn käsite "Ahvenanmaa" ennen rikastusta

YSAn käsite "Ahvenanmaa" rikastuksen jälkeen


Alkuperäisen blogitekstin lisännyt Mikko Lappalainen, viimeksi muokattu helmikuuta 06, 2017






Finton tarjoamilla sanastoilla ja palveluilla on paljon käyttäjiä sekä kotimaassa että ulkomailla. Kukin organisaatio, järjestelmä ja palvelu hyödyntää Fintoa omalla tavallaan. Tähän mennessä käyttäjistä ja käyttötavoista on ollut esillä vain vähän tietoa verkossa. Korjaamme nyt tilannetta ja julkaisemme asiakaswikissämme sivun, jossa esitellään muutamia keskeisiä Finton sanastoja ja palveluja hyödyntäviä tahoja: valtioneuvoston ja usean ministeriön verkkosivut, Yle, suomi.fi, ministeriöiden yhteiset tietojärjestelmät, UNESCO, sveitsiläinen BARTOC-hanke sekä kotimainen museosektori. Käyttäjätarinat löytyvät täältä:
https://www.kiwi.fi/x/hgKEBw

Kunkin käyttäjätahon kohdalla on lyhyt kuvaus niistä käyttötapauksista, joissa Fintoa on heillä hyödynnetty. Lisäksi organisaatioiden edustajat kertovat omin sanoin, minkälaista apua he ovat Fintosta kokeneet saavansa. Kartutamme käyttäjäesittelyitä tulevaisuudessa tarpeen mukaan.

Haluatko kertoa meille, miten sinun organisaatiossasi hyödyntää Finton sanastoja tai palveluita? Olisimme erittäin kiitollisia käyttäjätarinoista! Otathan yhteyttä: [email protected]

Kiitos!