Blog

Hei,

Järjestimme SWIB19 –konferenssissa työpajan, jossa esittelimme automaattisen asiasanoituksen työkalua Annifia ja sen käyttöä. Työpaja painottui harjoitusten tekemiseen, mutta sisälsi myös esittelyä ja luentomaisempia osuuksia. Harjoitusaineistoina työpajassa käytettiin englanninkielisiä graduja ja taloustieteen julkaisuja, joita analysoitiin Annifin tärkeimmillä algoritmeilla. Työpajan (englanninkieliset) materiaalit ovat nyt julkisesti saatavilla os. https://github.com/NatLibFi/Annif-tutorial - halukkaat ovat siis tervetulleita kokeilemaan harjoituksia ja opiskelemaan Annifin käyttöä itsenäisesti! Harjoitukset toimivat useimmilla käyttöjärjestelmillä koneella, jossa on vähintään 8 GB keskusmuistia (RAM) ja 20 GB vapaata levytilaa, tarkemmat asennusohjeet ovat ensimmäisessä tehtävässä.

Otamme myös mielellään vastaan palautetta tutoriaalista, tarkoituksenamme on mahdollisuuksien mukaan järjestää vastaava Suomessakin keväällä/kesällä 2020 (tiedot tarkentuvat myöhemmin). Voit ottaa yhteyttä allekirjoittaneisiin vaikka s-postilla (osoitteet muotoa etunimi.sukunimi(a)helsinki.fi).

Osma Suominen, Mona Lehtinen ja Juho Inkinen

Kansalliskirjaston Finto-palvelu on julkaissut uuden version Finto.fi:n taustaohjelmisto Skosmoksesta.

Skosmoksen uusi versio 2.2 tuo mukanaan uusia toiminnallisuuksia, parannuksia ohjelmiston suorituskykyyn, sekä korjauksia aiemmin havaittuihin virheisiin. Käyttäjille näkyvimpiä uudistuksia ovat

• sanaston sisällön kielen vaihtaminen erikielistä termiä klikkaamalla
• tuki sanaston MARCXML-lataukselle sanaston etusivulta ja rajapinnasta (vain MARC-tuetuille sanastoille)
• sanastojen välisten linkitysten tuen parantaminen
• parannettu tuki kymmenluokitusten hierarkkisen rakenteen esittämiselle

Skosmos 2.2 on saatavilla avoimena lähdekoodina MIT-lisenssillä.

Tarkemmat tiedot julkaisusta projektin ohjelmistojakelu-sivulta:

https://github.com/NatLibFi/Skosmos/releases/tag/v2.2

Projektin wikisivuilta löytyy ohjeet mm. asennukseen ja päivitykseen:

https://github.com/NatLibFi/Skosmos/wiki

Skosmos-ohjelmiston kehitys jatkuu 2.2:n jälkeen.

Uutta Skosmos-versiota koskevaa palautetta voi lähettää osoitteeseen finto-posti@helsinki.fi, ja aiheeseen liittyvään keskusteluun voi osallistua skosmos-users -listalla.

Automaattisen sisällönkuvailun työkalun Annifin uusin versio 0.44 on julkaistu. Tässä julkaisussa on mukana Maui Server -integraatio, joka korvaa aiemman Maui Servicen. Eval-komentoa on paranneltu lisäämällä F1@5 -metriikka (viiden parhaan ehdotuksen F1-pisteet). Tätä metriikkaa käytetään yleisesti eri algoritmien vertailussa. Julkaisu sisältää myös parannuksia nn_ensemble -algoritmiin ja joitain bugikorjauksia.

https://github.com/NatLibFi/Annif/releases/tag/v0.44.0

Automaattisesta asiasanoituksen ohjelmistosta Annifista on juuri julkaistu uusi päivitetty versio. (Annifiin voi tutustua osoitteessa http://www.annif.org)

Tässä päivityksessä on uutuutena mukana neuroverkkoihin perustuva, koulutettava algoritmi (nn_ensemble). Lisäksi versiossa on mukana oletusarvoiset asetukset eri algoritmeille, mikä helpottaa projektien kouluttamista. Päivitys sisältää myös joitain bugikorjauksia sekä mm. muistin käyttöön liittyviä optimointeja, jotka nopeuttavat käyttöä.

Lue lisää GitHubissa (https://github.com/NatLibFi/Annif/releases/tag/v0.43.0)

Päivitys ei vielä vaikuta Annifin rajapintakäyttäjiin, mutta uusi versio tullaan ottamaan käyttöön myös rajapintapalvelussa loppuvuoden aikana.

Kirjastoverkkopäivät lähestyvät ja ilmoittautuminen on auki vielä 4.10. asti. Ohjelma ja ilmoittautuminen löytyvät osoitteesta https://www.kiwi.fi/x/soDoBw .

Automaattisesta kuvailusta kiinnostuneille voi suositella keskiviikon 23.10. rinnakkaisohjelmaa 3A Tekoäly ja automaattinen kuvailu, jossa käydään läpi mm. automaattisen kuvailun prosessien kehittämistä sekä automaattisen kuvailun työkalun Annifin käyttökokemuksia ja tulevaisuuden näkymiä. Torstaina 24.10. järjestetään myös työpaja Automaattinen kuvailu: Aaveita koneessa, jossa keskitytään kuvailun laatuun. Työpajan osallistujat pääsevät myös arvioimaan itse eri tavoin tuotettuja kuvailuja.

Finto-palvelu on saanut hiljattain teknistä vahvistusta riveihinsä, kun Mika Ahonen aloitti huhtikuun lopussa työt tietojärjestelmäasiantuntijana. Hän on valmistunut kauppatieteen kandidaatiksi Jyväskylän yliopistosta pääaineenaan tietojärjestelmätiede sekä on viimeistelemässä kognitiotieteen maisteriopintoja samassa opinahjossa, gradun aiheena HTI-analyysi älykkään teknologian kehittämisessä. Mikan mukanaolo mahdollistaa Fintolle entistä laajemman panostuksen tekniseen kehitystyöhön. Hän tulee työskentelemään mm. Skosmoksen teknisen kehityksen parissa. Tervetuloa tiimiin, Mika!

Finto-tiimin osaamista vahvistamaan haetaan

TIETOJÄRJESTELMÄASIANTUNTIJAA (Information Systems Specialist)

määräaikaiseen työsuhteeseen 31.12.2020 asti. 1.4.2019 alkaen tai sopimuksen mukaan. Työsuhde voi olla myös osa-aikainen.

Tietojärjestelmäasiantuntijana vastuullasi on Skosmoksen ja Finto.fi:n jatkokehittäminen osana Finto-tiimiä. Sinulta toivotaan ohjelmointiosaamista (käytämme mm. seuraavia: Python, Javascript, PHP, Java), Linux-osaamista sekä kokemusta REST-rajapinnoista. Linkitetyn datan tekniikoiden (RDF, SPARQL), Linux-palvelinylläpidon sekä ohjelmistotestauksen automatisoinnin tuntemus katsotaan eduksi.

Lisätietoa ja hakuohjeet: https://www.helsinki.fi/fi/avoimet-tyopaikat/tietojarjestelmaasiantuntija

Finto-tiimi on laatinut yhdessä sidosryhmien kanssa ontologioiden käyttöönotto-ohjeistuksen järjestelmäkehitystä varten. Finton ontologioita on viime aikoina otettu käyttöön laajalti erilaisissa järjestelmissä erilaisin teknisin ratkaisuin ja käyttöönottoja tulee varmasti jatkossa lisää. Ontologiat saadaan kattavasti, yhteentoimivasti ja käyttäjää parhaalla tavalla palvelevasti käyttöön, jos niihin kiinnitetään erityistä huomiota järjestelmien teknisessä toteutuksessa. Ohjeistuksen tarkoituksena on tuoda helpotusta ja lisätietoa käyttöönottoprosessiin. Sen kohdeyleisöä ovat erityisesti järjestelmien vaatimusmäärittelyn tekijät, organisaation kuvailuympäristöstä ja tiedonhakujärjestelmästä vastaavat sekä järjestelmien yhteentoimivuudesta vastaavat.

Ohjeistus löytyy Finton asiakaswikistä: https://www.kiwi.fi/x/uYNWBg

Tiedotetta ja linkkiä saa mielellään jakaa eteenpäin!

Skosmos on avoimeen lähdekoodiin perustuva sanastojen käyttö- ja julkaisualusta, joka toimii Finton taustaohjelmistona. Skosmos mahdollistaa SKOS-tietomalliin pohjautuvien tietoresurssien julkaisun, ja niiden integroinnin muihin järjestelmiin rajanpintojen avulla. Skosmosta kehitetään Kansalliskirjaston Finto-tiimissä yhteistyössä aktiivisen kansainvälisen kehittäjäyhteisön kanssa. Skosmos ja Finton pilottiversio otettiin käyttöön vuonna 2014, helmikuussa 2015 julkaistiin Skosmoksen 1.0-versio.

Skosmosta hyödynnetään Finton lisäksi monissa muissa palveluissa maailmanlaajuisesti. Esimerkiksi YK:n elintarvike- ja maatalousjärjestö FAO julkaisi Agrovoc-tesauruksensa organisaation omalla Skosmos-alustalla jo 2015. Varhaisiin hyödyntäjiin lukeutuu myös Yhdistyneiden kansakuntien kasvatus-, tiede- ja kulttuurijärjestö UNESCO oman tesauruksensa Skosmos-asennuksella. Muita Skosmoksen varaan rakennettuja sanastoalustoja ovat muiden muassa Ranskan Tieteellisen tutkimuksen keskuksen CNRS:n sanastopalvelu Loterre sekä Ranskan opetusministeriön alaisen Réseau Canopén ScoLOMFR-projektin sanastopalvelu.

Skosmosta hyödynnetään avointen asennusten lisäksi laajasti eri alojen organisaatioiden toiminnan tukena. Kirjastosektorilla Oslon yliopiston kirjasto käyttää Skosmos-pohjaista julkaisujärjestelmää asiasanastojen julkaisuun ja Saksan taloustieteen kirjasto ZBW käyttää Skosmosta mm. luokitusten julkaisuun. Saksan tieteen ja teknologian kansalliskirjasto TIB:illä on oma Skosmos-palvelunsa. Myös Wienin yliopiston julkaisuarkisto Phaidran luokitukset on julkaistu Skosmoksen avulla.

Skosmosta hyödynnetään myös eri maiden julkishallinnon toiminnan tukemisessa. Rheinland-Pfalzin osavaltion paikkatietohanke käyttää Skosmosta omien luokitustensa julkaisuun. Luxemburgissa puolestaan lainsäädännön kuvailussa käytettyjen sanastot on julkaistu Skosmoksella.

Skosmos toimii myös Baselin yliopiston kirjaston BARTOC sanasto- ja ontologiarekisterin ohjelmistona. Eri maiden ja organisaatioiden sanastoja ja ontologioita yhteen kokoava BARTOC tarjoaa myös vaihtoehtoisen näkymän suomalaisiin ontologioihin, kuten Finton YSAan ja YSOon.

Skosmos-kehitystä on tehty viime vuodet aktiivisesti Finto-tiimissä kansainvälisen kehittäjäyhteisön tuella. Syksyllä 2018 julkaistiin ohjelmiston 2.0-versio, ja kehitys jatkuu aktiivisena myös tulevaisuudessa. Kehitystä voi seurata ja siihen voi osallistua voi Skosmoksen GitHubissa, sekä  skosmos-users -käyttäjäfoorumilla.

Finto ja Yleinen suomalainen ontologia YSO

UNESCOn tesaurus

ScoLOMFR:n Skosmos

ChemSKOS.com

Kansalliskirjasto, CSC, Helsingin yliopiston tietotekniikkapalvelut ja Helsinki Think Company järjestävät yhdessä 26.-28.10.2018 Helsingin Leipätehtaalla WIDE - Open Source Science -hackatontapahtuman, jossa YSO:lla ja YSO-paikoilla on oma roolinsa. Monitieteinen tapahtuma on suunnattu kaikille aivoimen tieteen edistämisestä kiinnostuneille datatieteilijöistä ohjelmistokehittäjiin ja yhteiskuntatieteilijöistä humanisteihin. WIDE tarjoaa mahdollisuuden verkostoitua alan toimijoiden kanssa ja tuottaa erilaisia ratkaisuehdotuksia, joiden avulla edistetään tieteen saavutettavuutta, avoimuutta ja inklusiivisuutta. Avoimen tieteen arvojen mukaisesti hackatonissa tuotetut ratkaisut jaetaan GitHUB-palveluun kaikkien hyödynnettäväksi. Parhaat ideat palkitaan.

Finton sanastot liittyvät kuvioon siten, että kehitettävissä sovelluksissa on hyödynnettävä jo(i)takin seuraavista: automaattisen kuvailun työkalua Annifia, Finna-hakujärjestelmää, Fennica-tietokantaa RDF-muodossa, YSO-ontologiaa tai YSO-paikat-ontologiaa. 

Lisätietoa ja ohjeita löytyy tapahtuman verkkosivuilta: http://thinkcompany.fi/portfolio/wide/

Finto-palvelussa on otettu käyttöön juuri julkaistu Skosmos 2.0-ohjelmisto.

Skosmoksen uusi versio on merkittävä päivitys ja tuo mukanaan monia parannuksia ja bugikorjauksia. Merkittävimpiä muutoksia ovat:

• Kopioi leikepöydälle -painike
• Lisätty tuki asentaa ja hallinnoida Skosmos-asennuksia virtuaalikoneelle Vagrantin ja Ansiblen avulla
• Lisätty tuki Docker-virtuaaliasennuksille
• Siirrytty käyttämään PHP 7 -ympäristöä

Skosmos 2.0 on saatavilla avoimena lähdekoodina MIT-lisenssillä.

Tarkemmat tiedot julkaisusta projektin ohjelmistojakelu-sivulta:
https://github.com/NatLibFi/Skosmos/releases/tag/v2.0

Projektin wikisivuilta löytyy ohjeet mm. asennukseen ja päivitykseen:

https://github.com/NatLibFi/Skosmos/wiki

Skosmos-ohjelmiston kehitys jatkuu 2.0:n jälkeen.

Finto-tiimillä on ilo kertoa, että olemme saaneet teknistä vahvistusta, kun tiimiimme on liittynyt tietojärjestelmäasiantuntija Joeli Takala. Hän on aiemmin toiminut Aalto-yliopiston SeCo-tutkimusryhmässä FinnONTO-hankkeen parissa. Takala aloitti tehtävässään 31.5. Hänen työalaansa kuuluu mm. Skosmos-kehitystyötä sekä Henri Ylikotilan aiemmin hoitamia teknisiä vastuualueita. Finto-tiimi toimittaa Joelin lämpimästi tervetulleeksi!