Blog
Uusia käsitteitä ja muutoksia olemassaoleviin käsitteisiin voi jatkossa ehdottaa suoraan finto.fi:stä. Uusia käsitteitä voi ehdottaa sanaston etusivun alareunasta löytyvästä linkistä avautuvalla ehdotuslomakkeella. Muutoksia voi ehdottaa suoraan käsitesivulta avautuvalla lomakkeella.
Linkki ehdotuslomakkeelle YSOn etusivulla finto.fi/yso.
Linkistä avautuva ehdotuslomake.
Linkki ehdotuslomakkeeseen YSOn käsitesivulla.
Ehdotuslomakkeet ovat alkuun käytössä YSOlle ja YSO-paikoille.
Ehdotus.finto.fi -sivuston päivitys lakkautetaan lomakkeiden siirtyessä finto.fi:hin. Ehdotusten GihHubista löytyvä keskustelualusta, sekä ehdotettujen käsitteiden YSE-sanasto säilyvät käytössä normaaliin tapaan. Ehdotusjärjestelmäkokonaisuudesta, ja käsite-ehdotusten käsittelyprosessista voit lukea lisää täältä: https://www.kiwi.fi/x/uolFB
Annifin ja Finto AI:n mallipäivityskierros on nyt saatu päätökseen. Käytössä on tästä lähtien uusin YSO:n versio 2021.3.Epikuros. Käytössä olevat algoritmit on myös koulutettu uudestaan käyttämällä tuoreempaa ja laajempaa aineistoa mm. Finnasta sekä korvattu Maui-algoritmi uudella MLLM-algoritmilla, joka julkaistiin osana äskettäin julkaistua Annif 0.52 versiota (kts alla).
Olemme myös julkaisseet Finto AI:n käyttämät, valmiiksi koulutetut mallit ladattavina tiedostoina niille, jotka haluavat pystyttää vastaavan palvelun paikallisesti. Ladattavat mallit löytyvät osoitteesta https://annif.org/download/models/
Finto AI:n käyttämä verkkolomake on myös uudistunut: se tarjoaa nyt mahdollisuuden kopioida ehdotettu asiasana, sen URI tai Melinda-tietue leikepöydälle nappia painamalla.
Annif-työkalun versio 0.52 on julkaistu. Uusimmassa versiossa on mukana uusi MLLM- eli Maui-like Lexical Matching -algoritmi; kyseessä on siis Mauin kaltainen leksikaalinen algoritmi. MLLM soveltaa monia Mauin keskeisiä ideoita, mutta se on toteutettu Python-ohjelmointikielellä, joten sitä on kätevämpi käyttää Annifissa. Mauin kehitti alunperin Alyona Medelyan (https://hdl.handle.net/10289/3513), ja se on ollut käytössä Annifissa pitkään. Kuten Maui, myös MLLM voidaan kouluttaa suhteellisen pienellä määrällä koulutusaineistoa (puhutaan sadoista tai tuhansista dokumenteista). Valmiiksi asiasanoitetun koulutusaineiston perusteella algoritmi osaa valita parhaat heuristiikat juuri tietyn tyyppiselle aineistolle. Lue lisää MLLM:stä Annifin wikistä. Päivityksen myötä tulee mahdolliseksi myös säätää lyhyimmän algoritmien huomioiman sanan pituutta sekä neuroverkko-ensemblen oppimista. Huom. tämän päivityksen jälkeen STWFSA-mallit tulee kouluttaa uudelleen, sillä vanhat mallit eivät ole yhteensopivia uuden version kanssa.
Muistattehan myös Annif-koulutuksen työpajapäivän 19.5., lisätietoja ja ilmoittautuminen os. https://www.kiwi.fi/x/FwW5D
Osana Kansallisarkiston Europeana Heraldica -palvelun uudistusta Fintossa on julkaistu HERO - Heraldiikan ontologia: https://finto.fi/hero
HERO sisältää vaakunoiden kuvailuun käytettyjä heraldisia termejä. Europeana Heraldica -tietokannan sisältämät vaakunat on kuvailtu Heraldiikan ontologian käsitteitä hyödyntäen. Finton alustalle toteutettu HERO-sanasto perustuu avoimeen dataan ja on siten vapaasti kaikkien käytettävissä joko perinteisesti selaillen tai avoimen ohjelmointirajapinnan (API) kautta hyödyntäen. HEROn kehitystyö jatkuu ja sen sisältöjä tullaan päivittämään säännöllisesti.
Lue koko uutinen HEROsta ja Europena Heraldicasta Kansallisarkiston sivuilta: https://arkisto.fi/news/2790/61/Uudistunut-Europeana-Heraldica-tietokanta-ja-Heraldiikan-ontologia-sanastopalvelu-avattu
Kansalliskirjaston, CSC:n ja Kansallisarkiston yhteinen High Performance Digitisation -hanke on taannoin päättynyt. Hanke pureutui kasvavan digitaalisen aineistomäärän käsittelyn haasteeseen. Tarkoituksena oli helpottaa muistiorganisaatioiden aineiston käsittelyä / annotointia älykkäillä puoliautomaattisilla ratkaisuilla. Hankkeesta voi lukea lisää mm. tästä blogitekstistä.
Hankkeen yhtenä lopputuotoksena on ilmestyi loppuvuodesta 2020 ensimmäinen julkaisu: Automaattisen kuvailun palvelun integroiminen Kansalliskirjaston järjestelmäkokonaisuuteen - tietovirrat ja prosessit (http://urn.fi/URN:ISBN:978-951-51-6986-0). Tekstissä käsitellään automaattisen kuvailun työkalun Annifin hyödyntämistä Kansalliskirjastossa ja kuvataan Kansalliskirjaston järjestemiä Annif-integraation näkökulmasta.
Hankkeen toinenkin julkaisu Sisällönkuvailun automatisoinnin haasteita ja ratkaisuja kulttuuriperintöorganisaatiossa on nyt ilmestynyt (http://urn.fi/URN:ISBN:978-951-51-7233-4). Tämä julkaisu pureutuu tarkemmin tekstiaineistojen automaattisen sisällönkuvailun haasteisiin ja ratkaisuihin erityisesti KAM-sektorin (kirjastot, arkistot ja museot) organisaatioiden näkökulmasta. Esimerkkinä toimii Annif sekä CSC:n että Kansalliskirjaston teknisissä käyttöympäristöissä.
Kansalliskirjaston Finto-palvelu on julkaissut version 2.10 Finto.fi:n taustaohjelmisto Skosmoksesta.
Julkaisu kattaa lukuisia parannuksia, ml. uudistettu Docker-asennusmahdollisuus, päivityksiä Skosmoksen käyttämiin ohjelmistokirjastoihin sekä parannuksia Skosmoksen palautelomakkeeseen.
Tarkemmat tiedot uudesta julkaisusta löydät Skosmoksen Github-sivulta:
https://github.com/NatLibFi/Skosmos/releases/tag/v2.10
Githubin wikistä löytyy ohjeet uuden version asennukseen ja päivitykseen:
https://github.com/NatLibFi/Skosmos/wiki/Upgrading#from-skosmos-29-to-210
Skosmos 2.10 on saatavilla avoimena lähdekoodina MIT-lisenssillä.
Uutta Skosmos-versiota koskevaa palautetta voi lähettää osoitteeseen finto-posti@helsinki.fi, ja aiheeseen liittyvään keskusteluun voi osallistua https://groups.google.com/g/skosmos-users -listalla.
Skosmos-ohjelmiston kehitystä tehdään säännöllisin väliajoin sprinteissä. Skosmoksen koko kehitysjonon ja aktiivisena olevien sprinttien kehitysjonot löydät täältä: https://github.com/NatLibFi/Skosmos/projects
Yleisestä suomalaisesta ontologiasta (YSO) on julkaistu uusi jäädytetty versio 2021.3.Epikuros. Se on erityisesti erikoisontologioiden kehittäjille suunnattu versio YSOsta, johon ei päivitetä finto.fi:n YSO-julkaisuversiossa näkyviä jatkuvia muutoksia. 2021.3.Epikuroksen kehitysversio on optimoitu TopBraid Composer editointityökalulla tapahtuvaa ontologiatyötä ajatellen ja se poikkeaa tietomalliltaan joiltain osin YSOn julkaisuversiosta. Edellinen jäädytetty versio 2020.1.Diotima julkaistiin alkuvuonna 2020. Nyt julkaistu 2021.3.Epikuros vastaa YSOn tilaa 19.3.2021 ja löytyy alla olevasta linkistä:
https://github.com/NatLibFi/Finto-data/tree/master/vocabularies/yso/releases/2021.3.Epikuros
Epikuros sisältää seuraavat, edellisestä jäädytetystä YSO-versiosta (2020.1.Diotima) puuttuvat lisäykset ja uudistukset:
- Kaikki vuoden 2020 YSO-kokouksissa päätetyt uudet käsitteet sekä käsitteiden muutokset
- YSO-paikkojen osalta koordinaattitiedot Maanmittauslaitoksen paikannimirekisteristä sekä Wikidatasta
Alla olevasta linkistä (xlsx-taulukko) löytyvät listattuna erillisiin välilehtiin YSOn Diotima-versioon verrattuna tapahtuneet prefLabel-muutokset kaikilla kolmella kielellä, uudet käsitteet ja käytöstä poistetut käsitteet:
Antiikin Kreikan filosofi Epikuros on tämänkertaisen YSO-version suojelija ja innoittaja. Hän korosti voimakkaasti sitä, että on välttämätöntä pyrkiä riippumattomuuteen kaikista ulkoisista olosuhteista. Hän korosti epistemologiassaan aistien merkitystä: kaikki, mitä ihmiset aistivat, on heidän mielestään myös olemassa. Tuotteliaana kirjailijana hän laati vajaa 300 kirjakääröä. Epikuroksen tiedetään sanoneen "Mielihyvä on onnellisen elämän alku ja loppu".
Lisätietoja tästä versiosta: finto-posti@helsinki.fi
YSO-paikat sanaston käsitteille on lisätty koordinaattitietoja Maanmittauslaitoksen paikannimirekisteristä, sekä Wikidatasta. Koordinaatit on esitetty WGS 84 -järjestelmän mukaan desimaaliasteina. Pääset selaamaan uudistettua YSO-paikat sanastoa täältä: https://finto.fi/yso-paikat
Koordinaatteja hyödyntämällä YSO-paikkojen Finto.fi -näkymään on myös luotu uusi karttaikkuna paikan sijainnin visualisointia varten. Karttaikkunan toteutuksessa on hyödynnetty avointa Leaflet -JavaScript-kirjastoa, sekä OpenStreetMapin karttoja.
Karttaikkuna aukeaa automaattisesti YSO-paikkoja selailtaessa sellaisten paikkojen kohdalla, joille koordinaatit on voitu lisätä paikannimirekisteri- tai Wikidatalinkin kautta.
Finto-palvelu kehittää YSO-paikkojen sijaintitietoja ja karttaikkunaa eteenpäin palautteen perusteella. Kehittämisehdotukset ja kommentit ovat tervetulleita osoitteeseen finto-posti@helsinki.fi
Kansalliskirjaston Finto-palvelu on julkaissut uuden version Finto.fi:n taustaohjelmisto Skosmoksesta.
Skosmoksen uuteen versioon 2.9 on lisätty tuki, jota tullaan hyödyntämään YSO-paikoissa lähiaikoina.
Tarkemmat tiedot uudesta julkaisusta löydät Skosmoksen Github-sivulta:
https://github.com/NatLibFi/Skosmos/releases/tag/v.2.9
Githubin wikistä löytyy ohjeet uuden version asennukseen ja päivitykseen:
https://github.com/NatLibFi/Skosmos/wiki
Skosmos 2.9 on saatavilla avoimena lähdekoodina MIT-lisenssillä.
Uutta Skosmos-versiota koskevaa palautetta voi lähettää osoitteeseen finto-posti@helsinki.fi, ja aiheeseen liittyvään keskusteluun voi osallistua skosmos-users -listalla.
Skosmos-ohjelmiston kehitystä tehdään kuukausittaisissa sprinteissä. Skosmoksen koko kehitysjonon ja aktiivisena olevien sprinttien kehitysjonot löydät täältä: https://github.com/NatLibFi/Skosmos/projects
Ontologiapilvi KOKOsta on julkaistu uusin versio osoitteessa https://finto.fi/koko/ . Viime vuonna KOKOssa havaittiin olevan vanhoista YSO-versioista peräisin olevaa ylärakennetta, joka on korjattu tässä julkaisussa. Uusina ominaisuuksina tässä julkaisussa:
- KOKOssa on tuki aikaleimoille, joka mahdollistaa uusien ja viimeksi muokattujen KOKOn käsitteiden näyttämisen sikäli kun KOKOon liittyvissä ontologioissa on käytetty tätä tietoa
- KOKOn käsitteiden päätermin sulkutarkenteen koontia on paranneltu
- Käsitteille, jotka eivät ripustu KOKOn rakenteeseen, on lisätty sulkutarkenteeksi oman ontologiansa tunnus jotta nämä erottuvat KOKOon ripustuvista käsitteistä
Uusin KOKO sisältää päivitykset KAUNOsta, TEROsta, JUHOsta ja YSOsta. Tarkempi muutoslista löytyy Finton asiakaswikissä: Kokon muutokset 5. 2. 2021
Automaattisen kuvailun projektisuunnitelma vuodelle 2021 on julkaistu os. https://www.kiwi.fi/x/8YBND. Keskeisiä tavoitteita ovat Annif-työkalun jatkokehitys sekä Finto AI -palvelun parantaminen mm. laajentamalla tarjolla olevien sanastojen valikoimaa. Pyrkimyksenä on myös edistää sisällönkuvailun ja bibliografisen kuvailun automatisointia Kansalliskirjaston omissa järjestelmissä sekä rakentaa yhteistyötä automaattisen kuvailun tiimoilta kotimaassa ja kansainvälisesti.
Kansalliskirjaston hakupalvelun hakutoimintoja parannetaan. Hakupalvelussa testataan kuukauden ajan, miten Finton ontologioiden ominaisuuksia hyödyntämällä voitaisiin avustaa käyttäjää halutun aineiston löytämisessä. Uusi ominaisuus ehdottaa YSO-ontologiasta käsitteitä käyttäjän hakusanojen perusteella. Ehdotukset perustuvat YSOn ylä- ja ala- ja assosiatiivisiin käsitteisiin, ohjaustermeihin sekä sulkutarkenteisiin.
Testauksen aikana kerätään palautetta hakuehdotusten toiminnasta. Jos ehdotukset toimivat käyttäjien palautteen perustella hyvin, ne voidaan ottaa jatkossa osaksi Finnan eri hakupalveluita. Joka tapauksessa saadaan arvokasta tietoa siitä, miten ontologioita voidaan hyödyntää hakuehdotuksissa jatkossa.
Ehdotuksia voi testata osoitteessa: https://kansalliskirjasto.finna.fi/
Uutinen Finnan uutissyötteessä: https://kansalliskirjasto.finna.fi/FeedContent/uutissyote/Hakuehdotukset+avuksi+Kansalliskirjaston+haussa
High Performance Digitisation -hanke on päättymässä vuoden lopussa. Järjestämme sen kunniaksi kaikille avoimen webinaarin otsikolla Suurteholaskennasta puhtia automaattiseen sisällönkuvailuun: High-Performance Digitisation -hankkeen yhteistyökokemuksia.
Webinaarissa esitellään hankkeen saavutukset ja tulevaisuuden suunnitelmat. Kerromme mm. CSC:llä hankkeen puitteissa tehdystä automaattisen kuvailun algoritmien testauksesta ja tulosten hyödyntämisestä Kansalliskirjastossa tehtävässä kehitystyössä.
Mukaan on myös lupautunut kaksi ulkomaista puhujaa: Annemieke Romein Hollannin kansalliskirjastosta kertoo automaattisen asiasanoittajan Annifin käytöstä vanhoja lakitekstejä käsitelleessä tutkimusprojektissa ja Koraljka Golub Linné-yliopistosta kertoo asiasanoituksen laadun arvioinnista.
Webinaari järjestetään tiistaina 19.1.2021 klo 9:00-11:15 Zoom-etäyhteyden välityksellä. Webinaarin (päivittyvä) ohjelma löytyy sivulta https://www.kiwi.fi/x/z4DsCw
Tervetuloa!
Finto AI:n ja annif.org:in mallipäivityskierros on nyt tehty. Käytetyt koneoppimismallit on siis koulutettu uudestaan suuremmalla ja tuoreemmalla aineistolla. Samalla ne on päivitetty käyttämään jäädytetyn Diotiman (YSO 2020.1) sijaan YSO:n snapshot-versiota päivämäärältä 5.10.2020. Uudessa YSO-versiossa on paljon uusia käsitteitä, esimerkiksi COVID-19. Mallipäivityksen yhteydessä hyödynnettiin myös äskettäin julkaistun Annif 0.50:n (ks. tiedote) tarjoamaa mahdollisuutta rajata käytettävän aineiston merkkimäärää. Algoritmivalikoimaa on muokattu yhdessä CSC:n kanssa toteutetun High Performance Digitisation -hankkeen kokemusten avulla, esimerkiksi ottamalla käyttöön fastText-algoritmi, jolle on etsitty parhaiten toimivat asetukset CSC:n suurteholaskentaympäristöä hyödyntäen. Päivitykset näkyvät käyttäjälle parempina ehdotuksina.
Finto AI:ssa on nyt mahdollista valita termien kieli tekstin kielestä riippumatta. Termien kielen voi valita oikean laidan valikosta. Esimerkiksi englanninkieliselle tekstille voi siis hakea suomenkieliset asiasanat ja päinvastoin! Finto AI:n ja annif.orgin käyttöliittymään on myös tehty saavutettavuusparannuksia ja lisätty sivustoille saavutettavuusselosteet.
Tikettijärjestelmään siirtymisen myötä Finto AI:ta ja Annifia koskevia palautteita, huomioita ja kysymyksiä voi nykyään lähettää uuteen palveluosoitteeseen finto-ai(a)helsinki.fi.
Suomalaisten yhteisönimien päivittäminen Fintoon omana kokonaisuutenaan loppui joulukuussa 2020. Yhteisöjen nimiä voi jatkossa etsiä KANTO-palvelusta (http://finto.fi/finaf/fi/).
KANTO - Kansalliset toimijatiedot on palvelu, jossa yhteisöjen ja henkilöiden tiedot ovat julkaistuja avoimena datana. KANTOsta löydät samat tiedot kuin Suomalaisista yhteisönimistä. Uutena lisäyksenä on ns. aineistoikkuna, jossa näkyvät toimijoihin liittyvät aineistot erillisenä listauksena. Lisätietoa KANTO-palvelusta löydät mm. Kansalliskirjaston Toimijakuvailupalvelun tiedotteesta: https://www.kiwi.fi/x/EoHPCw.
Jos on kysyttävää, ota yhteyttä: toimijakuvailu-posti @ helsinki.fi.
