Blog

Kielten nimien projekti on Kotimaisten kielten keskuksen (Kotus), Finto-palvelun ja Kotoistuspalvelun yhteisprojekti. Projektin tuloksena julkaistaan yhteistyössä laadittu kaikille avoin ja päivittyvä Suomenkielisten kielten nimien sanasto. Se on tarkoitus julkaista vuosien 2025-2026 aikana Finto.fi:ssä.  Sanastoa varten hyödynnetään muun muassa Suomen Standardisoimisliiton (SFS) ja Kotoistuspalvelun kielten nimien suosituksia sekä tietokirjallisuudessa käytettyä nimistöä. Sanasto tulee sisältämään noin 7 000 kielen nimeä, joilla on pysyvät tunnisteet ja muuta rikastettua tietoa.

Kotuksen verkkosivuille tehdään myös Kielihakemisto-niminen hakupalvelu helpottamaan yksittäisten kielten nimien etsimistä sanastosta. Hakupalvelu julkaistaan samassa yhteydessä kuin Suomenkielisten kielten nimien sanasto.

Alla olevasta linkistä löytyy Kotuksen uutinen aiheesta:
https://www.kotus.fi/nyt/uutistekstit/kotuksen_uutiset/kotuksen_uutiset_2023/kielten_nimien_projekti_alkaa.39380.news

Annif 0.60 on julkaistu! Tässä julkaisussa on tehty paljon ylläpitoa, päivityksiä ja  pieniä parannuksia erityisesti Annifin web-käyttöliittymään, REST-rajapintaan ja monikielisyyteen liittyen. 

Annif suggest -komennolla haettavien asiasanojen kielen voi muuttaa komentorivillä käyttämällä --language/-L -parametria. Tämä ominaisuus toimii myös REST-rajapinnan kautta. Sanaston lataamiseen käytetty komento  `annif loadvoc` poistuu tämän julkaisun myötä kokonaan ja käyttöön jää jo viime versiosta tuttu  `annif load-vocab`.  

Annifin rajapinnan / REST API:n kautta voi nyt saada rajapinnan perustiedot (sovellusliittymän otsikko ja käytetyn Annifin versionumero). Lisäksi päivitys OpenAPI 3.0:aan mahdollistaa sen, että Annifin verkkokäyttöliittymässä on nyt mahdollista nähdä projektin tiedot (kieli, käytetty algoritmi, muokkausaikaleima jne.). Verkkokäyttöliittymien teknisen toteutuksen suhteen olemme nyt siirtyneet kokonaan jQuerystä Axiosiin. 

Annifin uusin versio tukee moniprosessointia nyt myös Windows- ja Mac-ympäristössä. Kielentunnistuksessa aiemmin käytetty pycld3 on vaihdettu Simplemmaan.

Koodin laadunvarmistukseen ja tyylin yhdenmukaisuuteen liittyen olemme siirtyneet käyttämän Black- ja isort -työkaluja. Ohjeita Annifin kehitykseen osallistumiseen liittyen on luettavissa (englanniksi) GitHubissa. 

Huom. Valmistaudumme Annifin versio 1.0:n julkaisuun, tähän liittyen (mm. taaksepäin yhteensopivuus) voi keskustella GitHubissa.

Annifin edellisellä versiolla 0.59 koulutettujen mallien tulisi toimia tämän uusimman version kanssa (mahdolliset SciKit-learnin antamat virheilmoitukset ovat harmittomia).

Tietoa tästä julkaisusta löytyy GitHubissa.

Vuoden 2022 lopulla 1.12. pidettiin vuoden neljäs ja viimeinen YSO-kokous. Avaammekin taas blogissa kokouksessa tehtyjä muutoksia laajemmalle yleisölle. Tämä oli pitkästä aikaa ensimmäinen lähikokous. Osallistujia oli Kansalliskirjaston auditoriossa 15 henkeä. Asialistalla oli 237 käsitettä, joista lähes kaikki ehdittiin käsitellä. Uusia käsitteitä otettiin 94. Muutoksia käsiteltiin 53 ja alustavasti ongelmattomiksi oli katsottu 27 uutta ehdotusta. Kokouksessa käsitellyistä termiehdotukseksi tai ilman muutoksia jäi lopulta 20 ehdotusta. Kolme käsitettä poistettiin, ja erilaisia muutoksia ja tarkenteita kertyi runsaasti.

Kokonaan uusia käsitteitä ovat muun muassa lainelaudat, metsävaratieto, kahlekuninkaat, vegaanit, afrosuomalaiset ja fennougristiikka. Jonkin verran mukana oli taas jo aiemmissa kokouksissa vastaan tulleita käsitteitä, joiden perusteluja ja käytön yleisyyttä puntaroitiin taas uudessa valossa. Samaten joitain käsitteitä siirrettiin myöhemmin käsiteltäviksi, sillä ne vaativat pidempää mietintää ja tutkimustyötä. Näitä olivat esimerkiksi muutosehdotukset käsitteisiin miinakoirat, kertomarunot ja atk-järjestelmät.

Usein lisäyksiä tai muutoksia ei otettu YSOon juuri ehdotetussa muodossa. Esimerkiksi aluevaltuustot sai tarkenteen aluevaltuustot (Suomi). Ehdotus säteilynkesto otettiin muodossa säteilynkestävyys. Vaihtoehtoisia muotoja lisätään harkinnan mukaan ohjaustermeiksi. Ohjaustermien määrää ei tällaisessa pikaisessa katsauksessa voidakaan käsitellä, sillä ne tarkentuvat lopullisesti vasta myöhemmässä editointityössä.

Seuraava YSO-kokous on maaliskuussa.

• YSOon lisätyt käsitteet näkyvät finto.fi:ssä "Uudet ja poistetut" -välilehdellä.
• Katso myös toteutettujen muutosten mahdolliset vaikutukset kuvailuun: YSOn muutokset, Ändringar i ALLFO
• Hyväksymättömät tai käsittelyssä olevat uudet käsite-ehdotukset näkyvät myös Finto.fi:ssä https://finto.fi/yse/fi/

Yleisontologia YSO:n ja erikoisontologiat yhdistävästä ontologiapilvi KOKO:sta on julkaistu uusi versio.

http://finto.fi/koko/

Tämänkertaisessa päivityksessä on korjailtu automaattisesti yhteen romahtanaita mutta keskenään samankaltaisia käsitteitä vuosien varrelta. Jos teillä on kysyttävää tai kommentoitavaa KOKO:sta, otamme palautetta mieluusti vastaan sähköpostitse finto-posti@helsinki.fi .

Tässä päivityksessä uudet KOKOn käsitteet ovat peräisin uudistetusta YSOsta, KAUNOsta, MAO/TAOsta ja OMAsta. Tarkempi muutosloki löytyy täältä: KOKOn muutokset 27.12.2022

HKLJ-luokituksen hakemistoa on täydennetty ja luokkaotsikoille on lisätty englanninkieliset nimet. Päivityksen myötä HKLJ-luokitus saavuttaa aiempaa laajemman käyttäjäkunnan.

Finto-palvelussa suunnitellaan aktiivisesti vuoden 2023 toimintaa. Palvelun yksi keskeisimmistä työkohteista on Finto.fi-alustan ylläpito ja kehitys. Finto.fi perustuu Finto-palvelussa kehitettävään avoimen lähdekoodin Skosmos-ohjelmistoon.

Laadimme parhaillaan tiekarttaa Finto.fi:n vuoden 2023 kehitykselle, ja kuulisimme mielellämme käyttäjien näkemyksiä siitä mihin suuntaan Finto.fi:tä tulisi kehittää. Toivotko uudenlaisia hakuominaisuuksia? Nopeusparannuksia? Miten olemassaolevia ominaisuuksia voisi kehittää entistä paremmin käyttäjin tarpeisia vastaaviksi? Voit visioida suurempia kehityslinjoja tai ehdottaa pieniä parannuksia.

Jätä perusteltu ehdotuksesi Flinga-tauluun 15.1.2023 mennessä: 

https://edu.flinga.fi/s/ELDUNUR

Voit myös kannattaa muiden jättämiä ehdotuksia.

Finto.fi:n/Skosmoksen vuoden 2023 Roadmap julkaistaan Skosmoksen GitHubin Wikissä alkuvuodesta 2023.

YKL-luokitusta on jälleen päivitetty. Päivitys sisältää täydennyksiä useisiin eri luokkiin. Esimerkki uudesta hakusanasta on "porokilpailut (79.9)".

finto.fi/ykl/fi/

Finto AI:n automaattisessa asiasanoituksessa käyttämät koneoppimismallit on jälleen päivitetty. Päivityksessä on tavan mukaan käytetty laajempaa ja tuoreempaa aineistoa mallien koulutuksessa. Lisäksi käytössä on tästä lähtien YSO:n versio päivämäärältä 2.11.2022  (ml. YSO-paikat). Päivityksen myötä Finto AI:ssa otettiin käyttöön automaattisen asiasanoittajan Annifin versio 0.59.

Finto AI:n käyttämät, valmiiksi koulutetut mallit tarjotaan ladattavina tiedostoina niille, jotka haluavat pystyttää vastaavan palvelun paikallisesti, ks. https://annif.org/download/models/

Olemme myös suunnitelleet toimintaamme automaattisen kuvailun osalta vuodelle 2023. Jatkamme automaattisen asiasanoituksen kehittämistä ja laadun parannusta. Tähtäimessämme on julkaista Annifin versio 1.0. Tarkoituksemme on myös laajentua luokitusten (YKL, Thema) puolelle. Uudistamme myös Finto AI:n toiminnallisuuksia ja päivitämme palvelun visuaalista ilmettä! Julkaisemme varsinaisen suunnitelman sen valmistuttua.

Ruotsin kansalliskirjasto on ottanut automaattisen kuvailun työkalun Annifin käyttöön SwePub-julkaisurekisterissä (https://swepub.kb.se/).

Tässä käyttötapauksessa Annifin tehtävä on antaa ehdotuksia julkaisun tieteenalaluokasta pohjautuen alan ruotsalaiseen luokitukseen (Standard för svensk indelning av forskningsämnen). Käyttöönotosta voit lukea lisää ruotsiksi Ruotsin kansalliskirjaston verkkosivuilta (kohta Ämnesklassificering) ja sen tekninen toteutus on kuvattu GitHubissa. Annif korvasi SwePubin aiemman automaattisen luokituksen järjestelmän.

Annifista löytyy tuttuun tapaan lisätietoja esimerkiksi asiakaswikistä.

Mediataiteen erikoisontologia OMA on päivitetty. Päivityksessä lisättiin 40 uutta käsitettä. Näihin kuuluvat muun muassa laitehakkerointi, väriavainnus ja videotietokannat. Ontologiaa voit tarkastella täällä.

Finto AI -palvelun käytöstä puoliautomaattisessa sisällönkuvailussa on julkaistu ohje asiakaswikissä (https://www.kiwi.fi/x/6QAnEg).  Ohje kuvaa kohta kohdalta, miten verkkolomakkeen kautta saa tekstille asiasanaehdotuksia. Samassa yhteydessä esitellään lyhyesti Finto AI -palvelua sekä puoliautomaattista ja automaattista sisällönkuvailua yleensä. Ohjeen on tuottanut Sisällönkuvailun asiantuntijarymä Finto AI:n kehittäjien kanssa.

Julkishallinnon erikoisontologia JUHO on päivitetty. Päivityksessä päähuomio oli JUHOn ja YSOn välisten suhteiden ajantasaistamisessa sekä näiltä osin tietomallin parantamisessa. Muun muassa YSOon suuntautuvan owl:equivalentClass-suhteen sisältävät JUHO-käsitteet deprekoitiin ja niissä olevat ekvivalenssi-suhteet muutettiin ysometa:deprecatedReplacedBy-suhteiksi. Deprekoitavien käsitteiden alakäsitteiden uusiksi yläkäsitteiksi määriteltiin aiemmassa ekvivalenssisuhteessa ollut YSO-käsite. Lisäksi poistettiin tarpeeton hasPoiminta-property ja sen käyttötapaukset. Päivitykseen sisältyy myös sekä uusia että päivitettyjä käsitteitä ja joitakin deprekointeja.

Yleisontologia YSO:n ja erikoisontologiat yhdistävästä ontologiapilvi KOKO:sta on julkaistu uusi versio.

http://finto.fi/koko/

KOKOn rakentamislogiikkaa on paranneltu käsittelemään paremmin vanhojen YSO-versioiden sisältämiä käsitehierarkioita, mm. parantelemalla KOKOon aikanaan otettujen mutta käytöstä poistettujen käsitteiden korvaavuustietoja. Kokoon otettiin mukaan uutena tulokkaana mediataiteen ontologia OMA. Jos teillä on kysyttävää tai kommentoitavaa KOKO:sta, otamme palautetta mieluusti vastaan sähköpostitse finto-posti@helsinki.fi .

Tässä päivityksessä uudet KOKOn käsitteet ovat peräisin uudistetusta YSOsta ja OMAsta. Tarkempi muutosloki löytyy täältä.

Kansalliskirjaston Finto-palvelu on julkaissut uuden version Finto.fi:n taustaohjelmisto Skosmoksesta.

Skosmoksen uusi versio 2.16 päivittää ohjelmiston JavaScript-kirjastoja (erit. jQuery), parantaa sanastojen edistyneiden ominaisuuksien (SKOS-XL) tukea ja korjaa havaittuja virheitä esimerkiksi etusivun yhteishaussa. Osa selainpuolen JavaScript-toteutuksista on korvattu kokonaan CSS-säännöillä. Ohjelmiston käyttöliittymään on lisätty pohjoissaamen tuki, joka tullaan ottamaan käyttöön finto.fi:ssä vuoden 2023 alussa.

Tarkemmat tiedot uudesta julkaisusta löydät Skosmoksen Github-sivulta:https://github.com/NatLibFi/Skosmos/releases/tag/v2.16

Githubin wiki-sivulta löydät ohjeet uuden version asennukseen ja päivitykseen: https://github.com/NatLibFi/Skosmos/wiki.

Skosmos 2.16 on saatavilla avoimena lähdekoodina MIT-lisenssillä.

Uutta Skosmos-versiota koskevaa palautetta voi lähettää osoitteeseen finto-posti@helsinki.fi, ja aiheeseen liittyvään keskusteluun voi osallistua skosmos-users -listalla.

Skosmos-ohjelmiston kehitystä tehdään kuukausittaisissa sprinteissä. Skosmoksen koko kehitysjonon ja aktiivisena olevien sprinttien kehitysjonot löydät täältä: https://github.com/NatLibFi/Skosmos/projects

Annif 0.59 on julkaistu! Tähän julkaisuun sisältyy suuria monikielisyyttä helpottavia muutoksia sanastojen käsittelyyn. Erikieliset projektit voivat käyttää samaa sanastoa samalla vocabulary id -tunnuksella ilman erillistä kielitunnistetta (esim. pelkästään yso eikä vaikkapa yso-fi). Sanastosta haluttava kieli määräytyy projektin kieliasetuksen perusteella, mutta tämän oletusasetuksen voi halutessaan kiertää. 

Sanaston lataamisessa käytetään uutta komentoa `load-vocab`, jolle annetaan argumentiksi ladattavan sanaston eikä projektin nimi. Käytettävissä olevat sanastot voi listata komennolla `list-vocabs`. Tiedot Annifi komentorivikomennoista siirtyvät pois Annifin GitHub-wikistä ReadTheDocs-sivulle (https://annif.readthedocs.io/en/stable/source/commands.html).
Annifin kehitysasennuksissa on siirrytty käyttämään Poetryä (https://python-poetry.org/) Python-riippuvuuksien hallinnassa.

Olemme myös valmistautumassa Annif 1.0 -version julkaisuun! Käyttäjät voivat keskustella GitHubissa semanttisesta versionumeroinnista ja odotuksistaan Annifin versioiden taaksepäin yhteensopivuudesta (https://github.com/NatLibFi/Annif/issues/616).