Blog

Automaattisen kuvailun toimintasuunnitelma vuodelle 2023 on julkaistu Finton asiakaswikissä os. https://www.kiwi.fi/x/ToJzEw

Keskeisimpinä tavoitteina on jatkaa automaattisen kuvailun laadun parantamista ja automaattisen sisällönkuvailun laajentamista luokituksiin ja kaunokirjallisuuteen. Pyrimme myös jatkokehittämään Finto AI -palvelun toiminnallisuuksia, käytettävyyttä ja saavutettavuutta sekä edistämään automaattisen kuvailun käyttöönottoja Suomessa ja maailmalla. Finto AI:n visuaalinen ilme uudistuu yhdessä Finton kanssa. Myös automaattisen bibliografisen kuvailun edistäminen ja työkalujen etsiminen / kehittäminen on suunnitelmissa.


Keskeisimmät tavoitteet 2023

  • Parannetaan automaattisen kuvailun laatua mm. hyödyntämällä koneoppimista ja kieliteknologiaa sekä tekemällä yhteistyötä
  • Laajennetaan automaattista sisällönkuvailua luokituksiin ja kaunokirjallisuuteen
  • Kehitetään edelleen Finto AI -palvelun toiminnallisuuksia, käytettävyyttä ja saavutettavuutta
  • Edistetään automaattisen kuvailun käyttöönottoja Suomessa ja maailmalla

Automaattisen kuvailun palvelun Finto AI:n (https://ai.finto.fi) verkkokäyttöliittymä on uudistunut! Uudistuksen myötä kuvailtavan tekstin voi syöttää lomakkeelle kopioimisen lisäksi myös URL:n kautta tai lataamalla se tiedostona (tuetut tiedostomuodot ilmoitetaan lomakkeella). Eri tavat syöttää teksti näkyvät välilehtinä lomakkeen tekstikentän yläpuolella. Uudistuksen myötä päivitämme myös Finto AI:n lomakekäytön oppaan, jossa kerrotaan myös lisää palvelusta itsestään.

Pikapuoliin uudistuu myös Finto AI:n visuaalinen ilme, pysykää kuulolla!


  Kuva: Finto AI:n verkkolomakkeen uudet välilehdet          


YSOon 16 uutta käsitettä

Viime viikon torstaina 2.2. pidettiin vuoden ensimmäinen YSO-ongelmakokous. Etänä järjestettyyn kokoukseen osallistui 16 henkilöä. Käsittelyssä oli 57 ehdotusta, joista ehdittiin käsitellä 37. Tälle kokoustyypille on normaalia, että jokaiseen ehdotukseen menee paljon aikaa, sillä nämä ovat jo entuudestaan vaikeiksi tunnistettuja termejä. Niihin liittyy haasteita joko vaikeaan merkitykseen liittyen, aiemman monimutkaisen käytön suhteen, tai sitten YSOn eri kielet menevät keskenään ristiin ongelmallisin tavoin.

Kokouksessa hyväksyttyjä uusia termejä ovat muun muassa pysäköintihallit, työpajatoiminta, workshopit, vierasmajat sekä konkurssipesän selvitys. Aina uudet termit eivät tulleet suoraan ehdotuksesta itsestään, vaan ne nousivat keskustelussa esiin ratkaisuina yksittäisten hankalien termien rajaamiseksi ja ratkaisemiseksi. Kun uusi käsite vastaa osaa aiemmin laajemman termin merkityksestä, voi eri kielten aiheuttamia pulmia olla helpompi ratkoa. Esimerkiksi uusi käsite ahjot lisättiin YSOon osana termin tulipesät käännösten erilaisten merkitysten selkiyttämistä.

Kokouksessa poistettuja termejä olivat pysäköintitilat, majat, maakuntapäivät ja tutkimustekniikka. Syyt olivat jälleen moninaisia. Kun vertaa hyväksyttyjen ja poistettujen termien katsauksia, ilmenee, että usein poistot liittyvät eri tavoin jossain muissa termeissä tehtyihin muutoksiin, jotka osaltaan tekevät poistetusta käsitteestä vähemmän tarpeellisen. Esimerkiksi pysäköinnin toteutuspaikkoihin ja majoihin liittyen lisättiin uusia käsitteitä, joiden toivomme selkiyttäneen näiden käsitteiden käyttöä.

Tässäkin kokouksessa sulkutarkenteet osoittautuivat yhdeksi keinoksi, jolla termien erilaisia merkityksiä pystyttiin täsmentämään ja rajaamaan. Lakien kohdalla sulkuihin on usein ennenkin merkitty vuosilukuja. Kokouksessa päätettiin, että lisäämme kaikkiin kirjoitusasultaan samanlaisiin lakeihin vuositarkenteet suluissa, jotta esimerkiksi kaksi eri aikoina säädettyä lakia, osakeyhtiölaki (1978) ja osakeyhtiölaki (2006), erottuvat toisistaan yksiselitteisesti. Vastaavat tapaukset kartoitetaan ja päivitetään lähiaikoina.

Seuraava varsinainen YSO-kokous on maaliskuussa.

Kielten nimien projekti on Kotimaisten kielten keskuksen (Kotus), Finto-palvelun ja Kotoistuspalvelun yhteisprojekti. Projektin tuloksena julkaistaan yhteistyössä laadittu kaikille avoin ja päivittyvä Suomenkielisten kielten nimien sanasto. Se on tarkoitus julkaista vuosien 2025-2026 aikana Finto.fi:ssä.  Sanastoa varten hyödynnetään muun muassa Suomen Standardisoimisliiton (SFS) ja Kotoistuspalvelun kielten nimien suosituksia sekä tietokirjallisuudessa käytettyä nimistöä. Sanasto tulee sisältämään noin 7 000 kielen nimeä, joilla on pysyvät tunnisteet ja muuta rikastettua tietoa.

Kotuksen verkkosivuille tehdään myös Kielihakemisto-niminen hakupalvelu helpottamaan yksittäisten kielten nimien etsimistä sanastosta. Hakupalvelu julkaistaan samassa yhteydessä kuin Suomenkielisten kielten nimien sanasto.

Alla olevasta linkistä löytyy Kotuksen uutinen aiheesta:
https://www.kotus.fi/nyt/uutistekstit/kotuksen_uutiset/kotuksen_uutiset_2023/kielten_nimien_projekti_alkaa.39380.news

Annif 0.60 julkaistu

Annif 0.60 on julkaistu! Tässä julkaisussa on tehty paljon ylläpitoa, päivityksiä ja  pieniä parannuksia erityisesti Annifin web-käyttöliittymään, REST-rajapintaan ja monikielisyyteen liittyen

Annif suggest -komennolla haettavien asiasanojen kielen voi muuttaa komentorivillä käyttämällä --language/-L -parametria. Tämä ominaisuus toimii myös REST-rajapinnan kautta. Sanaston lataamiseen käytetty komento  `annif loadvoc` poistuu tämän julkaisun myötä kokonaan ja käyttöön jää jo viime versiosta tuttu  `annif load-vocab`.  

Annifin rajapinnan / REST API:n kautta voi nyt saada rajapinnan perustiedot (sovellusliittymän otsikko ja käytetyn Annifin versionumero). Lisäksi päivitys OpenAPI 3.0:aan mahdollistaa sen, että Annifin verkkokäyttöliittymässä on nyt mahdollista nähdä projektin tiedot (kieli, käytetty algoritmi, muokkausaikaleima jne.). Verkkokäyttöliittymien teknisen toteutuksen suhteen olemme nyt siirtyneet kokonaan jQuerystä Axiosiin. 

Annifin uusin versio tukee moniprosessointia nyt myös Windows- ja Mac-ympäristössä. Kielentunnistuksessa aiemmin käytetty pycld3 on vaihdettu Simplemmaan.

Koodin laadunvarmistukseen ja tyylin yhdenmukaisuuteen liittyen olemme siirtyneet käyttämän Black- ja isort -työkaluja. Ohjeita Annifin kehitykseen osallistumiseen liittyen on luettavissa (englanniksi) GitHubissa

Huom. Valmistaudumme Annifin versio 1.0:n julkaisuun, tähän liittyen (mm. taaksepäin yhteensopivuus) voi keskustella GitHubissa.

Annifin edellisellä versiolla 0.59 koulutettujen mallien tulisi toimia tämän uusimman version kanssa (mahdolliset SciKit-learnin antamat virheilmoitukset ovat harmittomia).

Tietoa tästä julkaisusta löytyy GitHubissa.

YSOon 94 uutta käsitettä

Vuoden 2022 lopulla 1.12. pidettiin vuoden neljäs ja viimeinen YSO-kokous. Avaammekin taas blogissa kokouksessa tehtyjä muutoksia laajemmalle yleisölle. Tämä oli pitkästä aikaa ensimmäinen lähikokous. Osallistujia oli Kansalliskirjaston auditoriossa 15 henkeä. Asialistalla oli 237 käsitettä, joista lähes kaikki ehdittiin käsitellä. Uusia käsitteitä otettiin 94. Muutoksia käsiteltiin 53 ja alustavasti ongelmattomiksi oli katsottu 27 uutta ehdotusta. Kokouksessa käsitellyistä termiehdotukseksi tai ilman muutoksia jäi lopulta 20 ehdotusta. Kolme käsitettä poistettiin, ja erilaisia muutoksia ja tarkenteita kertyi runsaasti.

Kokonaan uusia käsitteitä ovat muun muassa lainelaudat, metsävaratieto, kahlekuninkaat, vegaanit, afrosuomalaiset ja fennougristiikka. Jonkin verran mukana oli taas jo aiemmissa kokouksissa vastaan tulleita käsitteitä, joiden perusteluja ja käytön yleisyyttä puntaroitiin taas uudessa valossa. Samaten joitain käsitteitä siirrettiin myöhemmin käsiteltäviksi, sillä ne vaativat pidempää mietintää ja tutkimustyötä. Näitä olivat esimerkiksi muutosehdotukset käsitteisiin miinakoirat, kertomarunot ja atk-järjestelmät.

Usein lisäyksiä tai muutoksia ei otettu YSOon juuri ehdotetussa muodossa. Esimerkiksi aluevaltuustot sai tarkenteen aluevaltuustot (Suomi). Ehdotus säteilynkesto otettiin muodossa säteilynkestävyys. Vaihtoehtoisia muotoja lisätään harkinnan mukaan ohjaustermeiksi. Ohjaustermien määrää ei tällaisessa pikaisessa katsauksessa voidakaan käsitellä, sillä ne tarkentuvat lopullisesti vasta myöhemmässä editointityössä.

Seuraava YSO-kokous on maaliskuussa.

KOKO päivitetty

Yleisontologia YSO:n ja erikoisontologiat yhdistävästä ontologiapilvi KOKO:sta on julkaistu uusi versio.

http://finto.fi/koko/

Tämänkertaisessa päivityksessä on korjailtu automaattisesti yhteen romahtanaita mutta keskenään samankaltaisia käsitteitä vuosien varrelta. Jos teillä on kysyttävää tai kommentoitavaa KOKO:sta, otamme palautetta mieluusti vastaan sähköpostitse [email protected] .

Tässä päivityksessä uudet KOKOn käsitteet ovat peräisin uudistetusta YSOsta, KAUNOsta, MAO/TAOsta ja OMAsta. Tarkempi muutosloki löytyy täältä: KOKOn muutokset 27.12.2022

HKLJ-luokitus on päivitetty

HKLJ-luokituksen hakemistoa on täydennetty ja luokkaotsikoille on lisätty englanninkieliset nimet. Päivityksen myötä HKLJ-luokitus saavuttaa aiempaa laajemman käyttäjäkunnan.

Finto-palvelussa suunnitellaan aktiivisesti vuoden 2023 toimintaa. Palvelun yksi keskeisimmistä työkohteista on Finto.fi-alustan ylläpito ja kehitys. Finto.fi perustuu Finto-palvelussa kehitettävään avoimen lähdekoodin Skosmos-ohjelmistoon.


Laadimme parhaillaan tiekarttaa Finto.fi:n vuoden 2023 kehitykselle, ja kuulisimme mielellämme käyttäjien näkemyksiä siitä mihin suuntaan Finto.fi:tä tulisi kehittää. Toivotko uudenlaisia hakuominaisuuksia? Nopeusparannuksia? Miten olemassaolevia ominaisuuksia voisi kehittää entistä paremmin käyttäjin tarpeisia vastaaviksi? Voit visioida suurempia kehityslinjoja tai ehdottaa pieniä parannuksia.


Jätä perusteltu ehdotuksesi Flinga-tauluun 15.1.2023 mennessä: 

https://edu.flinga.fi/s/ELDUNUR

Voit myös kannattaa muiden jättämiä ehdotuksia.



Finto.fi:n/Skosmoksen vuoden 2023 Roadmap julkaistaan Skosmoksen GitHubin Wikissä alkuvuodesta 2023.

YKL päivitetty

YKL-luokitusta on jälleen päivitetty. Päivitys sisältää täydennyksiä useisiin eri luokkiin. Esimerkki uudesta hakusanasta on "porokilpailut (79.9)".

finto.fi/ykl/fi/

Finto AI:n automaattisessa asiasanoituksessa käyttämät koneoppimismallit on jälleen päivitetty. Päivityksessä on tavan mukaan käytetty laajempaa ja tuoreempaa aineistoa mallien koulutuksessa. Lisäksi käytössä on tästä lähtien YSO:n versio päivämäärältä 2.11.2022  (ml. YSO-paikat). Päivityksen myötä Finto AI:ssa otettiin käyttöön automaattisen asiasanoittajan Annifin versio 0.59.

Finto AI:n käyttämät, valmiiksi koulutetut mallit tarjotaan ladattavina tiedostoina niille, jotka haluavat pystyttää vastaavan palvelun paikallisesti, ks. https://annif.org/download/models/

Olemme myös suunnitelleet toimintaamme automaattisen kuvailun osalta vuodelle 2023. Jatkamme automaattisen asiasanoituksen kehittämistä ja laadun parannusta. Tähtäimessämme on julkaista Annifin versio 1.0. Tarkoituksemme on myös laajentua luokitusten (YKL, Thema) puolelle. Uudistamme myös Finto AI:n toiminnallisuuksia ja päivitämme palvelun visuaalista ilmettä! Julkaisemme varsinaisen suunnitelman sen valmistuttua.

Ruotsin kansalliskirjasto on ottanut automaattisen kuvailun työkalun Annifin käyttöön SwePub-julkaisurekisterissä (https://swepub.kb.se/).

Tässä käyttötapauksessa Annifin tehtävä on antaa ehdotuksia julkaisun tieteenalaluokasta pohjautuen alan ruotsalaiseen luokitukseen (Standard för svensk indelning av forskningsämnen). Käyttöönotosta voit lukea lisää ruotsiksi Ruotsin kansalliskirjaston verkkosivuilta (kohta Ämnesklassificering) ja sen tekninen toteutus on kuvattu GitHubissa. Annif korvasi SwePubin aiemman automaattisen luokituksen järjestelmän.

Annifista löytyy tuttuun tapaan lisätietoja esimerkiksi asiakaswikistä.

Mediataiteen erikoisontologia OMA on päivitetty. Päivityksessä lisättiin 40 uutta käsitettä. Näihin kuuluvat muun muassa laitehakkerointi, väriavainnus ja videotietokannat. Ontologiaa voit tarkastella täällä.

Finto AI:n käyttöohje

Finto AI -palvelun käytöstä puoliautomaattisessa sisällönkuvailussa on julkaistu ohje asiakaswikissä (https://www.kiwi.fi/x/6QAnEg).  Ohje kuvaa kohta kohdalta, miten verkkolomakkeen kautta saa tekstille asiasanaehdotuksia. Samassa yhteydessä esitellään lyhyesti Finto AI -palvelua sekä puoliautomaattista ja automaattista sisällönkuvailua yleensä. Ohjeen on tuottanut Sisällönkuvailun asiantuntijarymä Finto AI:n kehittäjien kanssa.

JUHO päivitetty

Julkishallinnon erikoisontologia JUHO on päivitetty. Päivityksessä päähuomio oli JUHOn ja YSOn välisten suhteiden ajantasaistamisessa sekä näiltä osin tietomallin parantamisessa. Muun muassa YSOon suuntautuvan owl:equivalentClass-suhteen sisältävät JUHO-käsitteet deprekoitiin ja niissä olevat ekvivalenssi-suhteet muutettiin ysometa:deprecatedReplacedBy-suhteiksi. Deprekoitavien käsitteiden alakäsitteiden uusiksi yläkäsitteiksi määriteltiin aiemmassa ekvivalenssisuhteessa ollut YSO-käsite. Lisäksi poistettiin tarpeeton hasPoiminta-property ja sen käyttötapaukset. Päivitykseen sisältyy myös sekä uusia että päivitettyjä käsitteitä ja joitakin deprekointeja.