UKJ:n metatietovarannon tietomallin päätösehdotus

UKJ:n metatietovarannon tietomallin toteuttamisvaihtoehdot: eri vaihtoehtojen vertailu luettavissa tässä dokumentissa. KVP:n asiantuntijat sekä kuvailun ja kokoelmien hallinnan asiantuntijaryhmä sekä UKJ-projektin projektinhallintaryhmä ovat puoltaneet alla nähtävää UKJ-projektiryhmän esitystä.

Esitys: Projektiryhmä esittää järjestelmän sisäisen tietomallin rakentamista ensimmäisessä vaiheessa MARC-pohjalta, koska ratkaisu takaa UKJn nopeamman ja varmemman käyttöönoton valmiiden kansainvälisten määrittelyjen pohjalta. Tällä hetkellä ei ole olemassa valmista kansainvälistä tietomallia, joka toteuttaa RDA säännöstöä. FRBR-mallin mukaiseen aidosti RDA-kuvailustandardia toteuttavaan ratkaisuun siirrytään myöhemmin, joko valmiiden kansainvälisten standardien (kuten Bibframe) pohjalta tai kansallisilla määrittelyillä. Oman tietomallin rakentamisella saataisiin alusta alkaen asetettujen tavoitteiden mukainen ratkaisu, mutta riskit oman tietomallin rakentamisessa ovat suuret mm. yhteentoimivuuden rakentamisessa, jatkokehittämisessä ja kustannuksien ennakoinnin suhteen.

RDAn käyttöönotto MARC-formaatissa

RDAn käyttöönoton myötä MARC 21 -formaattiin lisätään RDAn mukaiset kentät ja nämä kentät otetaan käyttöön järjestelmän kuvailutyökalussa ja indeksoidaan tiedonhakua varten. Metatiedon laadun varmistamiseksi myös RDA-kenttien validointi tulee kehitettäväksi. Jotta RDA-kenttiä voidaan hyödyntää asiakaskäyttöliittymissä (kuten Finna), tulee myös niiden indeksejä päivittää.

Toistaiseksi RDAn käyttöönottaneet kirjastot Kongressin kirjaston johdolla soveltavat MARC-formaattia. Suomalaisiin kirjastoihin poimitaan runsaasti tietueita näistä kirjastoista ja RDA-kentät jätetään tietueisiin valmiiksi tulevaa käyttöä varten. Vaikka kaikkia RDAn piirteitä, kuten täysimääräistä tietueiden linkkausta, ei voidakaan toteuttaa MARC-formaatissa, on metatieto kuitenkin mahdollista konvertoida seuraavaan järjestelmään käytettäväksi. Kongressin kirjasto ja sen yhteistyökirjastot valmistelevat siirtymää uuteen formaattiin. Suomi seuraa tiiviisti kansainvälistä kehitystä ja on mahdollisesti mukana tulevissa työryhmissä. MARCin ja sen seuraajan laaja käyttäjäkunta ja metatietojen kansainvälinen yhteismitallisuus helpottaa tulevaa siirtymää.

Taustaa päätösehdotukselle

KUVAILUN (bibliografisten, varasto- ja auktoriteettitietojen) TIETOMALLIVAIHTOEHTOJA

Tausta: Toistaiseksi ei ole olemassa aidosti RDA-kuvailustandardin ja FRBR-mallin mukaisesti toteutettuja avoimen lähdekoodin eikä myöskään kaupallisia kirjastojärjestelmiä. UKJ-hankkeen valmisteluvaiheessa on tavoitteeksi on asetettu:

Kuvailun tavoite on tarkoituksenmukainen tiedonhakuympäristö, jossa käyttäjä voi löytää, tunnistaa, valita, saada käyttöönsä tietoa ja aineistoja. Tämän tavoitteen mahdollistaa funktionaalista kuvailua eli FRBR-mallia toteuttava RDA-kuvailustandardi. https://wiki.helsinki.fi/pages/viewpage.action?pageId=77175536

UKJ:n suunnittelun lähtökohtana on myös ollut aidosti formaattiriippumattoman tietokantaratkaisun toteuttaminen. Formaattiriippumattomuuden ajatuksena on, että järjestelmän sisäinen tietomalli ei ole suoraan sidoksissa mihinkään tiettyyn tallennusformaattiin. Järjestelmä pystyy ottamaan vastaan ja tuottamaan useissa eri tallennusformaateissa olevaa dataa, jonka lisäksi uusien tallennusformaattien tukeminen tulevaisuudessa on myös mahdollista. Järjestelmään tuotava data muunnetaan tuonnissa käytettävästä formaatista järjestelmän sisäisen tietomallin mukaiseksi ennen tietokantaan tallentamista. Dataa järjestelmästä ulospäin vietäessä muunnetaan data vastaavasti järjestelmän omasta tietomallista viennissä käytettävään formaattiin ennen datan uloskirjoittamista. Formaattiriippumattomuuden toimiminen käytännön tasolla edellyttää järjestelmän sisäisen tietomallin ja järjestelmän tukemien formaattien välisten mäppäysten tekemistä.

Kuali OLE:n tietokantaratkaisu on periaatteessa formaattiriippumaton, sillä OLE ei aseta rajoituksia tietokantaan tallennettavan datan formaatille. OLE on suunniteltu tukemaan useita rinnakkaisia formaatteja, joten oman sisäisen tietomallin luominen ei tästä näkökulmasta pitäisi olla ongelma. OLE:n tällä hetkellä bibliografisen datan tallennukseen käyttävät formaatit (MARCXML, Dublin Core) ovat siinä suhteessa yhteismitallisia, että kummassakin formaatissa yhtä bibliografista tietuetta vastaa yksi XML-muotoinen tietue. RDA-entiteetteihin perustuvassa tietomallissa yksittäinen MARC-tietue jaetaan sen sijaan neljään erilliseen osaan sekä eri osien välisiin suhteisiin. Järjestelmän näkökulmasta ero on merkittävä ja sen toteuttaminen on varmuudella haastavampaa kuin esimerkiksi uuden yksitasoisen tietomallin lisääminen.

UKJ:n tietokantaratkaisusta erityisesti Kuali OLEn osalta ks. tarkemmin https://www.kiwi.fi/display/ukjkuvaus/UKJ%3An+tietokantaratkaisusta

Formaattiriippumattoman tietokantaratkaisun tavoitteena on myös mahdollistaa tietoelementtien ja tuettavien (tuonti ja vienti) formaattien lisäys tarvittaessa. Tuettavat metatietostandardit on määritelty dokumentissa: https://www.kiwi.fi/pages/viewpage.action?pageId=17762412

 

 

Muita:
VTLS Virtua -tyyppinen tietomalli http://www.tandfonline.com/doi/pdf/10.1080/01639374.2012.679882)
+ ketterää kehitystä tukeva lähestymistapa tietomalliin (ts. kehitetään mallia tarpeiden mukaan)
+MARC-yhteensopiva
+FRBR-tuki saadaan kuvailun käyttöliittymään, mutta FRBR-mallin tuen rakentaminen on teknisesti haastavaa

CIDOC CRM FRBRoo www.cidoc-cm.org

• Kypsin FRBR-yhteensopiva tietomalli
• Myös Suomessa kokemuksia (mm. Kaisa Hypen; kirjasampo, museosuomi)
• FRBRoo-osio elää
• ei vastaa kirjastoalan tarpeita täysin

bibjson http://www.bibjson.org/
+Formaattiriippumaton, mutta kuitenkin kirjastoille räätälöity tietomalli
-Vähän kokemuksia

Europeana Data Model www.europeana.eu

British Library Data Model & Schema: http://www.bl.uk/bibliographic/datafree.html
Bibliothèque nationale de France: http://data.bnf.fr/images/graphe_complet.pdf
Library of Congress: http://www.loc.gov/standards/mods/modsrdf/primer.html  MODsia ei käytetä kuvailuun Suomessa.

YHTEENVETO

Kansalliskirjaston asiantuntijoiden keskustelun perusteella toteutusvaihtoehdoksi määriteltiin RDA-kuvailustandardin käyttöönotto ainakin alkuvaiheessa joko MARC 21 -formaatissa tai RDAta tukevassa kuvailun kansallisessa tietomallissa. Vaihtoehdoista jätettiin pois toteutus Bibframe-formaatissa sekä Libris XL:n kaltainen ratkaisu.

Bibframen kehitys ei ole edennyt toivotulla tavalla ja toistaiseksi vain luonnos on saatavissa, joten UKJ:n aikataulun kannalta vaihtoehtoa ei voida toteuttaa suunnitellussa aikataulussa, varsinkin kun Bibframen aikataulua ei ole vahvistettu. Käytettävissä olevan luonnoksen perusteella on toistaiseksi mahdotonta rakentaa kestävää ratkaisua, kun tärkeät rakenteelliset seikat, kuten varastotietojen käsittelyn ratkaisut, puuttuvat.

Libris XL:n mappaukset vaikuttavat vajavaisilta, eikä dokumentaatiota ole käytettävissä. Tarkasta lopputuloksesta ja aikataulutuksesta ei myöskään ole tietoa. Libriksen lähtökohtana on ollut ketterä kehitys, joka pohjautuu ajatukseen, että metatiedot ovat tarvittaessa uudelleen siirrettävissä määritysten muuttuessa, kun paikalliskannat ovat edelleen tuotannosta. Koska UKJ:ssa on tarkoitus korvata paikalliskannat yhteisellä metatietovarannolla, samankaltaista ratkaisua ei voida tehdä, vaan ratkaisun on oltava alusta lähtien huomattavasti tarkemmin määritelty ja kokonaisuuden suunniteltu.

Vaihtoehto 1: RDA-kuvailustandardin käyttöönotto MARC-formaatissa

RDA-kuvailustandardin käyttöönotto voidaan toteuttaa kaksivaiheisena, jolloin ensimmäisessä vaiheessa käyttöönotto tapahtuu MARC 21 -formaatissa. Toisessa vaiheessa toteutetaan FRBR-malliin pohjautuva tietomalli täysimittaisesti, joko siirtymällä Bibframe-formaattiin tai muuhun metatietoformaattiin. Bibframe ei sovella suoraan FRBR-mallia, joten sen yhteentoimivuus  selvitetään erikseen, kun formaatti on valmis.

 Vaihe 1

RDA-säännöstö otetaan käyttöön ensimmäisessä vaiheessa MARC 21 -formaatissa. Ensimmäisessä vaiheessa käyttöliittymässä FRBR-mallia voidaan tukea visuaalisesti ja toiminnallisesti, ainakin osittain. Kuvailutyön kannalta RDA-kuvailustandardin toteuttaminen MARC 21 -formaatissa loiventaa siirtymää uuteen kuvailukäytäntöön, kun vain kuvailusäännöt ja järjestelmä muuttuva, mutta formaatti säilyy samana. MARC 21 bibliografisen formaatin lisäksi käytetään varasto- ja auktoriteettiformaatteja. MARC-formaattien ulkopuolisille tiedoille tarvitaan kuitenkin omat määritykset mm. historiatiedoille, nidetiedoille, käyttöoikeuksien metatiedoille yms.

Juha H: "Hallinnolliset metatiedot (tekniset, käyttöoikeus, pitkäaikaissäilytys) sekä rakenteelliset metatiedot kannattaisi käsitellä KDK:n standardisalkun ja muiden suositusten pohjalta. UKJ:stä pitää olla mahdollista tuottaa siirtopaketteja PAS-järjestelmään ja UKJ:n pitää pystyä ottamaan vastaan PAS-sovelluksen jakelupaketteja. Näillä näkymin tarvittavat käyttöoikeuksien metatiedot voidaan tallentaa MARC 21 -formaatissa kun PAS-järjestelmän tarvitsema infomaatio tallennetaan PREMIS Rights -muotoon vasta PAS-sovelluksessa. Mutta auki on rakenteellisen, teknisen sekä pitkäaikaissäilytyksen metatiedon käsittelyn tapa ja tarve.

METS-paketista löytyvää rakenteellista metatietoa UKJ:n ei tarvitse ymmärtää, koska sitä käyttävät Doria, Finna yms. aineiston esittämiseen. Myös teknisen metatiedon käsittelyn tarve voi olla rajallinen, tuskinpa me ryhdymme editoimaan tietoja siitä, millaisella skannerisäädöillä digitoitu kuva on tehty. Mutta pitkäaikaissäilytyksen metatieto on oleellista ja se muuttuu esimerkiksi jokaisen migraation yhteydessä. Toistaiseksi mikään kirjastojärjestelmä ei osaa käsitellä tätä metatietoa muuten kuin siltä vähäiseltä osalta kuin tätä dataa tallennetaan MARC 21 -muotoon. PREMIS-metadataa tukevat vain varsinaiset PAS-sovellukset, eivätkä nekään kaikki. Niin kauan kuin emme tiedä miten paljon Bibframe laajenee tälle alueelle, on vaikea sanoa pitäisikö UKJ-sovelluksenkin ennen pitkää tukea PREMISiä. Alkuvaiheessa tämmöistä kirjastojärjestelmää tuskin löytyy."

 Kuvailijan käyttöliittymässä malli voidaan näyttää joko MARC-kenttinä tai tietoelementtien niminä tai parhaimmillaan kuvailija voi valita haluamansa muodon. Tallennusalustat rakennetaan tukemaan FRBR-mallia entiteetteineen ja suhteineen, mutta varsinainen metatieto tallennetaan kirjastojärjestelmään MARC 21 -formaatissa.

FRBR-mallia tukevia toiminnallisuuksia toteutetaan tarpeen mukaan. Ensisijaisia toteutettavia toiminnallisuuksia ovat linkitykset entiteettiryhmän 1 (teos-ekspressio-manifestaatio-kappale) sisällä kuten myös linkitykset aihetta kuvaaviin käsitteisiin (Finto-ontologia) sekä henkilö- ja yhteisöentiteetteihin (Asteri). Osakohteissa pyritään myös tukemaan linkityksiä. Erityistä huomiota ratkaisussa keskitetään mm. tuplakontrolliin ja sitä tukeviin toimintoihin (esim. Kansalliskirjastossa tehtyjen merge+ ja splitter-ohjelmien integrointi) sekä tietokannan ylläpidon ja tietokantahuollon välineisiin kuten massamuutosvälineet. Myös replikoinnin ratkaisut ovat osittain valmiina, kun järjestelmän sisäinen tieto on edelleen MARC 21 -formaatissa.

Mikäli Bibframe tai muu tietomalliratkaisu saadaan käyttöön lähitulevaisuudessa, laajoihin toiminnallisuuksiin ei kannata panostaa. Mikäli MARC-formaatin käyttö jatkuu pidempään, toiminnallisuuksia toteutetaan laajemmin tarpeen mukaan.

Ratkaisun etuna on nopea käyttöönotto, sillä MARC 21 -formaatin tuki on valmiina Kuali OLEssa, Kansalliskirjastossa tehtävässä luettelointityökalussa ja asiakaskäyttöliittymänä toimivassa Finnassa. Muina etuina on MARC 21 -formaatin laaja käyttäjäkunta ja datan yhteismitallisuus kansallisesti ja kansainvälisesti. MARC 21 -formaatin käyttöönotolla ensi vaiheessa varmistetaan myös Finnan toimivuus, kun muutoksia haravointiin, indekseihin yms. ei tarvitse toistaiseksi tehdä. Tarvittavia omia lisäyksiä voidaan tehdä käyttämällä MARC-formaatin 9-kenttiä tai lisäämällä aputauluja. Myös varastotietojen MARC 21 -formaattiin joudutaan tekemään mahdollisesti pieniä muutoksia. Luettelointityökaluun joudutaan tekemään muutoksia erityisesti käyttöliittymän näkymissä, mutta jonkin verran myös toiminnallisuuksissa.

Vaihe 2

Aidosti FRBR-mallin ja RDA-kuvailusäännöstön mukainen linkitetyn datan tietomalli otetaan käyttöön toisessa vaiheessa. Vaihtoehtona voi olla Bibframen formaatin käyttöönotto tai oman tietomallin laadinta. Mikäli bibframe-formaatti ei toteudu,  linkitetyn datan mallin kehitystä jatketaan tarpeen mukaan mahdollisesti yhteistyössä muiden kanssa esim. Euroopassa.  Kuali OLEn suunnitelmien mukaisesti on mahdollista, että järjestelmään rakennetaan Bibframe-tuki ja apuvälineet siirtymiseksi. Mikäli näin ei käy, tietomallin valinnan ja sovittamisen tai määrittelyn lisäksi tässä vaiheessa on toteutettava luettelointityökalun ja järjestelmän muiden osien sovittaminen uuteen tietomalliin. Tämä voi lisätä järjestelmän kehittämiseen tarvittavaa resurssointia merkittävisti.  

Myöhemmin toteutettavassa linkityn datan mallin toteutuksen uhkana on rahoituksen puuttuminen, mikäli toteutus jää varsinaisen hankkeen valmistumisen jälkeiseen aikaan tai rahoitusta ei saada koko hankekaudelle. Edelläkävijyyden sijaan onkin riskinä, että jäämme MARC-formaattiin muiden siirryttyä aidosti FRBR-mallin mukaiseen linkitettyyn dataan. 

Vaihtoehto 2: RDA-kuvailustandardiin pohjautuva kuvailun kansallinen tietomalli

Mikäli UKJhin laaditaan oma kansallinen ja täysin formaattiriippumaton tietomalli, se mahdollistaa kirjastojärjestelmän kuvailun ja kokoelmien hallinnan metatietojen vastaavan sekä vaatimusmäärittelyä että valmisteluvaiheessa tehtyjä linjauksia. Tietomallilla voidaan tukea RDA-kuvailusäännöstön ja FRBR-tietomallin mukaista kuvailua täysimittaisesti, kun nykyisestä tietuemallista siirrytään entiteettien kuvailuun.

Tietomallilla voidaan mahdollistaa myös käsitteellinen ja rakenteellinen yhdenmukaisuus kuvailustandardin, tietomallin ja kirjastojärjestelmän välillä. Järjestelmän sisäinen tietomalli on tällöin myös täysin omassa hallinnassamme ja kehitettävissä tarpeen mukaan sekä pohjautuu sisällöllisiin tarpeisiin. Kansallinen malli aiheuttaa myös riskin, kun kehittämistyötä ei voida jakaa kansainvälisesti ja se tullee vaatimaan asiantuntemusta ylläpidossa myös myöhemmin. Myös mahdolliset uudet formaatit kansainvälisesti tulevat aiheuttamaan lisätyötä, konversioiden, adapterin rakentamisen ym. määrittelyjen takia.

Kuvailu- ja hakutietojen erottaminen eri entiteetteihin tehostaa kuvailun käytäntöjä, kun samoja tietoelementtejä ei toisteta useissa tietueissa. Uuden kuvailustandardin RDAn, uuden tietomallin mukainen tallennusmuoto ja käyttöliittymän kokonaisuus muuttaa käytännön kuvailutyötä kerralla erittäin merkittävästi. Kuvailun rakenteen ja käsitteiden muuttuessa merkittävästi täysin häviötöntä konversiota voi olla mahdoton toteuttaa. 

Kuali OLE järjestelmään tehtäviä muutoksia monitasoisen tietomallin takia on tässä vaiheessa mahdotonta tarkkaan ennakoida. Myös luettelointityökalu tarvitsee muutoksia uuden tietomallin käyttöönoton takia. Finnan sovittamisen onnistuminen UKJn aikataulussa muutoksiin on myös riskinä tässä vaihtoehdossa.

Toteutusvaiheessa malli vaatii runsaasti sisältö-, formaatti- ja järjestelmäasiantuntemusta. Tietomallin ylläpidossa ja kehittämisessä saattaa tulla myös myöhemmin kustannuksia, kun esim. tuettavat metatietoformaatit muuttuvat tai kehittyvät.

Ratkaisu tulee teettämään runsaasti työtä sovitettaessa monitasoista kuvailua muuhun järjestelmään, joka on rakennettu yksitasoisen bibliografisen kuvailun pohjalta. Tarvittavien muutosten määrää on tässä vaiheessa mahdoton ennakoida. Toisaalta tällä ratkaisulla saadaan alusta alkaen valmisteluvaiheen tavoitteiden ja vaatimusmäärittelyiden mukainen kuvailuympäristö ja metatietovaranto eikä järjestelmää tarvitse muuttaa useaan kertaan. Ratkaisu ei kuitenkaan sulje pois Bibframen tai muun metatietoformaatin käyttöönottoa tulevaisuudessa, mikäli toimivia ja kansainvälisesti tuettuja metatietomalleja tulee yleisesti käyttöön.

Päätösehdotus

Projektiryhmä on päätynyt esittämään järjestelmän sisäisen tietomallin rakentamista ensimmäisessä vaiheessa MARC-pohjalta, koska ratkaisu takaa UKJn nopeamman ja varmemman käyttöönoton valmiiden kansainvälisten määrittelyjen pohjalta. FRBR-mallin mukaiseen aidosti RDA-kuvailustandardia toteuttavaan ratkaisuun siirrytään myöhemmin, joko valmiiden kansainvälisten standardien (kuten Bibframe) pohjalta tai kansallisilla määrittelyillä.  Oman tietomallin rakentamisella saataisiin alusta alkaen asetettujen tavoitteiden mukainen ratkaisu, mutta riskit oman tietomallin rakentamisessa ovat suuret mm. yhteentoimivuuden rakentamisessa, jatkokehittämisessä ja kustannuksien ennakoinnin suhteen.