Rond metadata is er opensource tooling aanwezig. Op basis van deze tools willen we een onderzoek doen welke functionaliteiten deze tools bieden en wat de verschillen zijn. Dit in relatie tot open standaardisatie en ondersteuning van het metadata beheer
Tools zoals Open metadata catalog, Aristotle metadata register, The Essential Project data management. Op basis van dit onderzoek naar de tools ontstaat er een beeld welke capabilities de diverse tools bieden. Op basis hiervan kan een geinteresseerde lezer zich een beeld vormen welke capabilities belangrijk zijn n de aanwezige tooling en in de eigen context van de organisatie
- Bert Dingemans (aanspreekpunt)
- Priyanka
- Pieter Buur
Na enig onderzoek ben ik op drie open source metadata registers gekomen. Hopelijk vinden we er nog meer in ons onderzoek naar open source metadata registers. Hieronder de links naar de drie gevonden metatdata registers die we kunnen onderzoeken op functionaliteit en metameta datamodel:
Daarnaast is er een mooii overzicht van metadata tools op Github: https://github.com/opendatadiscovery/awesome-data-catalogs
Bij alle vier kom je via deze links in een voorbeeldomgeving om de tool te evalueren.
Hieronder een stuk tekst van Priyanka met een aantal mooie metadata standaarden die waarschijnlijk relevant zijn voor metadata registers
Ik weet niet zeker of ik ook een kort artikel moet schrijven. Mijn belangrijkste bevindingen zijn:
DCAT wordt gebruikt als een algemene metadata-standaard in veel grote EU-projecten. Deze projecten worden vaak gecoördineerd via SEMIC: https://github.com/semiceu
Er zijn verschillende versies/profielen van DCAT voor verschillende domeinen.
Voor het beheer van data en metadata zijn er tools zoals CKAN.
Er zijn ook andere tools en projecten die gebaseerd zijn op Python of Java.
Andere bekende open-source tools zijn DataHub, Egeria en Amundsen.
Bekende commerciële aanbieders zijn Collibra, Alation en Atlan.
Veel andere tools worden uitgebreid genoemd in deze lijst: https://github.com/opendatadiscovery/awesome-data-catalogs
Ik heb ook deze bronnen bekeken:
https://dl.acm.org/doi/10.1145/3680127.3680130
https://data.europa.eu/sites/default/files/report/Georges%20Lobo%20%26%20Pavlina%20Fragkou.pdf
https://www.noraonline.nl/wiki/Standaarden_metadatamanagement
https://www.forumstandaardisatie.nl/open-standaarden/aanbevolen
https://www.forumstandaardisatie.nl/trefwoord/metadata?page=0
https://interoperable-europe.ec.europa.eu/collection/semic-support-centre/mldcat-ap-semantic-foundation-ai-act-transparency-and-compliance
https://interoperable-europe.ec.europa.eu/eu-oss-catalogue/solutions?oss_keys=metadata
Een interessant punt is dat DCAT-AP nu ook wordt uitgebreid richting AI-governance. Een voorbeeld hiervan is MLDCAT-AP, ontwikkeld door SEMIC/OpenML. Dit sluit aan bij de EU AI Act en de AI Code of Practice.
Dit kan een belangrijke verbinding zijn tussen integraal metadatabeheer en AI-management. Trainings- en validatiedatasets en AI-modellen kunnen met dezelfde DCAT-basis worden beschreven. MLDCAT-AP voegt hiervoor extra informatie toe, bijvoorbeeld over benchmarks, hardware, milieu-impact en verschillende soorten data/modellen.
Dit lijkt mij een interessante ontwikkeling om verder te bekijken.