Data Principes | Gemeente |

Gemeente

Versie	1.0
Creatie datum	29-03-2024

Elementen

Principle

Er zijn algemeen geldende principes wanneer en hoe we gegevens pseudonomiseren en anonimiseren. Beleid hierover wordt gemonitord
Het is op detailniveau mogelijk om te achterhalen hoe het veld is opgebouwd, en waar de data vandaan komt (als dit technisch mogelijk is)
Frontend mag niet inprikken op een hogere backend omgeving
Voor Damhof kwadrant 3 (ad hoc) en 4 (innovatie) producten is het toegestaan om direct van ontwikkel naar productieomgeving te promoveren.
Opkomende technologieën
Lineage wordt geregeld met een tool (bv purview).
Security
Tactisch
Validatieviews en validatiemails worden gebruikt om datakwaliteit te verhogen.
Risk Based Approach
Het is minimaal bekend welke bronnen zijn gebruikt bij de tot standkoming van het (eind)product.
Historisering
Strategisch
Er zijn(komen) procedures om om te gaan met bewaartermijnen
Identiteiten die een rol spelen bij integratie worden, inclusief de relevante rechten, vastgelegd in de centrale identity & access management (IAM) inrichting van Gemeente.
Een dataset geeft inzicht in wanneer de data de laatste keer ververst is
GLO
Data Toegang
Navragen bij Olav/Jahmale .. is dat niet logisch? Is het niet belangrijker te stellen dat we op een lagere omgeving niet met productie data testen?
Kwaliteit
Informatiemodel Standaarden
Er wordt een beheersysteem voor oxygen/nitrogen ingericht. Hiermee kan het (goed) laden van bestanden worden beheerd
Privacy gevoelige productiedata wordt op de ontwikkelomgeving versleuteld
Open data voor iedereen
Enkelvoudige ontsluiting, meervoudig gebruik
Data wordt in RAW opgeslagen in het parquet bestandsformaat
Indien een laadproces faalt, wordt er een notificatie gestuurd.
Voldoen aan de Wet Hergebruik Overheids Informatie (Open Data) en de Wet Open Overheid (WOO)
Op de productieomgeving wordt enkel productie data geladen.
Voldoen aan AVG
Centrale gegevensontsluiting
Cloud first
Bugfixes die kritische productieverstoringen oplossen kunnen bij hogere uitzondering direct op P uitgerold worden, maar deze moeten daarna ook uitgerold worden op alle lagere omgevingen.
Inventarisatie
Software wordt ontwikkeld op de ontwikkelomgeving
We zetten in op templates via Nitrogen voor automatisering van pipelines.
Bronniveau: Van het dataobject is het bekend welke bronsystemen gebruikt zijn om het dataobject samen te stellen
Security by Design
Damhof
Centrale IAM
Van een kwadrant 1 dataset zijn de gebruikte definities bekend
Geometrie informatie wordt altijd in het WKT formaat vastgelegd op de intermediate laagje
Automate by Design
open wat kan, vertrouwelijk wat moet
De [current] view bevat de meest recent geladen data, ongeacht hoe oud deze data is
We automatiseren pipelines en data modellering waar mogelijk.
Op de ontwikkelomgeving worden waar mogelijk alleen subsets van data gebruikt
Van iedere dataset is beschreven wat de kwaliteit, gevoeligheid en authenticiteit is.
Niemand heeft toegang tot data totdat er expliciet toegang is verleend.
Kolomniveau: het is van iedere kolom van het dataobject bekend welke kolommen, objecten en bronnen gebruikt zijn om de kolom samen te stellen
Cloud First Detail
Centrale logging
Het Platform voor Data en Analyse
Schaalbaarheid
Mens Centraal
Service Geörienteerde Architectuur
Gegevensbescherming
Transparantie
Data hergebruik
De [historical] views op de interemediate container bevatten alle historische data die via laadmomenten is aangeboden
De views bovenop de intermediate container bestaan uit een [current] en [historical] namespace.
Voldoen aan archiefwet
DTAP
Eenduidig datamanagement
Software kan alleen op een hogere omgeving geïnstalleerd worden als de software ook op alle lagere omgevingen is uitgerold (D-->T-->A-->P)
Het borgingsproces(van K4 naar K2) wordt uitgevoerd door het cluster(bronhouder) en beheerd door het uitvoerende scrumteam
Op de ontwikkelomgeving wordt waar mogelijk geen productiedata gebruikt.
Datamanagement
(raw, intermediate, dataproduct, dataset)
Er is bekend op welke storagelaag de data zich bevind.
Geometrie informatie wordt altijd in op de intermediate laag vastgelegd in zowel het WGS84 stelsel als in het Rijksdriehoekstelsel
Continue verbetering
Ook open datasets moeten worden toegewezen aan gebruikers en/of groepen
Voor openbare data is geen GLO nodig.
De laadprocessen kunnen gevalideerd en beoordeeld worden.
Maximale standaardisatie
FAIR
Voor ad-hoc datasets wordt de productiestraat ingekort
Dataminimalisatie
De intermediate historical en current views zijn technisch bepaald op basis van de instellingen van Nitrogen, als de bron historische data aanlevert, landt deze ook in de current view.
Kostenefficiency
Objectniveau: het is bekend welke objecten en welke bronnen gebruikt zijn om het dataobject samen te stellen
Governance
Als er geen historie wordt opgebouwd (SCD type 1), blijft de historical view op de intermediate container leeg
Indien de bron alleen productiedata aan kan leveren, wordt dit toegestaan.
Privacy by Design
Data wordt zonder wijzigingen ontsloten in RAW
We onderscheiden 3 niveau's van lineage:
Gestructureerde data is beschikbaar via T-SQL-views die zowel op RAW en Intermediate kunnen inprikken.
API’s worden ontsloten via Databricks, via Nitrogen pipelines gedreven
Indien er afspraken gemaakt zijn met een leverancier over de levering van data, dan mag de data alleen uitgerold worden naar productie als er een getekende GLO is.
Kwaliteit en integriteit
Historie wordt vastgelegd in intermediate-laag.
Ethiek
Data als Bedrijfsmiddel
Feitelijke data landt in raw en optioneel intermediate en wordt optioneel verwerkt in golden layer
Het heeft ALTIJD de voorkeur om opleveringen via de DTAP straat te ontwikkelen en op te leveren.
Olav/Jahmale, wat bedoelen jullie hiermee? Ik neem aan dat je niet met Frontend D wil inprikken op Backend P?
Dimensionele modellen worden fysiek/persistent vastgelegd indien dit voor de performance noodzakelijk is

Diagrammen

Gemeente principes

Repostory diagram

Gemeente

Elementen

Principle

Diagrammen

Gemeente principes

Links 2 Tags