Data Principes | Gemeente | Gemeente principes |

Gemeente principes

Versie	1.0
Creatie datum	07-01-2025

Diagram in leesweergave

Elementen op Diagram

Principle

• Er zijn algemeen geldende principes wanneer en hoe we gegevens pseudonomiseren en anonimiseren. Beleid hierover wordt gemonitord
• Het is op detailniveau mogelijk om te achterhalen hoe het veld is opgebouwd, en waar de data vandaan komt (als dit technisch mogelijk is)
• Frontend mag niet inprikken op een hogere backend omgeving
• Voor Damhof kwadrant 3 (ad hoc) en 4 (innovatie) producten is het toegestaan om direct van ontwikkel naar productieomgeving te promoveren.
• Opkomende technologieën
• Lineage wordt geregeld met een tool (bv purview).
• Security
• Tactisch
• Validatieviews en validatiemails worden gebruikt om datakwaliteit te verhogen.
• Risk Based Approach
• Het is minimaal bekend welke bronnen zijn gebruikt bij de tot standkoming van het (eind)product.
• Historisering
• Strategisch
• Er zijn(komen) procedures om om te gaan met bewaartermijnen
• Identiteiten die een rol spelen bij integratie worden, inclusief de relevante rechten, vastgelegd in de centrale identity & access management (IAM) inrichting van Gemeente.
• Een dataset geeft inzicht in wanneer de data de laatste keer ververst is
• GLO
• Data Toegang
• Navragen bij Olav/Jahmale .. is dat niet logisch? Is het niet belangrijker te stellen dat we op een lagere omgeving niet met productie data testen?
• Kwaliteit
• Informatiemodel Standaarden
• Er wordt een beheersysteem voor oxygen/nitrogen ingericht. Hiermee kan het (goed) laden van bestanden worden beheerd
• Privacy gevoelige productiedata wordt op de ontwikkelomgeving versleuteld
• Open data voor iedereen
• Enkelvoudige ontsluiting, meervoudig gebruik
• Data wordt in RAW opgeslagen in het parquet bestandsformaat
• Indien een laadproces faalt, wordt er een notificatie gestuurd.
•  Voldoen aan de Wet Hergebruik Overheids Informatie (Open Data) en de Wet Open Overheid (WOO)
• Op de productieomgeving wordt enkel productie data geladen.
•  Voldoen aan AVG
• Centrale gegevensontsluiting
• Cloud first
• Bugfixes die kritische productieverstoringen oplossen kunnen bij hogere uitzondering direct op P uitgerold worden, maar deze moeten daarna ook uitgerold worden op alle lagere omgevingen.
• Inventarisatie
• Software wordt ontwikkeld op de ontwikkelomgeving 
• We zetten in op templates via Nitrogen voor automatisering van pipelines.
• Bronniveau: Van het dataobject is het bekend welke bronsystemen gebruikt zijn om het dataobject samen te stellen
• Security by Design
• Damhof
• Centrale IAM
• Van een kwadrant 1 dataset zijn de gebruikte definities bekend
• Geometrie informatie wordt altijd in het WKT formaat vastgelegd op de intermediate laagje
• Automate by Design
• open wat kan, vertrouwelijk wat moet
• De [current] view bevat de meest recent geladen data, ongeacht hoe oud deze data is
• We automatiseren pipelines en data modellering waar mogelijk.
• Op de ontwikkelomgeving worden waar mogelijk alleen subsets van data gebruikt
• Van iedere dataset is beschreven wat de kwaliteit, gevoeligheid en authenticiteit is.
• Niemand heeft toegang tot data totdat er expliciet toegang is verleend.
• Kolomniveau: het is van iedere kolom van het dataobject bekend welke kolommen, objecten en bronnen gebruikt zijn om de kolom samen te stellen 
• Cloud First Detail
• Centrale logging
• Het Platform voor Data en Analyse
• Schaalbaarheid
• Mens Centraal
• Service Geörienteerde Architectuur
• Gegevensbescherming
• Transparantie
• Data hergebruik
• De [historical] views op de interemediate container bevatten alle historische data die via laadmomenten is aangeboden
• De views bovenop de intermediate container bestaan uit een [current] en [historical] namespace.
•  Voldoen aan archiefwet
• DTAP
• Eenduidig datamanagement
• Software kan alleen op een hogere omgeving geïnstalleerd worden als de software ook op alle lagere omgevingen is uitgerold (D-->T-->A-->P)
• Het borgingsproces(van K4 naar K2) wordt uitgevoerd door het cluster(bronhouder) en beheerd door het uitvoerende scrumteam
• Op de ontwikkelomgeving wordt waar mogelijk geen productiedata gebruikt.
• Datamanagement
• (raw, intermediate, dataproduct, dataset)
• Er is bekend op welke storagelaag de data zich bevind.
• Geometrie informatie wordt altijd in op de intermediate laag vastgelegd in zowel  het WGS84 stelsel als in het Rijksdriehoekstelsel
• Continue verbetering
• Ook open datasets moeten worden toegewezen aan gebruikers en/of groepen
• Voor openbare data is geen GLO nodig.
• De laadprocessen kunnen gevalideerd en beoordeeld worden.
• Maximale standaardisatie
• FAIR
• Voor ad-hoc datasets wordt de productiestraat ingekort
• Dataminimalisatie
• De intermediate historical en current views zijn technisch bepaald op basis van de instellingen van Nitrogen, als de bron historische data aanlevert, landt deze ook in de current view.
• Kostenefficiency
• Objectniveau: het is bekend welke objecten en welke bronnen gebruikt zijn om het dataobject samen te stellen
• Governance
• Als er geen historie wordt opgebouwd (SCD type 1), blijft de historical view op de intermediate container leeg 
• Indien de bron alleen productiedata aan kan leveren, wordt dit toegestaan.
• Privacy by Design
• Data wordt zonder wijzigingen ontsloten in RAW
• We onderscheiden 3 niveau's van lineage:
• Gestructureerde data is beschikbaar via T-SQL-views die zowel op RAW en Intermediate kunnen inprikken.
• API’s worden ontsloten via Databricks, via Nitrogen pipelines gedreven
• Indien er afspraken gemaakt zijn met een leverancier over de levering van data, dan mag de data alleen uitgerold worden naar productie als er een getekende GLO is.
• Kwaliteit en integriteit
• Historie wordt vastgelegd in intermediate-laag. 
• Ethiek
• Data als Bedrijfsmiddel
• Feitelijke data landt in raw en optioneel intermediate en wordt optioneel verwerkt in golden layer
• Het heeft ALTIJD de voorkeur om opleveringen via de DTAP straat te ontwikkelen en op te leveren.
• Olav/Jahmale, wat bedoelen jullie hiermee? Ik neem aan dat je niet met Frontend D wil inprikken op Backend P?
• Dimensionele modellen worden fysiek/persistent vastgelegd indien dit voor de performance noodzakelijk is

---