Gemeente principes

Versie 1.0
Creatie datum 07-01-2025

Er zijn algemeen geldende principes wanneer en hoe we gegevens pseudonomiseren en anonimiseren. Beleid hierover wordt gemonitord

Het is op detailniveau mogelijk om te achterhalen hoe het veld is opgebouwd, en waar de data vandaan komt (als dit technisch mogelijk is)

Frontend mag niet inprikken op een hogere backend omgeving

Auteur MeDaMa
Alias OPI-29
Stereotypes Principle
Details van Frontend mag niet inprikken op een hogere backend omgeving

Voor Damhof kwadrant 3 (ad hoc) en 4 (innovatie) producten is het toegestaan om direct van ontwikkel naar productieomgeving te promoveren.

Opkomende technologieën

We maken optimaal gebruik van opkomende technologieën.

Auteur MeDaMa
Alias SPI-12
Stereotypes Principle
Details van Opkomende technologieën

Lineage wordt geregeld met een tool (bv purview).

Auteur MeDaMa
Alias OPI-33
Stereotypes Principle
Details van Lineage wordt geregeld met een tool (bv purview).

Security

We zorgen voor de beveiliging van de opslag en het gebruik van onze data.

Auteur MeDaMa
Alias DP-7
Stereotypes Principle
Details van Security

Tactisch

Auteur MeDaMa
Alias Principe
Stereotypes Principle
Details van Tactisch

Validatieviews en validatiemails worden gebruikt om datakwaliteit te verhogen.

Risk Based Approach

We volgen een Risk Based Approach waarbij er prioritering plaatsvindt op de standaard set BBN2 maatregelen die uit de BIO volgt

Auteur MeDaMa
Alias TPI-11
Stereotypes Principle
Details van Risk Based Approach

Het is minimaal bekend welke bronnen zijn gebruikt bij de tot standkoming van het (eind)product.

Historisering

Wanneer de bron deze voorziening niet biedt, wordt historisering opgebouwd op DAP’R.

Auteur MeDaMa
Alias TPI-6
Stereotypes Principle
Details van Historisering

Strategisch

Auteur MeDaMa
Alias Principe
Stereotypes Principle
Details van Strategisch

Er zijn(komen) procedures om om te gaan met bewaartermijnen

Auteur MeDaMa
Alias OPI-14
Stereotypes Principle
Details van Er zijn(komen) procedures om om te gaan met bewaartermijnen

Identiteiten die een rol spelen bij integratie worden, inclusief de relevante rechten, vastgelegd in de centrale identity & access management (IAM) inrichting van Gemeente.

Een dataset geeft inzicht in wanneer de data de laatste keer ververst is

GLO

We leggen afspraken gemaakt over het leveren van de data met de aanbieder vast middels een GLO. Voor openbare data is geen GLO nodig.

Auteur MeDaMa
Alias TPI-19
Stereotypes Principle
Details van GLO

Data Toegang

Auteur MeDaMa
Alias TPI-13
Stereotypes Principle
Details van Data Toegang

Navragen bij Olav/Jahmale .. is dat niet logisch? Is het niet belangrijker te stellen dat we op een lagere omgeving niet met productie data testen?

Kwaliteit

Ieder data element heeft een eigenaar. Onjuiste data wordt bij de bron gecorrigeerd. We beheren de kwaliteit van de gegevens actief. We melden gerede twijfel aan de bronhouder terug.

Auteur MeDaMa
Alias SPI-10
Stereotypes Principle
Details van Kwaliteit

Informatiemodel Standaarden

Data die ontsloten wordt via DAP’R is zoveel mogelijk gebaseerd op standaard informatiemodellen. Landelijk afgesproken standaarden hebben hierbij de voorkeur, gevolgd door marktstandaarden. Waar (nog) geen standaard voor . We bieden data(objecten) aan volgens gestandaardiseerde business entiteiten uit het conceptuele gegevensmodel. handen is, wordt eenduidigheid bereikt door gebruik van een centrale datacatalogus.

Auteur MeDaMa
Alias TPI-2
Stereotypes Principle
Details van Informatiemodel Standaarden

Er wordt een beheersysteem voor oxygen/nitrogen ingericht. Hiermee kan het (goed) laden van bestanden worden beheerd

Privacy gevoelige productiedata wordt op de ontwikkelomgeving versleuteld

Open data voor iedereen

Toelichting: Het idee is dat de data standaard niet toegankelijk is. Op basis van classificatie kan het open worden gezet (bv open data voor iedereen).

Auteur MeDaMa
Alias
Stereotypes Principle
Details van Open data voor iedereen

Enkelvoudige ontsluiting, meervoudig gebruik

We realiseren een data landschap en architectuur o.b.v. common ground en zetten in op centrale ontsluiting en opslag van registraties, bronnen informatieproducten via het gemeentebreed data platform voor meervoudig gebruik.

Auteur MeDaMa
Alias SPI-8
Stereotypes Principle
Details van Enkelvoudige ontsluiting, meervoudig gebruik

Data wordt in RAW opgeslagen in het parquet bestandsformaat

Auteur MeDaMa
Alias OPI-2
Stereotypes Principle
Details van Data wordt in RAW opgeslagen in het parquet bestandsformaat

Indien een laadproces faalt, wordt er een notificatie gestuurd.

Auteur MeDaMa
Alias OPI-36
Stereotypes Principle
Details van Indien een laadproces faalt, wordt er een notificatie gestuurd.

 Voldoen aan de Wet Hergebruik Overheids Informatie (Open Data) en de Wet Open Overheid (WOO)

Op de productieomgeving wordt enkel productie data geladen.

Auteur MeDaMa
Alias OPI-24
Stereotypes Principle
Details van Op de productieomgeving wordt enkel productie data geladen.

 Voldoen aan AVG

We gebruiken bij informatieproducten uitsluitend gepseudonimiseerde of geanonimiseerde persoonsgegevens.

Auteur MeDaMa
Alias TPI-8
Stereotypes Principle
Details van  Voldoen aan AVG

Centrale gegevensontsluiting

Gegevensets worden ontsloten naar de gegevenscatalogus middels de CKAN standaard. We bieden data(objecten) aan middels standaard koppelvlakken en volgens bepaalde uitwisselingsstandaarden.

Auteur MeDaMa
Alias TPI-5
Stereotypes Principle
Details van Centrale gegevensontsluiting

Cloud first

Gemeente Gemeente kiest voor Cloud first en maakt per vernieuwingsvraagstuk de keuze welk type cloud dienstverlening gebruikt wordt op basis van de functionaliteit.

Auteur MeDaMa
Alias SPI-7
Stereotypes Principle
Details van Cloud first

Bugfixes die kritische productieverstoringen oplossen kunnen bij hogere uitzondering direct op P uitgerold worden, maar deze moeten daarna ook uitgerold worden op alle lagere omgevingen.

Inventarisatie

We catalogiseren, beschrijven en classificeren onze data, waarbij waar mogelijk gebruik van gemeenschappelijke standaarden, zodat hun kenmerken op elk moment gemakkelijk toegankelijk zijn.

Auteur MeDaMa
Alias DP-5
Stereotypes Principle
Details van Inventarisatie

Software wordt ontwikkeld op de ontwikkelomgeving 

Auteur MeDaMa
Alias OPI-26
Stereotypes Principle
Details van Software wordt ontwikkeld op de ontwikkelomgeving 

We zetten in op templates via Nitrogen voor automatisering van pipelines.

Bronniveau: Van het dataobject is het bekend welke bronsystemen gebruikt zijn om het dataobject samen te stellen

Security by Design

Zowel bij de opzet van DAP’R als platform als bij het realiseren van producten via DAP”R is een veilige verwerking van informatie essentieel. Gemeente –en daarmee DAP’R -  gaat uit van standaard beveiligingsniveau BBN2.

Auteur MeDaMa
Alias SPI-4
Stereotypes Principle
Details van Security by Design

Damhof

We werken volgens het model van Damhof. We scheiden Context van Feitelijke Data; We beheren onze feitelijke data op 1 plek en onze business logica op 1 plek. We werken hiervan ook de definitie uit.

Auteur MeDaMa
Alias TPI-17
Stereotypes Principle
Details van Damhof

Centrale IAM

Auteur MeDaMa
Alias TPI-4
Stereotypes Principle
Details van Centrale IAM

Van een kwadrant 1 dataset zijn de gebruikte definities bekend

Auteur MeDaMa
Alias OPI-6
Stereotypes Principle
Details van Van een kwadrant 1 dataset zijn de gebruikte definities bekend

Geometrie informatie wordt altijd in het WKT formaat vastgelegd op de intermediate laagje

Automate by Design

Auteur MeDaMa
Alias TPI-1
Stereotypes Principle
Details van Automate by Design

open wat kan, vertrouwelijk wat moet

We stellen data(objecten) beschikbaar volgens het principe van ¨open wat kan, vertrouwelijk wat moet¨

Auteur MeDaMa
Alias
Stereotypes Principle
Details van open wat kan, vertrouwelijk wat moet

De [current] view bevat de meest recent geladen data, ongeacht hoe oud deze data is

We automatiseren pipelines en data modellering waar mogelijk.

Op de ontwikkelomgeving worden waar mogelijk alleen subsets van data gebruikt

Van iedere dataset is beschreven wat de kwaliteit, gevoeligheid en authenticiteit is.

Niemand heeft toegang tot data totdat er expliciet toegang is verleend.

Let op: volgend principe volgens we dus NIET

Kolomniveau: het is van iedere kolom van het dataobject bekend welke kolommen, objecten en bronnen gebruikt zijn om de kolom samen te stellen 

Cloud First Detail

Bij het invullen van nieuwe requirements ten aanzien van applicaties kijken we eerst om naar SaaS, dan PaaS en pas daarna naar IaaS. 

Auteur MeDaMa
Alias TPI-12
Stereotypes Principle
Details van Cloud First Detail

Centrale logging

Alle gebeurtenissen naar aanleiding van informatie ontsluiting door DAP’R worden centraal gelogd. 

Auteur MeDaMa
Alias TPI-3
Stereotypes Principle
Details van Centrale logging

Het Platform voor Data en Analyse

DAP’R is het centrale platform voor Data en Analyse binnen Gemeente Gemeente.

Auteur MeDaMa
Alias SPI-2
Stereotypes Principle
Details van Het Platform voor Data en Analyse

Schaalbaarheid

Oplossingen die wij creëren zijn schaalbaar (horizontaal en/of veticaal)

Auteur MeDaMa
Alias TPI-14
Stereotypes Principle
Details van Schaalbaarheid

Mens Centraal

De Gemeentemer staat centraal - we gebruiken data om onze dienstverlening en beslissingen proactiever, transparanter en op maat te maken, in aanvulling op expertise van onze medewerkers.

Auteur MeDaMa
Alias DP-3
Stereotypes Principle
Details van Mens Centraal

Service Geörienteerde Architectuur

We hanteren een service georiënteerde architectuur, waarbij data en functionaliteit als een herbruikbaar bouwblok kan worden gebruikt in verschillende bedrijfsprocessen. Dit sluit aan bij de Common Ground architectuurprincipes, die hiermee tevens als uitgangspunt gelden.

Auteur MeDaMa
Alias SPI-1
Stereotypes Principle
Details van Service Geörienteerde Architectuur

Gegevensbescherming

We zorgen ten alle tijden  voor de bescherming van privacy van persoonlijke gegevens in welke vorm dan ook, verwerkt op welke manier dan ook, en hebben extra aandacht voor bijzondere persoonsgegevens.

Auteur MeDaMa
Alias DP-6
Stereotypes Principle
Details van Gegevensbescherming

Transparantie

We zorgen voor transparantie in het gebruik van data en in het genereren van inzichten, zodat de output van de analyses traceerbaar, uitlegbaar en controleerbaar zijn.

Auteur MeDaMa
Alias DP-10
Stereotypes Principle
Details van Transparantie

Data hergebruik

Eenmalig inwinnen, meervoudig gebruik - data is in principe beschikbaar voor hergebruik , tenzij er een goede reden is om de data vertrouwelijk te houden of als doelbinding ontbreekt. We blijven in control en regelen de data verantwoordelijkheden goed in, voor zowel interne als externe data

Auteur MeDaMa
Alias DP-4
Stereotypes Principle
Details van Data hergebruik

De [historical] views op de interemediate container bevatten alle historische data die via laadmomenten is aangeboden

De views bovenop de intermediate container bestaan uit een [current] en [historical] namespace.

 Voldoen aan archiefwet

Auteur MeDaMa
Alias TPI-9
Stereotypes Principle
Details van  Voldoen aan archiefwet

DTAP

We werken volgens een DTAP (ontwikkel, test, acceptatie, productie).

Auteur MeDaMa
Alias TPI-18
Stereotypes Principle
Details van DTAP

Eenduidig datamanagement

We richten een eenduidig datamanagement  in  op basis van marktstandaarden, een data catalogus en standaard API’s. We bieden inzicht in data lineage, borgen meta data management  en data life cycle management op DAP’R.

Auteur MeDaMa
Alias TPI-7
Stereotypes Principle
Details van Eenduidig datamanagement

Software kan alleen op een hogere omgeving geïnstalleerd worden als de software ook op alle lagere omgevingen is uitgerold (D--}T--}A--}P)

Het borgingsproces(van K4 naar K2) wordt uitgevoerd door het cluster(bronhouder) en beheerd door het uitvoerende scrumteam

Op de ontwikkelomgeving wordt waar mogelijk geen productiedata gebruikt.

Datamanagement

Van ieder data element wordt meta en master data vastgelegd. We borgen de beschikbaarheid, vertrouwelijkheid en integriteit van de gegevens. We verantwoorden de verwerking van gegevens.

Auteur MeDaMa
Alias SPI-11
Stereotypes Principle
Details van Datamanagement

(raw, intermediate, dataproduct, dataset)

Auteur MeDaMa
Alias
Stereotypes Principle
Details van (raw, intermediate, dataproduct, dataset)

Er is bekend op welke storagelaag de data zich bevind.

Auteur MeDaMa
Alias OPI-38
Stereotypes Principle
Details van Er is bekend op welke storagelaag de data zich bevind.

Geometrie informatie wordt altijd in op de intermediate laag vastgelegd in zowel  het WGS84 stelsel als in het Rijksdriehoekstelsel

Continue verbetering

We streven naar continue verbetering in hoe we waarde genereren uit data voor de Gemeentemer.

Auteur MeDaMa
Alias DP-2
Stereotypes Principle
Details van Continue verbetering

Ook open datasets moeten worden toegewezen aan gebruikers en/of groepen

Voor openbare data is geen GLO nodig.

Auteur MeDaMa
Alias
Stereotypes Principle
Details van Voor openbare data is geen GLO nodig.

De laadprocessen kunnen gevalideerd en beoordeeld worden.

Auteur MeDaMa
Alias OPI-35
Stereotypes Principle
Details van De laadprocessen kunnen gevalideerd en beoordeeld worden.

Maximale standaardisatie

We implementeren open standaarden o.b.v. een pas-toe-of-leg-uit principe om data via vooraf bekende en vrij te gebruiken data formats uit te wisselen. We hanteren uniforme definities van gegevens

Auteur MeDaMa
Alias SPI-3
Stereotypes Principle
Details van Maximale standaardisatie

FAIR

Data(objecten) zijn eenvoudig en eenduidig vindbaar, toegankelijk, uitwisselbaar en herbruikbaar (FAIR-principes).

Auteur MeDaMa
Alias SPI-9
Stereotypes Principle
Details van FAIR

Voor ad-hoc datasets wordt de productiestraat ingekort

Auteur MeDaMa
Alias OPI-32
Stereotypes Principle
Details van Voor ad-hoc datasets wordt de productiestraat ingekort

Dataminimalisatie

Virtual by design: Gegevens worden bij voorkeur bij de authentieke bron opgehaald met de vanuit het proces gewenste actualiteit. Replicatie van gegevens wordt zoveel mogelijk vermeden.

Auteur MeDaMa
Alias SPI-6
Stereotypes Principle
Details van Dataminimalisatie

De intermediate historical en current views zijn technisch bepaald op basis van de instellingen van Nitrogen, als de bron historische data aanlevert, landt deze ook in de current view.

Kostenefficiency

Oplossingen die wij creëren zijn kosten efficiënt

Auteur MeDaMa
Alias TPI-15
Stereotypes Principle
Details van Kostenefficiency

Objectniveau: het is bekend welke objecten en welke bronnen gebruikt zijn om het dataobject samen te stellen

Governance

We zorgen voor een gemeente brede data governance waarin rollen, verantwoordelijkheden, beleid en standaarden zijn gespecificeerd, zodat we verantwoording over de beslissingen eenduidig kunnen afleggen. Elk gegeven heeft een eigenaar.

Auteur MeDaMa
Alias DP-9
Stereotypes Principle
Details van Governance

Als er geen historie wordt opgebouwd (SCD type 1), blijft de historical view op de intermediate container leeg 

Indien de bron alleen productiedata aan kan leveren, wordt dit toegestaan.

Privacy by Design

Zowel bij de opzet van DAP’R als platform, als bij het verwerken van informatie via DAP’R en het aansluiten van partijen dient privacy aantoonbaar gewaarborgd te zijn. Het idee is om al in een vroeg stadium zowel technisch als organisatorisch een zorgvuldige omgang met persoonsgegevens af te dwingen. Anonimisering/pseudonomisering is integraal onderdeel binnen DAP’R.

Auteur MeDaMa
Alias SPI-5
Stereotypes Principle
Details van Privacy by Design

Data wordt zonder wijzigingen ontsloten in RAW

Auteur MeDaMa
Alias OPI-1
Stereotypes Principle
Details van Data wordt zonder wijzigingen ontsloten in RAW

We onderscheiden 3 niveau's van lineage:

Auteur MeDaMa
Alias
Stereotypes Principle
Details van We onderscheiden 3 niveau's van lineage:

Gestructureerde data is beschikbaar via T-SQL-views die zowel op RAW en Intermediate kunnen inprikken.

API’s worden ontsloten via Databricks, via Nitrogen pipelines gedreven

Indien er afspraken gemaakt zijn met een leverancier over de levering van data, dan mag de data alleen uitgerold worden naar productie als er een getekende GLO is.

Kwaliteit en integriteit

We classificeren de gevoeligheid, vertrouwelijkheid, authenticiteit en de kwaliteit van onze data en borgen de herkomst en integriteit van onze data

Auteur MeDaMa
Alias TPI-16
Stereotypes Principle
Details van Kwaliteit en integriteit

Historie wordt vastgelegd in intermediate-laag. 

Auteur MeDaMa
Alias OPI-19
Stereotypes Principle
Details van Historie wordt vastgelegd in intermediate-laag. 

Ethiek

We nemen altijd de ethische afwegingen van data en analyse in ogenschouw. Dit betekent dat we verantwoordelijk omgaan met data, bias elimineren en niet discrimineren op basis van geslacht, ras, religie of enige andere factor.

Auteur MeDaMa
Alias DP-8
Stereotypes Principle
Details van Ethiek

Data als Bedrijfsmiddel

We behandelen data en analyse als een waardevol en gedeeld bedrijfsmiddel en beschouwen data en analyse daarmee als belangrijke discipline voor de gehele organisatie.

Auteur MeDaMa
Alias DP-1
Stereotypes Principle
Details van Data als Bedrijfsmiddel

Feitelijke data landt in raw en optioneel intermediate en wordt optioneel verwerkt in golden layer

Het heeft ALTIJD de voorkeur om opleveringen via de DTAP straat te ontwikkelen en op te leveren.

Olav/Jahmale, wat bedoelen jullie hiermee? Ik neem aan dat je niet met Frontend D wil inprikken op Backend P?

Dimensionele modellen worden fysiek/persistent vastgelegd indien dit voor de performance noodzakelijk is