Data mesh governance: een blauwdruk voor gedecentraliseerd data management

Bij ACA Group geloven we dat data mesh een antwoord biedt op de uitdaging van datamanagement door de focus te leggen op het opbouwen van een gedecentraliseerd, self-service data ecosysteem. Het doel is om data-gedreven innovatie in elk departement of team te verankeren, zodat iedereen binnen de organisatie verantwoordelijk wordt voor het creëren van herbruikbare data als katalysator voor nieuwe producten en diensten over afdelingen heen.

In een data mesh is niet alleen het beheer van eigendom en infrastructuur anders. De sleutel tot succes is het transformeren van de data governance zelf. In plaats van een gecentraliseerd IT-team verantwoordelijk te maken voor governance, verdeelt data mesh de verantwoordelijkheid over verschillende teams.

Deze aanpak, bekend als “federated computational governance”, zorgt voor actieve deelname van zowel data-producerende als data-consumerende teams bij het opstellen en adopteren van het governance-beleid.

De 4 pijlers van data mesh en de uitdagingen van data governance

Om het belang van governance in een data mesh te begrijpen, moeten we de kernprincipes van een data mesh en de uitdagingen die ze met zich meebrengen, nader bekijken:

1. Decentralisatie

In een data mesh is data-eigendom en verantwoordelijkheid verdeeld over verschillende businessdomeinen of teams. Elk domein wordt een zelfstandige eenheid die zijn eigen dataproducten beheert. Dit betekent dat elk dataproduct en domein zelfsturend is, maar wel interoperabel moet zijn met andere dataproducten en domeinen.

2. Focus op domein

In plaats van een monolithisch datawarehouse bestaat een data mesh uit onderling verbonden dataproducten. Dit houdt in dat elk dataproduct zijn eigen “lokale dialect” kan hebben. De uitdaging hier is hoe je dezelfde taal spreekt, zonder dezelfde taal te spreken.

3. Data als product

Deze benadering behandelt data als een product, waarbij elk domein dataproducten creëert en onderhoudt die vindbaar, toegankelijk en herbruikbaar zijn. Metadata-beheer wordt een belangrijk focuspunt, aangezien metadata wordt gebruikt om de data binnen een dataproduct te ontdekken, integreren en gebruiken.

4. Self-service platform

Dit beheersplatform geeft zowel data-producenten als consumenten de vrijheid om zelfstandig te werken. Ontwikkelaarsportalen, data-catalogi, lineage tools en samenwerkingsruimten maken navigatie eenvoudig, terwijl automatische beleidsafdwinging en regelmatige audits zorgen voor naleving en bevordering van de kwaliteit van de dataproducten zonder handmatige interventie. De automatisering van governance is een belangrijke uitdaging binnen dit self-service platform.

Nu dat je een beter begrip hebt van de centrale bouwblokken en uitdagingen van data governance in een data mesh, bekijken we deze uitdagingen hieronder meer in detail.

Federated governance

Een opvallend kenmerk van data mesh is federated governance. Maar wat betekent dat precies?
“Federated” verwijst naar het feit dat hoewel elk domein (en elk dataproduct binnen die domeinen) zijn eigen autonomie heeft, ze ook samenkomen om enkele zaken te bespreken die relevant en waardevol zijn voor iedereen. Je kunt het vergelijken met een parlementaire democratie, waar vertegenwoordigers samenkomen om gezamenlijke beslissingen te nemen die vervolgens breed moeten worden geïmplementeerd.

Deze samenwerking over domeinen betekent dat veel teams betrokken zullen zijn.

Federated governance team

Dit is een groep vertegenwoordigers en experts die samenwerken over verschillende businessunits en vakgebieden heen. Ze zorgen voor datakwaliteit, naleving en afstemming op de organisatiedoelen. Hun taken omvatten:

• Geautomatiseerde evaluaties van de datakwaliteit
• Datatoegang en privacybeheer
• Zorgen dat dataproducten en datasets gedeeld en hergebruikt kunnen worden

Dit team definieert gestandaardiseerde data governance-beleidsregels en zorgt ervoor dat dataproducten en datasets gedeeld en hergebruikt kunnen worden, terwijl de algehele kwaliteit wordt bewaakt. In onze eerdere vergelijking is het governance team als een “parlement” dat “wetten” bespreekt en goedkeurt.

Platformteam

Dit team is essentieel voor het automatiseren en afdwingen van de governance-beleidsregels die door het governance team zijn gedefinieerd op het self-service platform. Ze zorgen ervoor dat beleidsregels eenvoudig kunnen worden geadopteerd door dataproducten, zonder onnodige overhead.

Domainteams

Afgestemd op businessunits, beheren domeinteams de operationele data governance binnen hun eigen domeinen. Verantwoordelijkheden omvatten:

• Data mapping en documentatie
• Zorgen voor datakwaliteit
• Het implementeren van standaarden gedefinieerd door het federated governance team

Belangrijk is dat elk domeinteam de autonomie en middelen heeft om de standaarden die het federated governance team heeft gedefinieerd, uit te voeren.

Samengevat

Terwijl lokale domeinteams beslissingen nemen die specifiek zijn voor hun domein, zorgt federated data governance ervoor dat globale regels worden toegepast op alle dataproducten en hun interfaces. Deze regels moeten een gezond en interoperabel ecosysteem waarborgen.

Hoe werkt federated data governance?

Federated governance vereist een andere manier van denken in vergelijking met meer traditionele governance-benaderingen. Het richt zich op het bevorderen van autonomie en interoperabiliteit, met zo min mogelijk inmenging van een gecentraliseerd team.

Om federated data governance succesvol in je organisatie te implementeren, moet je de volgende basisprincipes volgen:

• Cultuur van eigenaarschap
  Teams moeten zich verantwoordelijk voelen voor hun data. Dit vereist een hoog niveau van datageletterdheid en de bereidheid om te investeren in training en doorlopende educatie over databeheer en governance best practices.
• Robuuste data-infrastructuur
  Zorg ervoor dat je investeert in schaalbare en flexibele data-infrastructuur die gedecentraliseerd datamanagement ondersteunt.
• Governance framework
  Je hebt een duidelijk governance framework nodig dat rollen, verantwoordelijkheden en processen definieert, en flexibel genoeg is om zich aan te passen aan de behoeften van verschillende domeinen.
• Cross-functionele samenwerking
  Samenwerking tussen IT, data-professionals en businessunits is essentieel.

Enterprise ontology: taalbarrières overbruggen

Elk domein kan zijn eigen specifieke taal gebruiken. Dat kan uitdagingen opleveren als termen in verschillende teams anders worden gedefinieerd. Hier komt de enterprise ontology om de hoek kijken, een gedeelde "woordenlijst" die concepten tussen domeinen verbindt.

Wat is een enterprise ontology?

Je kan een enterprise ontology beschouwen als een groot, hiërarchisch gestructureerd "woordenboek" dat concepten uit verschillende domeinen met elkaar verbindt op basis van een gemeenschappelijke noemer.

Voorbeeld: Een verkoopteam en een financieel team gebruiken allebei de term "klant", maar de definities hiervan verschillen per team.

• Het verkoopteam noemt iemand die een offerte heeft ontvangen een klant.
• Het financieel team definieert een klant als iemand met een getekend contract en facturatiegegevens. Anderen worden beschouwd als "prospects".

Zonder een gedeelde ontologie zou het combineren van de dataproducten van deze teams inconsistente resultaten opleveren, wat het belang van duidelijke definities onderstreept.

Hoe werkt een enterprise ontology?

Door domeinspecifieke termen te koppelen aan een geünificeerd concept (bijvoorbeeld "klant") binnen de ontologie, kunnen teams verschillen overbruggen en samenwerking tussen domeinen bevorderen.

Om de kloof tussen domeinspecifieke termen te dichten:

1. Koppel termen aan een gemeenschappelijke ontologie: Termen uit verschillende domeinen worden gelinkt aan één overkoepelend concept. Bijvoorbeeld, "verkoopklant" en "financiële klant" kunnen allebei gekoppeld worden aan het algemene concept "klant".
2. Gebruik unieke identificatoren: Bij het raadplegen van de ontologie kan blijken dat het unieke kenmerk voor alle klanten bijvoorbeeld hun e-mailadres is. Een uniek ID helpt om gegevens over hetzelfde concept in verschillende domeinen correct aan elkaar te koppelen.

Metadata: preventie, validatie en auditing mogelijk maken

Metadata, vaak omschreven als "data over data", speelt een cruciale rol in federated data governance binnen een data mesh. Het biedt de benodigde context om data begrijpelijk, toegankelijk en bruikbaar te maken over verschillende domeinen heen.

Belangrijke rollen van metadata in federated data governance

• Vindbaarheid van data verbeteren
  Metadata helpt gebruikers om data eenvoudig te vinden en te begrijpen binnen de organisatie. Dit omvat praktische informatie zoals databron(nen), aanmaakdatum, formaat en gebruiksinstructies.
  Daarnaast bevat metadata ook informatie die direct bijdraagt aan vindbaarheid, zoals welke enterprise ontology-tags van toepassing zijn, wie de eigenaar is en welke gerelateerde dataproducten er bestaan. Hierdoor wordt het voor teams gemakkelijker om relevante dataproducten te lokaliseren en te integreren.
• Datakwaliteit en betrouwbaarheid verbeteren
  Metadata bevat (of zou moeten bevatten) datakwaliteitsmetingen en data lineage (herkomst en transformaties van data). Dit helpt teams om de nauwkeurigheid en betrouwbaarheid van data te waarborgen. Door inzicht te krijgen in de oorsprong en verwerking van data kunnen gebruikers de kwaliteit beter beoordelen.
• Compliance en beveiliging mogelijk maken
  Metadata speelt een cruciale rol in naleving van privacy- en beveiligingsregels. Het dataproductteam kan specificeren wie toegang heeft tot de data en voor welk doel. Gevoelige gegevens kunnen automatisch worden gemarkeerd en onderworpen aan privacy- en maskingbeleid om te voldoen aan wetgeving zoals GDPR.
• Interoperabiliteit waarborgen
  Metadata zorgt ervoor dat data uit verschillende domeinen kan worden geïntegreerd en gezamenlijk gebruikt. Door gestandaardiseerde metadataformaten en definities wordt naadloze data-uitwisseling mogelijk.

Best practices voor metadatamanagement in een data mesh

In een data mesh, moet metadata zo dicht mogelijk bij de bron worden beheerd. Elk dataproductteam is verantwoordelijk voor het zorgvuldig creëren en beheren van de metadata die bij hun dataproduct hoort.

Uitzonderingen, zoals de automatische toevoeging van datakwaliteitsmetingen vanuit het self-service platform, kunnen van toepassing zijn, maar het dataproduct zelf blijft de enige bron van waarheid en moet als zodanig worden beheerd. Kortom, metadata moet decentraal worden beheerd, maar centraal toegankelijk zijn.

Metadata management moet zoveel mogelijk geautomatiseerd worden en geïntegreerd zijn met data governance-tools om nauwkeurigheid en consistentie te waarborgen. Belangrijke praktijken omvatten:

• Zorgvuldig opstellen en beheren van metadata: Gebruik tools die metadata automatisch vastleggen en bijwerken. Implementeer processen en werkwijzen die dataproducteigenaren stimuleren om zorgvuldig om te gaan met het creëren en wijzigen van de metadata die bij hun dataproduct hoort. De dataproducteigenaar moet ervoor zorgen dat de metadata die aan gebruikers wordt gepresenteerd een waarheidsgetrouwe weergave geeft van de inhoud van het dataproduct, zodat gebruikers een weloverwogen beslissing kunnen nemen over de waarde van het product voor hun gebruikssituatie.
• Standaardisatie: Implementeer gestandaardiseerde metadata-indelingen en definities binnen alle domeinen (waar relevant) om maximale interoperabiliteit en gebruiksgemak te garanderen.
• Geautomatiseerde validatie: Stel procedures en beleidsregels op om metadata automatisch te valideren, zodat fouten en inconsistenties vroegtijdig worden opgespoord en foutverspreiding in het systeem wordt voorkomen. Zoals altijd geldt: preventie en validatie komen op de eerste plaats, audits op de tweede.
• Regelmatige audits: Voer regelmatig geautomatiseerde audits uit om de nauwkeurigheid van metadata en naleving van governancebeleid te waarborgen.

Het self-service platform: automatisering van governance

Het self-service platform belichaamt "federated computational governance". Het biedt tools en infrastructuur waarmee zowel gebruikers als makers zelfstandig toegang krijgen tot en beheer kunnen voeren over dataproducten, zonder afhankelijk te zijn van een centraal IT-team.

Belangrijkste kenmerken van een self-service platform

• Domeinteams versterken: Self-service platforms stellen domeinteams in staat eigenaarschap te nemen over hun data. Ze kunnen zelfstandig dataproducten creëren, beheren en gebruiken, wat verantwoordelijkheidsgevoel stimuleert.
• Compliance garanderen: Self-service platforms integreren governance-controles, waardoor wordt gewaarborgd dat het datagebruik voldoet aan organisatorische beleidsregels en regelgeving. Dit zorgt voor een balans tussen autonomie en toezicht.
• Metadatabeheer: Met de juiste tooling kan het self-service platform de zorgvuldige curatie en geautomatiseerde validatie van metadata ondersteunen. Dit vergemakkelijkt zowel de integratie met het platform als het beheer van metadata binnen individuele dataproducten.
• Beheer van beleidsregels: Governance-beleidsregels kunnen worden vertaald naar geautomatiseerde processen, die via het platform worden afgedwongen. Automatische handhaving van beleid zorgt ervoor dat datagebruik voldoet aan interne richtlijnen en externe regelgeving.
• Monitoring en auditing: Monitoring- en auditmogelijkheden kunnen worden ingezet om datagebruik op te volgen en compliance te waarborgen. Regelmatige audits helpen om governanceproblemen te identificeren en aan te pakken. Door dataproduct- of domeinteams te waarschuwen voor deze problemen en hun gevolgen, kunnen zij deze op hun eigen manier en op hun eigen tijd oplossen.

Conclusie: de balans vinden tussen autonomie en toezicht

Het omarmen van een data mesh-architectuur vereist een andere benadering van governance. Het traditionele, gecentraliseerde model voor databeheer volstaat niet meer in een wereld waarin wendbaarheid, autonomie en cross-functionele samenwerking essentieel zijn.

Federated data governance stelt domeinteams in staat om eigenaarschap te nemen over hun dataproducten, terwijl tegelijkertijd wordt gezorgd voor afstemming op de bredere organisatienormen. Door verantwoordelijkheden te verdelen over domeinteams - ondersteund door een self-service platform en sterk metadatabeheer - kunnen organisaties de datakwaliteit, interoperabiliteit en compliance verbeteren zonder onnodige complexiteit toe te voegen.

Toch hangt het succes van data mesh-governance af van drie cruciale pijlers:

• Een sterke cultuur van data-eigenaarschap: Dit zorgt ervoor dat mensen verantwoordelijkheid nemen voor de data die ze creëren en onderhouden, terwijl ze volledige controle hebben over hun dataproducten.
• Robuuste infrastructuur en een self-service platform: Dit faciliteert het eigenaarschap door dataproductteams de autonomie te geven om hun product te beheren, terwijl samenwerking en gegevensdeling worden bevorderd.
• Duidelijke governance-kaders: Dit definieert wat kwaliteit betekent en begeleidt teams bij de implementatie van best practices op het gebied van integratie, samenwerking en meer.

De sleutel tot een succesvolle data mesh is een governancemodel dat de juiste balans vindt tussen autonomie en toezicht—teams de ruimte geven om te innoveren, terwijl de integriteit en waarde van het datalandschap wordt gewaarborgd.

Klaar om de vruchten te plukken van data mesh?
Contacteer ons voor begeleiding en oplossingen op maat!