Het vormen van de strategie

Onze samenwerking begon met strategische workshops die gericht waren op het vormgeven van een nieuwe datamanagementstrategie, gebaseerd op de principes van data mesh. Deze sessies waren bedoeld om een gemeenschappelijk begrip te creëren, de strategie vorm te geven en goedkeuring te verkrijgen van het uitvoerend comité.

Betrekken van stakeholders

Gedurende het traject werkten we actief samen met verschillende stakeholders binnen de organisatie om afstemming en draagvlak te verzekeren. We boden managementconsulting aan voor de overkoepelende strategie met dataleiders zoals de Chief Data Officer (CDO), hoofden van Data- en Governance-afdelingen, IT-leads, enz. Tot en met de implementatie en technologie met architecten, lead data engineers, data governance leads, enzovoort.
We reden als het ware mee in de “architect elevator”, waarbij we strategische richtlijnen vanuit de penthouse vertaalden naar concrete oplossingen in de machinekamer, en omgekeerd.

Het definiëren van het data product

Om duidelijkheid en een gemeenschappelijk begrip te verzekeren, richtten we ons op het definiëren van wat een data product wel en niet is. Dit hielp om de data mesh-strategie binnen de bank te evangeliseren.

Architecturale visie en self-service data platform

Het werd al snel duidelijk dat de voornaamste uitdaging lag in de technische conceptualisering van data products. Daarom lag onze eerste focus op het verduidelijken en concretiseren van data products vanuit technisch perspectief.

Om de cognitieve belasting voor data product-ontwikkelaars te verminderen bij het creëren en delen van waardevolle data, ontwikkelden we een omvattende architecturale visie en blauwdruk voor een self-service data platform.
Deze visie draaide rond het concept van een data product: een onafhankelijk inzetbare en beheersbare eenheid die data, datatransformatiecode en metadata bevat.

Door de onderliggende complexiteit van datainfrastructuur en technologieën te abstraheren, stelt het data product-model domeinexperts in staat om eigenaar te zijn van hun data en deze te beheren. Dit bevordert autonomie en versnelt data-gedreven innovatie binnen de bank.
Deze aanpak verschuift het paradigma van gecentraliseerd datamanagement naar een gedecentraliseerde data mesh, wat zorgt voor meer wendbaarheid, schaalbaarheid en verbeterde datakwaliteit dankzij gedecentraliseerd eigenaarschap en verantwoordelijkheid.

Onze aanpak was om de bestaande technologiestack zoveel mogelijk aan te vullen om eerdere investeringen te benutten, waarbij het data product en het self-service data platform dienen als de kern die een reeks individuele technologieën samenbrengt tot een geïntegreerde self-service ervaring.

Van strategie naar implementatie

De implementatie van de data mesh bij de bank begon met een analyse van het huidige technologielandschap en een inventarisatie van bestaande datatechnologieën.
Een toekomstige technologiestack werd ontworpen ter ondersteuning van onafhankelijke data products, met de focus op self-service en domeineigenaarschap via een gedeeld platform. Dit omvatte technologieën voor opslag, verwerking, querying, beveiliging en governance.

Vervolgens definieerden we de Minimum Viable Platform (MVP)-componenten om een solide basis en gebruiksgemak te garanderen, met een duidelijke koppeling tussen strategie en implementatie.

Deze inspanning resulteerde in officieel gevalideerde referentiedocumenten en blauwdrukken over:

• Definitie van het data product

• Architecturale visie voor het self-service data platform met ondersteunende technologiestack

• Positionering van bestaande en nieuwe architecturale patronen binnen deze nieuwe oplossing

Proof of concept

We implementeerden een technische proof of concept van het self-service data platform om de haalbaarheid binnen het complexe IT-landschap van de bank te beoordelen.
De proof of concept werd strategisch ontworpen om de grootste risico’s vroegtijdig aan te pakken en te beperken, en om een helder en realistisch inzicht te krijgen in wat er nodig is om het platform succesvol te realiseren.

Als onderdeel van dit initiatief ontwikkelden we een functionele platformorchestrator die gebruikmaakt van Kubernetes als universele control plane.
Deze orchestrator integreerde naadloos met de bestaande technologiestack en automatiseerde belangrijke processen binnen de levenscyclus van het data product. Bijvoorbeeld:

• Voor elk data product-outputport werden de nodige schema’s automatisch aangemaakt in de datastorage-oplossing.

• Voor elke outputport werden de vereiste buckets gecreëerd in de objectstorage-oplossing.

• Essentiële metadata van data products werden geregistreerd in de datacatalogus en marketplace voor ontdekking.

• De transformatiecode werd gebouwd, gedeployed en uitgevoerd binnen een schaalbare compute-oplossing.

• Uniforme toegang en querying werden mogelijk gemaakt via een query engine-oplossing.

Op deze manier bracht onze platform engineering-aanpak de kernprincipes van Data Mesh tot leven in een reële context.
De praktische ervaring van ACA Group met het bouwen van data mesh-platforms bij meerdere klanten versnelde de reis van de bank aanzienlijk.

Begeleiding van het Data Mesh-programma

Met het succes van onze strategische consulting, een architecturale visie gebaseerd op onze data mesh-ervaring, en een concreet proof of concept, hielp ACA Group bij het begeleiden en sturen van het data mesh-programma over meerdere werksporen heen.
Omdat data mesh vaak als te abstract wordt beschouwd, werd elk spoor opgezet om het zo concreet mogelijk te maken langs drie assen:

• Business value – impact op de business.

• Technische architectuur – impact op technologie.

• Mensen en processen – impact op werkwijze, governance, rollen, verantwoordelijkheden en beleid.

Data Product Landscape Track

Richtte zich op het ontdekken en identificeren van potentiële data products om de businesswaarde en roadmap concreet te maken voor de business en andere stakeholders.

Self-Service Data Platform Track

Richtte zich op de architecturale visie, de opzet van de technologiestack en de proof of concept om de technische implicaties en oplossing concreet te maken voor technische stakeholders.

Federated Governance and Operating Model Track

Richtte zich op het verduidelijken van teamrollen en verantwoordelijkheden om de impact op mensen en cultuur concreet te maken voor stakeholders.
Naast het algemene governance- en operating model voor data mesh omvatte dit ook gedetailleerd werk rond richtlijnen voor data productmodellering (gekoppeld aan enterprise- en domeindatamodellen), governance-uitdagingen en het vormgeven van de metadata-strategie via passende data product-specificaties en data contracts.

ACA Group: van strategie tot implementatie

Deze uitgebreide aanpak is essentieel voor de data mesh-reis van de bank. We brachten een duidelijke en fundamentele visie aan die verder gaat dan de theoretische of abstracte concepten van Data Mesh.
Hiervoor werkten we nauw samen met dataleiders binnen de bank om de datamanagementstrategie voor de komende jaren vorm te geven. We maakten dit concreet door te collaboreren met architecten, data engineers en technologie-experts.

ACA Group hielp deze Belgische bank om een data mesh-strategie effectief te vertalen naar een tastbare minimale implementatie, die verdere groei mogelijk maakt via een self-service platform, decentraal beheerde data products, een gefedereerd governance- en operating model, en een netwerk van data products die businesswaarde leveren.