Wat is een data mesh?
Data mesh is een benadering van datamanagement waarbij gebruik wordt gemaakt van een gedistribueerd architectonisch framework.
Overzicht data mesh
Data mesh is een nieuwe manier om naar informatie te kijken. Het komt voort uit het groeiende concept dat data eigenlijk zelf een product is, een tool, een middel om een doel te bereiken – niet zomaar iets wat bedrijven later verzamelen en analyseren in een poging om dingen te begrijpen die al zijn gebeurd.
Definitie van data mesh
Data mesh is een benadering van datamanagement waarbij gebruik wordt gemaakt van een gedistribueerd architectonisch framework. Met andere woorden: het verspreidt het eigendom en de verantwoordelijkheid voor specifieke datasets in het hele bedrijf, naar de gebruikers die de gespecialiseerde expertise hebben om te begrijpen wat die data betekent en hoe ze optimaal kunnen worden gebruikt.
Data mesh-architectuur verbindt en haalt data uit verschillende bronnen, zoals datalakes en -warehouses, en distribueert de relevante datasets naar de juiste menselijke experts en domeinteams binnen het bedrijf. In wezen wordt een grote hoeveelheid data in een centraal datalake gesorteerd en verdeeld in beheersbare stukken naar degenen die het meest geschikt zijn om het te begrijpen en te gebruiken.
Data mesh-principes voor datalake-uitdagingen
Als we het hebben over datalakes en data mesh, hebben we het in wezen over Big Data. Wat data “groot” maakt, is niet alleen het enorme volume. Big Data wordt onder andere ook gedefinieerd door complex, variabel, snel gegenereerd en ongestructureerd te zijn.
Een lineaire database is als een spreadsheet: het heeft kolommen en rijen en onveranderbare categorieën waarin alle gegevenscomponenten moeten passen. Sommige data uit machines, sensoren en industriële bronnen zijn gestructureerd en passen netjes in een lineaire database. Het maakt niet uit hoeveel datavolume je te verwerken hebt, als het 100% gestructureerd is, voldoet het niet aan Big Data-criteria en kan het worden ondergebracht in een lineaire database, waardoor het relatief eenvoudig is om te filteren en te extraheren.
Maar in toenemende mate zijn moderne Big Data ongestructureerd en bestaan ze uit visuele componenten, open tekst en zelfs video en rijke media. Deze cruciale gegevens kunnen voor veel bedrijven duizenden terabytes aan informatie bevatten en kunnen eenvoudigweg niet worden opgeslagen in een standaard lineaire database.
Voer het datalake in. Toen de volumes van Big Data toenamen, werden datalakes ontwikkeld als een plek waar complexe data konden worden opgeslagen in en toegankelijk waren vanuit een centrale repository in het ruwe formaat. Hoewel datalakes een uitstekende oplossing vormen voor het Big Data-probleem, hebben ze toch zwakke punten. Datalakes missen bepaalde analytische functies, waardoor ze afhankelijk zijn van andere services voor het ophalen, indexeren, transformeren, opvragen en analyseren van functies. Vanuit het oogpunt van business management zijn datalakes ook drie extra uitdagingen:
1. Complexe eigendom Eigendom in datalakes is complex om te definiëren wanneer te veel spelers data genereren en openen. Bij gebrek aan duidelijk gedefinieerde rollen en verantwoordelijkheden kan dezelfde gegevensset door verschillende partijen anders worden beheerd, waardoor inconsistenties ontstaan die het gebruik ervan bemoeilijken. Ook andere gegevens worden uiteindelijk verwaarloosd wanneer ze niet actief worden beheerd door degenen die ze uiteindelijk zullen gebruiken. Data mesh-architectuur zorgt ervoor dat datagovernance duidelijk per domein wordt gedistribueerd, zodat elk team of domeinexpert de data beheert die ze produceren en gebruiken. Ter ondersteuning hiervan gebruiken data meshes ook een federatieve governancestructuur om ook centrale controle mogelijk te maken over datamodellering, beveiligingsbeleid en compliance.
2. Gegevenskwaliteit Datalakes kunnen de gegevenskwaliteit niet garanderen wanneer het gegevensvolume te groot wordt of wanneer centrale gegevensbeheerders het zelf niet begrijpen. Data mesh architectuur behandelt data fundamenteel als een waardevol product, waardoor de kwaliteit en volledigheid van data voorop staat in datamanagement. Vermoedelijk kent elk team de belangrijkste criteria en problemen die ze willen extrapoleren uit de gegevens die ze verzamelen. Door deze criteria en prioriteiten in de architectuur te integreren, kan data mesh helpen om de continue en geprioriteerde levering van schone, verse en volledige data te garanderen, zelfs wanneer het gaat om grotere datasets. En natuurlijk, wanneer machine learning algoritmen worden toegepast, worden deze criteria en resulterende datasets in de loop der tijd steeds nauwkeuriger en nuttiger.
3. Knelpunten Datalakes kunnen knelpunten creëren vanwege hun gecentraliseerde architectuur en traditioneel moeilijke processen en protocollen voor het ophalen van gegevens. Dit betekent meestal dat de controle over een grote hoeveelheid geconsolideerde gegevens ligt bij één IT- of datamanagementteam. En naarmate de datavolumes (en de vraag naar het ophalen ervan) toenemen, worden deze IT-teams overbelast.
Bovendien moeten de gegevens naar behoren worden geëvalueerd en gestructureerd om compliance en naleving van de beginselen van datagovernance te waarborgen. Wanneer er te veel druk wordt uitgeoefend, kan er een tendens zijn om deze compliance-fasen te doorlopen, wat potentiële risico's en verliezen voor het bedrijf met zich meebrengt. De architectuur van data mesh geeft aan de andere kant toegang en controle aan geautoriseerde gespecialiseerde gebruikers die een grotere gevestigde interesse in de data hebben – allemaal met behulp van strenge, gebakken beveiligingsprotocollen.
Data mesh-principes zijn ontstaan in een direct antwoord op deze groeiende uitdagingen op het gebied van datalake. Gedecentraliseerde en gedemocratiseerde architectuur voor datamanagement heeft bedrijven slimmer, flexibeler en nauwkeuriger gemaakt door ervoor te zorgen dat de juiste data direct beschikbaar is voor de juiste mensen, waar en wanneer ze die nodig hebben. Data mesh maakt data as-a-product een realiteit, waardoor barrières worden gereduceerd en de waarde van informatie wordt geprioriteerd, zodat teams sneller en ongehinderd toegang krijgen tot essentiële data.
Architectuur van data mesh uitgelegd
We hebben besproken hoe data mesh een gedecentraliseerde vorm van data architectuur is die data behandelt als een essentiële tool voor bedrijfsbeheer. En wat belangrijk is, onafhankelijke teams zijn verantwoordelijk voor de verwerking van de gegevens binnen hun werk- en expertisegebieden, terwijl ze er tegelijkertijd voor zorgen dat ze voldoen aan centraal bepaalde datamanagementpraktijken. Deze mentaliteitsverandering vormt de kern van data mesh.
Om beter te begrijpen hoe dit wordt bereikt, kunnen we de architectuur van data mesh zien als drie hoofdcomponenten:
1. Gegevensbronnen vertegenwoordigen de repository (zoals een data lake) waarin de primaire onbewerkte gegevens worden ingevoerd. Of het nu wordt verzameld uit cloud IIoT-netwerken, klantfeedbackformulieren of geschraapte webgegevens, dit zijn de onbewerkte invoergegevens die indien nodig door gebruikers in het netwerk worden gerefereerd en verwerkt. Terwijl een datalake-benadering al deze gegevens op één centrale plaats zou trekken, verdeelt de data mesh-methodologie in plaats daarvan de verantwoordelijkheid voor inname, opslag, verwerking en extractie van deze onbewerkte gegevens binnen een reeks verantwoordelijke domeinen.
2. Data mesh-infrastructuur betekent dat deze informatie niet alleen geïsoleerd is binnen afzonderlijke departementale domeinen, maar ook naar believen kan worden gedeeld in het operationele netwerk van de organisatie, terwijl de informatie voldoet aan de gevestigde richtlijnen voor datagovernance. Dit is een direct resultaat van twee van de belangrijkste pijlers van data mesh: een self-service dataplatform en federated governance. Het self-service dataplatform biedt de tools en infrastructuur die elk domein nodig heeft om zijn data universeel op te nemen, te transformeren, te verwerken en te bedienen. Ondertussen zorgen de gefedereerde governanceprincipes voor standaardisatie in een organisatie, waardoor moeiteloos interoperabiliteit van data tussen alle domeinteams mogelijk wordt.
3. Data-eigenaren vormen de laatste component van een data mesh en zijn verantwoordelijk voor het toepassen van de compliance-, governance- en categorisatieprotocollen voor de gegevens van hun afdelingen. HR-bestanden moeten bijvoorbeeld worden opgeslagen met behulp van bepaalde beveiligingsprotocollen, ze mogen niet voor dit of dat doel worden gebruikt, ze mogen alleen aan een dergelijke persoon worden vrijgegeven. Natuurlijk heeft elke afdeling categorieën en soorten gegevens die uniek zijn voor hun afdeling of doeleinden. In een datalakesysteem moeten IT-teams worstelen met al deze verschillende protocollen en categorieën voor alle verschillende data-eigenaren die spullen in het meer hebben gedumpt. Terwijl data mesh architectuur domeineigenaren volledige autoriteit en controle geeft over deze zaken. Want wie beter dan vakgebiedsexperts kunnen hun eigen gegevens beheren en ervoor zorgen dat deze voldoen aan kwaliteitsnormen.
Data mesh in de praktijk: Wie gebruikt het en waarom
Om datamanagementoplossingen te kunnen ontwikkelen en succesvoller te maken, moeten ze bruikbaar en relevant zijn voor een breed scala aan applicaties en activiteiten. Naarmate de architectuur en gebruiksvriendelijkheid van data mesh verbeteren, zien we een groter aantal bedrijfsfuncties die kunnen worden verbeterd met een veilige en gedistribueerde benadering van data als product en tool.
Hier volgen enkele veelvoorkomende zakelijke use cases:
Verkoop: voor salesteams gaat het allemaal om het verwerven, koesteren en sluiten van leads. Hoe meer tijd je verkoopteam besteedt aan administratieve taken op hun bureau, hoe minder tijd ze hebben om relaties op te bouwen met nieuwe klanten. Met de architectuur van data mesh hoeven gebruikers van het verkoopteam geen experts op het gebied van datamanagement en -retrieval te zijn om de meest krachtige en relevante datasets en combinaties binnen handbereik te hebben. Wanneer verkoopafdelingen over alle juiste data beschikken om te analyseren, vertaalt dit zich in meer bruikbare inzichten en strategieën.
Supply chain en logistiek: Moderne supply chains zijn kwetsbaar voor een enorm scala aan verstoringen. Een concurrentievoordeel komt wanneer bedrijven snel kunnen draaien en met gelijke flexibiliteit kunnen reageren op zowel bedreigingen als kansen. De huidige wereldwijde supply chain-data komen snel en dik – van feedback van klanten tot IIoT-netwerken en digital twins. Wanneer ervaren en bekwame supply chain managers zelf in staat zijn om elk van die datasets in realtime te curateren en in te zoomen, krijgen bedrijven een krachtige bron van inzicht en inzicht.
Productie: als onderdeel van de supply chain zijn de productieactiviteiten van een bedrijf net zo kwetsbaar voor snelle marktverschuivingen en volatiele klantbehoeften. In het verleden zouden ontwerp- en R&D-teams moeten vertrouwen op historische klantgegevens, die ze van andere afdelingen hebben gekregen. Vandaag de dag brengt de data mesh live datatoegang naar gebruikers achter de tekentafel, op de R&D en testteams, en helemaal naar de productievloer. Realtime feedback van klanten kan de productontwikkeling in een handomdraai informeren, en up-to-the-minute intel van IIoT-netwerken en digitale simulaties kunnen fabrieken helpen veiliger, sneller en efficiënter te werken.
Marketing: vandaag de dag vormen de eisen en verwachtingen van klanten de toekomst en veranderen en groeien ze in een ongekend tempo. Een enkel merk heeft meestal talloze touchpoints voor consumenten op sociale media, gerichte digitale advertenties en online en omnichannel winkelportals. De huidige markt ziet het groeiende verlangen naar snelle aanpassing, kortere productlevenscycli, en enorme niveaus van keuze en concurrentie. Om deze trends te begrijpen en te benutten, moeten moderne marketeers realtime en gelijktijdig toegang hebben tot een breed scala aan datasets. In het verleden betekende dit het opvragen (en afwachten) van deze gegevens bij andere afdelingen. Met een data mesh setup kunnen marketeers deze data echter op het moment op hun eigen voorwaarden beheren en openen.
Human Resources: HR-teams moeten grote hoeveelheden uiterst complexe en gevoelige data beheren. En met de groeiende trend naar remote en hybride werkplekken, wordt die data elke dag ingewikkelder en geografisch diverser. En dan heb ik het nog niet eens over de steeds veranderende set van compliance en juridische kwesties waar HR-teams zo dringend aan moeten vasthouden. Van indienstname tot pensionering moeten HR-leiders in staat zijn om enkele van de meest uiteenlopende datasets in elke organisatie te valideren, te beoordelen en te analyseren. Data mesh-architectuur zorgt voor de juiste beveiligingsprotocollen en nauw beperkte toegang – terwijl het tegelijkertijd mogelijk is voor geautoriseerde HR-gebruikers om snel en zonder afhankelijkheid van complexe interne protocollen en multidepartementale bureaucratie toegang te krijgen tot gegevens en informatie.
Finance: Net als bij HR zijn ook Finance en boekhoudteams verantwoordelijk voor enorm cruciale en gevoelige data. Moderne ERP-systemen veranderen finance en gebruiken in-memory databasetechnologie om actuele rapporten, analyses en prognoses aan te passen. Maar zelfs wanneer financiële teams de beste databases en ERP-systemen gebruiken, worden ze vaak nog steeds geconfronteerd met obstakels omdat ze worden geplaagd door langdurige en starre culturen, zware silo's en bureaucratische, old-school processen. De architectuur van data mesh brengt een fundamentele verschuiving teweeg in de manier waarop financiële data worden bekeken en beheerd, en kan zelfs stagnerend denken opschudden dat kan gebeuren wanneer teams de mogelijkheid hebben om hun eigen verouderde dataprocessen te bezitten en te herzien.
Het is duidelijk dat data mesh niet zomaar een buzzword is en een trend in de datastrategie is die serieus genomen moet worden. Bedrijven van elke omvang en branche gebruiken data mesh en zoeken naar manieren om data te gebruiken om inzichten en waarde te creëren.
Voordelen van data mesh
In het verleden hebben oude databases en beperkte infrastructuur voor datamanagement bijgedragen aan het gevoel dat data iets is om in één kluis te worden bewaard en naar eigen goeddunken van een paar datamanagers worden uitgevoerd. Nu is data de brandstof die je bedrijf drijft, en het moet vrij worden gegeven aan de vakspecialisten die het beste weten hoe het werkt en winst te genereren in concurrerende tijden.
De belangrijkste voordelen van data mesh architectuur kunnen worden samengevat als:
Verbeterde toegankelijkheid van gegevens. Data mesh zorgt ervoor dat alle juiste mensen in je organisatie toegang hebben tot de data die ze nodig hebben, om het allerbeste te zijn in hun werk.
Verbeterde analysemogelijkheden. Wanneer data wordt gezien als een product dat elke dag wordt gebruikt, beginnen teams een data-first benadering van planning en strategie. Dit leidt tot een vermindering van het aantal fouten en een objectievere, minder opiniegerichte benadering van bedrijfsontwikkeling.
Aanpasbare datapijplijnen en -processen. Veel van de beste en mogelijk meest winstgevende projecten worden opgeschort vanwege het enorme gedoe met het cureren van de unieke en aangepaste datasets die nodig zijn om succes te bereiken. Met een data mesh kunnen teams snel nieuwe projectmodellen openen en testen zonder het traditionele verlies van tijd of resources.
Knelpunten kunnen worden verminderd. Dit is een voor de hand liggende win/win voor zowel IT-teams als data-eigenaren. Bovendien kunnen bedrijven door het verminderen van een bron van frustratie en irritatie helpen om silo's af te breken die een gezonde bedrijfsontwikkeling in de weg staan.
Minder druk op centrale datamanagementteams. Dit betekent niet alleen het verminderen van achterstanden en frustraties, maar ook het vrijmaken van talloze uren voor je getalenteerde IT-teams om zich te wijden aan meer gespecialiseerde, interessante en winstgevende activiteiten
Veelgestelde vragen over data mesh
SAP oplossingen voor data en analyses
Identificeer, analyseer en transformeer de meest relevante data in je hele bedrijf.
Ideeën die u nergens anders zult vinden
Meld u aan voor een dosis business intelligence die rechtstreeks in uw inbox wordt bezorgd.