Data Mesh im Überblick

Das Data Mesh ist ein neuer Ansatz, Informationen zu analysieren. Er basiert auf dem Konzept, dass Daten ein Produkt, ein Werkzeug, ein Mittel zum Zweck sind und nicht etwas, das Unternehmen sammeln und später analysieren, um Sachverhalte im Nachhinein besser verstehen zu können.

Definition von Data Mesh

Data Mesh ist ein Datenmanagementkonzept unter Rückgriff auf ein verteiltes Architektur-Framework. Mit anderen Worten: Die Zuständigkeit für bestimmte Datensätze wird im gesamten Unternehmen auf die Nutzenden verteilt, die über das nötige Fachwissen verfügen, um zu verstehen, was diese Daten bedeuten und wie sie am besten genutzt werden können.

Die Data-Mesh-Architektur verbindet und bezieht Daten aus verschiedenen Quellen wie Data Lakes und Data Warehouses. Sie verteilt dann die relevanten Datensätze an die entsprechenden Fachkräfte und Domänenteams im gesamten Unternehmen. Im Wesentlichen wird ein umfangreiches Datenvolumen in einem zentralen Data Lake sortiert und in überschaubaren Abschnitten an die Personen verteilt, die die Daten am besten verstehen und nutzen können.

Ursprünge des Data Mesh

Das Data Mesh entstand um 2009 als Reaktion auf die Herausforderungen der Skalierung von Datenarchitekturen in großen, komplexen Unternehmen. Der Kerngedanke hinter Data Mesh ist die Dezentralisierung von Dateneigentum und ‑architektur, wobei Daten als Produkt behandelt und die Verantwortung an bereichsorientierte Teams übertragen wird. Das Data Mesh kombiniert Prinzipien aus dem domänengestützten Design, dem produktorientierten Denken und der Self-Service-Infrastruktur und ermöglicht es Unternehmen, Datensysteme zu skalieren, ohne monolithische Engpässe zu schaffen.

Aus den folgenden Gründen scheitern zentralisierte Datenmanagementmodelle häufig in großen Unternehmen:

• Engpässe bei der Bereitstellung: Ein einziges zentrales Team wird überlastet, was den Datenzugriff und die Analyse verlangsamt.
• Lücken bei der Zuständigkeit: Das Fehlen einer klaren, bereichsübergreifenden Verantwortlichkeit für die Datenqualität führt zu uneinheitlichen Standards und Vertrauensproblemen.
• Skalierbarkeitsprobleme: Mit wachsendem Datenvolumen und zunehmender Komplexität lassen sich zentralisierte Systeme ohne massiven Overhead nur schwer skalieren.
• Unzureichende Fachkenntnisse: Den zentralen Teams fehlt ein tiefes Verständnis der Geschäftsbereiche, was zu Datenprodukten mit niedriger Qualität oder falscher Ausrichtung führt.
• Begrenzte Agilität: Änderungen, die eine Koordinierung durch ein zentrales Team erfordern, beeinträchtigen die Fähigkeit, auf sich verändernde Geschäftsanforderungen zu reagieren.

Vorteile eines Data Mesh

Veraltete Datenbanken und limitierte Datenmanagementinfrastrukturen haben dazu geführt, dass Daten als kostbares Gut betrachtet wurden, die in einem abgeschotteten Tresor von wenigen Datenfachkräften kontrolliert werden müssen. Mittlerweile gelten Daten als Motor eines Unternehmens. Sie sollen den Fachleuten frei zur Verfügung gestellt werden, weil diese am besten wissen, wie man sie nutzt und in wettbewerbsintensiven Zeiten einen Vorteil aus ihnen zieht.

Die wichtigsten Vorteile einer Data-Mesh-Architektur lassen sich in drei Kategorien zusammenfassen:

Skalierbarkeit und Agilität

Optimierter Datenzugriff: Das Data Mesh stellt sicher, dass die richtigen Personen im Unternehmen auf die Daten zugreifen können, die sie benötigen, um ihre Aufgaben optimal zu erfüllen.

Anpassbare Datenpipelines und ‑prozesse: Viele gute und potenziell rentable Projekte werden auf Eis gelegt, weil die sorgfältige Organisation der spezifischen Datensätze extrem zeitaufwendig ist. Über eine Data-Mesh-Architektur können Teams jedoch schnell ohne unnötigen Zeit- oder Ressourcenaufwand auf neue Projektmodelle zugreifen und diese testen.

Weniger Engpässe: Dies ist ein Vorteil sowohl für IT-Teams als auch für Datenverantwortliche. Durch die Vermeidung dieser häufigen Quelle für Frustration tragen Unternehmen zudem dazu bei, Silos zu beseitigen, die einer gesunden Unternehmensentwicklung im Weg stehen.

Qualität und Vertrauen

Bessere Analysefunktionen: Wenn Unternehmen Daten als Produkt betrachten, das täglich genutzt wird, verschiebt sich die Herangehensweise der Teams hin zu einer datenorientierten Planung und Strategie. Dadurch sinkt die Fehlerquote, und es entsteht ein objektiverer Ansatz für die Unternehmensentwicklung, der weniger von persönlichen Meinungen beeinflusst wird.

Domänenübergreifende Zusammenarbeit und Wiederverwendung

Geringere Belastung der zentralen Datenmanagementteams: Das bedeutet nicht nur weniger Arbeitsrückstände und Frustration, sondern auch, dass Ihre IT-Teams mehr Zeit haben, sich spezielleren, interessanteren und wertschöpfenderen Aufgaben zu widmen.

Durch die Dezentralisierung der Eigentümerschaft und die Behandlung von Daten als Produkt ermöglicht das Data Mesh Unternehmen, schneller zu agieren, Vertrauen in Erkenntnisse zu gewinnen und nahtlos über verschiedene Bereiche hinweg zu skalieren.

Kernprinzipien des Data Mesh

Wenn wir von Data Lakes und Data Mesh sprechen, sprechen wir eigentlich über Big Data. Und mit Big Data sind hier nicht einfach riesige Datenmengen gemeint. Neben anderen Kriterien ist Big Data auch dadurch definiert, dass die Daten komplex, variabel und unstrukturiert sind und schnell generiert werden.

Eine lineare Datenbank ist wie eine Tabellenkalkulation: Sie hat Spalten und Zeilen und unveränderliche Kategorien, in die alle Datenkomponenten eingeordnet werden müssen. Bei manchen der von Maschinen, Sensoren und industriellen Anlagen erzeugten Daten handelt es sich um strukturierte Daten, die perfekt in einer linearen Datenbank organisiert werden können. Unabhängig davon, wie groß das Datenvolumen ist, das Sie bewältigen müssen: Wenn die Daten vollständig strukturiert sind, erfüllen sie nicht die Big-Data-Kriterien und können in einer linearen Datenbank verwaltet werden. So lassen sie sich relativ einfach filtern und extrahieren.

Big Data sind mittlerweile jedoch zunehmend unstrukturiert und bestehen aus visuellen Komponenten, offenem Text und sogar Videos und angereicherten Medieninhalten. Diese Daten können für viele Unternehmen Tausende von Terabytes an wichtigen Informationen umfassen, die sich nicht in einer linearen Standarddatenbank speichern lassen.

Hier kommt der Data Lake ins Spiel. Mit zunehmendem Big-Data-Volumen wurden Data Lakes entwickelt, um komplexe Daten in einem zentralen Repository in ihrem Rohformat zu speichern und von dort aus auf diese zuzugreifen. Obwohl Data Lakes eine hervorragende Lösung für das Big-Data-Problem darstellen, gibt es dennoch auch einige Nachteile. Data Lakes verfügen nicht über bestimmte Analysefunktionen, sodass zum Abrufen, Indizieren, Anpassen, Abfragen und Analysieren von Daten andere Dienste verwendet werden müssen.

Vier Data-Mesh-Prinzipien tragen den Herausforderungen Rechnung, die sich durch Data Lakes ergeben:

1. Domäneneigentum

Die Eigentumsverhältnisse bei Data Lakes sind schwer zu definieren, wenn zu viele Akteure Daten erzeugen und darauf zugreifen. Ohne klar definierte Rollen und Verantwortlichkeiten kann ein und derselbe Datensatz von verschiedenen Parteien unterschiedlich verwaltet werden, was zu Inkonsistenzen führt, die eine effiziente Nutzung erschweren. Außerdem werden Daten eventuell vernachlässigt, wenn sie nicht aktiv von denjenigen verwaltet werden, die sie letztendlich nutzen.

Die Data-Mesh-Architektur löst dieses Problem durch Dezentralisierung der Eigentümerschaft. Es wird die Daten-Governance klar nach Bereichen aufgeteilt, sodass jedes Team oder jede Fachkraft für einen bestimmten Bereich die Daten verwaltet, die sie auch generiert und nutzt. Um dies zu unterstützen, nutzen Data Meshes eine Struktur der „föderierten Governance“. Dies ermöglicht eine zentrale Kontrolle in Bezug auf Datenmodellierung, Sicherheitsrichtlinien und Compliance. Die Eigentümerschaft beim Data Mesh schafft Verantwortlichkeit und verbessert die Nutzbarkeit der Daten.

2. Daten als Produkt

Data Lakes können keine Datenqualität gewährleisten, wenn das Datenvolumen zu groß wird oder wenn die Datenfachkräfte selbst die Daten nicht verstehen. Die Data-Mesh-Architektur behandelt Daten grundsätzlich als wertvolles Produkt. Qualität und Vollständigkeit der Daten stehen daher im Fokus des Datenmanagements. Es wird davon ausgegangen, dass jedes Team die wichtigsten Kriterien und Fragen kennt, die es aus den von ihm gesammelten Daten ableiten möchte. Da diese Kriterien und Prioritäten in der Data-Mesh-Architektur berücksichtigt werden, können mithilfe eines Data Mesh präzise, aktuelle und vollständige Daten kontinuierlich und nach Prioritäten geordnet bereitgestellt werden, auch wenn es sich um größere Datenmengen handelt. Und bei Anwendung von Algorithmen für maschinelles Lernen werden diese Kriterien und die daraus abgeleiteten Datensätze mit der Zeit natürlich immer genauer und wertvoller.

3. Self-Service-Datenplattform

Aufgrund ihrer zentralisierten Architektur und der oft komplexen Prozesse beim Datenabruf und bei Protokollen können bei Data Lakes schnell Engpässe entstehen. Dies bedeutet in der Regel, dass die Kontrolle über eine große Menge konsolidierter Daten bei einem einzigen IT- oder Datenmanagementteam liegt. Wenn die Datenmenge (und die Anzahl an Abrufen) zunimmt, sind diese IT-Teams überfordert.

Zudem müssen Daten sorgfältig geprüft und strukturiert werden, um den Grundsätzen der Daten-Governance gerecht zu werden. Bei hohem Druck besteht die Gefahr, dass diese wichtigen Compliance-Phasen übereilt durchlaufen werden, was zu Risiken und Verlusten für das Unternehmen führen kann. Die Data-Mesh-Prinzipien tragen diesem Problem Rechnung, indem sie eine Self-Service-Datenplattform bereitstellen. Sie bietet autorisierten Fachbenutzern, die ein größeres Interesse an den Daten haben, Zugang zu den Daten und Kontrolle über diese – unter Berücksichtigung strenger, integrierter Sicherheitsprotokolle. Dies reduziert Engpässe und beschleunigt die Datenbereitstellung.

4. Föderierte Governance

Auch wenn Dezentralisierung wichtig ist, können Unternehmen nicht auf Governance verzichten. Ein Data Mesh verwendet ein föderiertes Governance-Modell, um Autonomie und Konsistenz in Einklang zu bringen. Das bedeutet, dass die einzelnen Bereiche ihre eigenen Datenprodukte verwalten, sich aber an gemeinsame Standards für Sicherheit, Compliance und Interoperabilität im gesamten Unternehmen halten müssen. Dieser hybride Ansatz der Daten-Governance gewährleistet Agilität, ohne das Vertrauen oder die Einhaltung von Vorschriften zu beeinträchtigen.

Auch wenn es beim Data Mesh Herausforderungen gibt, hat die dezentralisierte und demokratisierte Architektur des Datenmanagements zu intelligenteren, agileren und genaueren Prozessen in Unternehmen geführt. Wie? Indem sichergestellt wird, dass die richtigen Daten den richtigen Personen sofort zur Verfügung stehen, wo und wann immer sie diese benötigen. Data Mesh setzt das Konzept von Daten als Produkt in die Praxis um, indem es Hürden für den Datenzugriff senkt und den Wert von Informationen in den Vordergrund stellt. Dadurch können Teams schneller und ungehindert auf wichtige Daten zugreifen.

Architektur und Frameworks des Data Mesh

Wir haben bereits darüber gesprochen, dass es sich bei einem Data Mesh um eine dezentrale Datenarchitektur handelt, die Daten als zentrales Werkzeug für das Unternehmensmanagement betrachtet. Entscheidend dabei ist, dass unabhängige Teams für die Verwaltung der Daten in ihren jeweiligen Fachbereichen verantwortlich sind, wobei sie sich strikt an die zentral festgelegten Daten-Governance-Richtlinien halten. Diese neue Herangehensweise steht im Mittelpunkt des Data-Mesh-Konzepts.

Data-Mesh-Architektur im Überblick

In einem Data Mesh sind die Domänen die wichtigsten Produzenten und Nutzer von Daten. Jede Domäne ist Eigentümer ihrer Daten, um Qualität und Relevanz zu gewährleisten. Die Self-Service-Plattform bietet die Infrastruktur für die Veröffentlichung, Erkundung und Nutzung dieser Datenprodukte sowie automatische Sicherheits- und Compliance-Funktionen. Die Governance erfolgt in einem föderierten Modell, das die Balance zwischen globalen Standards für Interoperabilität und Sicherheit und lokaler Autonomie schafft, sodass die Domänen innovativ sein können und gleichzeitig das Vertrauen und die Konsistenz im gesamten Unternehmen erhalten bleiben.

Um besser zu verstehen, wie die Data-Mesh-Architektur funktioniert, sollten wir uns die drei Hauptkomponenten ansehen.

Datenquellen

Diese bilden das Repository, ähnlich einem Data Lake, in das die primären Rohdaten eingespeist werden. Diese Daten können aus verschiedenen Quellen stammen, wie Cloud-IIoT-Netzwerken, Kundenfeedback-Formularen oder extrahierten Daten aus dem Internet. Es handelt sich jedoch immer um Eingaberohdaten, die Benutzer im gesamten Netzwerk nach Bedarf referenzieren und verarbeiten. Während der Data-Lake-Ansatz alle Daten an einem zentralen Ort bündelt, wird bei der Data-Mesh-Methode die Verantwortung für die Erfassung, Speicherung, Verarbeitung und Extraktion dieser Rohdaten auf verschiedene zuständige Bereiche verteilt.

Data-Mesh-Infrastruktur

Informationen sind nicht in einem einzelnen Bereich isoliert, sondern können über Abteilungsgrenzen hinweg innerhalb des Unternehmensnetzwerks ausgetauscht werden, ohne die festgelegten Data-Governance-Richtlinien zu verletzen. Möglich wird dies durch zwei zentrale Säulen des Data Mesh: eine Self-Service-Datenplattform und die föderierte Governance. Die Self-Service-Datenplattform bietet die notwendigen Werkzeuge und Infrastrukturen für jeden Bereich, um Daten zu importieren, zu verändern, zu verarbeiten und bereitzustellen. Die föderierte Governance gewährleistet ihrerseits die Standardisierung im Unternehmen und ermöglicht eine nahtlose Interoperabilität der Daten zwischen allen Teams.

Datenverantwortliche

Als letzte Komponente im Data Mesh sind Datenverantwortliche dafür zuständig, die Compliance-, Governance- und Kategorisierungsrichtlinien auf die Daten ihrer Abteilungen anzuwenden. Beispielsweise müssen Personaldaten unter Verwendung bestimmter Sicherheitsprotokolle gespeichert werden und dürfen nur für festgelegte Zwecke verarbeitet sowie an autorisierte Personen weitergegeben werden. Natürlich verfügt jede Abteilung über ihre eigenen Kategorien und Arten von Daten, die sie für ihre Zwecke nutzt. In einem Data-Lake-System verwalten die IT-Teams eine Vielzahl an Protokollen und Kategorien von allen Datenverantwortlichen, die Daten in den Data Lake eingespeist haben. Bei einer Data-Mesh-Architektur hingegen haben die Datenverantwortlichen die volle Autorität und Kontrolle über diese Informationen. Denn wer könnte ihre Daten besser verwalten als die Menschen in den Fachbereichen?

Das Data-Mesh-Betriebsmodell

Das Data-Mesh-Betriebsmodell bringt Menschen, Prozesse und Technologien zusammen, um ein dezentrales Datenmanagement in großem Maßstab zu ermöglichen. Dieses Zusammenwirken gewährleistet einen nahtlosen Datenfluss im gesamten Unternehmen und fördert so Vertrauen, Agilität und Wiederverwendung, ohne sich auf ein einziges zentrales Team zu verlassen. Das Data Mesh sorgt für Interoperabilität und Auffindbarkeit, indem es gemeinsame Standards durchsetzt und eine zentrale Plattform, einheitliche Formate und Suchbegriffe sowie Governance-Regeln für die Veröffentlichung und Nutzung von Datenprodukten bereitstellt. Data-Mesh-Tools wie Datenkataloge und ‑register ermöglichen es Teams, Datenprodukte im gesamten Unternehmen schnell zu finden, sicher darauf zuzugreifen und sie zu nutzen.

Stellen Sie sich ein Data Mesh wie eine moderne Stadt vor: Jeder Stadtteil (Domäne) kümmert sich um seine eigenen Versorgungseinrichtungen und Dienstleistungen wie Wasser- und Stromversorgung sowie Abfallentsorgung, weil er seine lokalen Bedürfnisse am besten kennt. Die Stadt stellt gemeinsam genutzte Infrastrukturen wie Straßen und öffentliche Verkehrsmittel (Self-Service-Plattform) und Sicherheitsstandards (Governance) zur Verfügung, sodass sich die Stadtteile vernetzen, auf städtische Ressourcen zugreifen und ohne Chaos zusammenarbeiten können. Auf diese Weise fließen die Ressourcen ungehindert durch die Stadt, alle halten sich an gemeinsame Regeln, und Innovationen gedeihen auf lokaler Ebene, während die gesamte Stadt reibungslos funktioniert.

Data Mesh in der Praxis: Beispiele und Anwendungsfälle

Damit Datenmanagementlösungen kontinuierlich weiterentwickelt und erfolgreich genutzt werden können, müssen sie für eine Vielzahl von Anwendungen und Prozessen zugänglich und relevant sein. Mit fortschreitender Optimierung der Data-Mesh-Architektur und ‑Benutzerfreundlichkeit wächst auch die Anzahl der Geschäftsfunktionen, die Unternehmen durch einen sicheren und dezentralen Ansatz für Daten als Produkt und Werkzeug verbessern können.

Sehen wir uns einige gängige Data-Mesh-Anwendungsfälle an.

Vertrieb

Für Vertriebsteams stehen die Akquise, Pflege und der Abschluss von Leads im Vordergrund. Je mehr Zeit die Mitglieder Ihres Teams mit administrativen Aufgaben verbringen, desto weniger Zeit bleibt ihnen, um Beziehungen zu potenziellen Kunden aufzubauen. Bei der Data-Mesh-Architektur benötigen die Benutzer des Vertriebsteams keine tiefgreifenden Kenntnisse im Datenmanagement oder für die Datenabfrage, um schnell und einfach auf leistungsstarke und relevante Datensätze zugreifen zu können. Wenn der Vertriebsabteilung die richtigen Daten zur Analyse zur Verfügung stehen, können wertvolle Erkenntnisse gewonnen und effektive Strategien entwickelt werden.

Data-Mesh-Beispiel für den Vertrieb: Regionale oder produktspezifische Vertriebsteams können ihre CRM- und Pipeline-Datenbereiche selbst verwalten, was genaue Prognosen und Echtzeit-Dashboards ermöglicht, ohne auf ein zentrales IT-Team angewiesen zu sein.

Lieferketten und Logistik

Moderne Lieferketten sind anfällig für vielerlei Störungen. Unternehmen, die schnell und agil auf Bedrohungen und Chancen reagieren können, haben hier einen Wettbewerbsvorteil. Die Daten von globalen Lieferketten sind komplex und werden aus verschiedenen Quellen erfasst – von Kundenfeedback über IIoT-Netzwerke bis hin zu digitalen Zwillingen. Wenn erfahrene und versierte Supply-Chain-Fachkräfte diese Datensätze in Echtzeit pflegen und analysieren können, erhalten Unternehmen eine aussagekräftige Quelle für wichtige Einblicke und Erkenntnisse.

Data-Mesh-Beispiel für die Lieferkette: Die Optimierung der Lieferkette erfordert eine Echtzeittransparenz der Bestände, der Lieferantenleistung und der Logistikdaten. Durch ein Data Mesh wird jede Domäne – Beschaffung, Lagerhaltung, Transport – Eigentümer ihrer Datenprodukte, was schnellere Entscheidungen und kosteneffiziente Abläufe ermöglicht.

Fertigung

Als Bestandteil der Lieferkette sind die Fertigungsprozesse in einem Unternehmen gleichermaßen anfällig für schnelle Marktveränderungen und schwankende Kundennachfrage. Früher mussten Konstruktions- und F&E-Teams auf historische Kundendaten aus anderen Abteilungen zurückgreifen. Heutzutage ermöglicht das Data Mesh den Benutzern hinter dem Zeichentisch, in der F&E-Abteilung, als Mitglieder des Testteams und in der Fertigung den Zugriff auf Live-Daten. Echtzeit-Kundenfeedback kann direkt in die Produktentwicklung integriert werden, während minutengenaue Informationen aus IIoT-Netzwerken und digitale Simulationen für sicherere, schnellere und effizientere Fertigungsprozesse sorgen.

Data-Mesh-Beispiel für die Fertigung: Teams auf Werksebene können über Sensor- und Maschinenleistungsdaten verfügen, was eine vorausschauende Instandhaltung ermöglicht und Ausfallzeiten durch dezentrale Analysen reduziert.

Marketing

Die Anforderungen und Erwartungen der Kunden entwickeln sich schneller als je zuvor und prägen die Zukunft. Die einzelnen Marken stehen normalerweise umfassend über soziale Medien, gezielte digitale Werbung sowie Online- und Omnichannel-Shoppingportale in Kontakt mit den Verbrauchenden. Gegenwärtig ist zu beobachten, dass der Wunsch nach schneller Produktpersonalisierung, kürzeren Lebenszyklen und großer Auswahl wächst. Um diese Trends zu verstehen und ihnen einen Schritt voraus zu sein, benötigen moderne Marketingteams Echtzeitzugriff auf verschiedene Datensätze. Früher mussten sie dafür die Daten von anderen Abteilungen anfordern (und auf diese warten). Bei einer Data-Mesh-Architektur können sie jedoch selbstständig auf die benötigten Daten zugreifen und diese nach Bedarf nutzen.

Data Mesh-Beispiel für das Marketing: Der Aufbau einer 360°-Sicht auf den Kunden erfordert die Integration von Daten aus verschiedenen Kanälen wie E-Mail, sozialen Netzwerken und bezahlten Anzeigen. Mit dem Data Mesh kann jeder Kanal sein eigenes Datenprodukt besitzen, was genaue Echtzeiteinblicke für personalisierte Kampagnen und bessere Kundenerlebnisse gewährleistet.

Personalwesen

HR-Teams stehen vor der Herausforderung, extrem komplexe und sensible Daten verwalten zu müssen. Mit dem wachsenden Trend hin zu Remote- und Hybridarbeitsmodellen werden diese Daten jeden Tag komplizierter und über geografische Grenzen hinweg verteilter. Ganz zu schweigen von den sich ständig ändernden Compliance-technischen und rechtlichen Anforderungen, die HR-Teams jederzeit im Blick behalten müssen. Von der Einstellung bis zum Ruhestand – die Personalleitung muss in der Lage sein, einige der unterschiedlichsten Datensätze im Unternehmen zu validieren, zu bewerten und zu analysieren. Die Data-Mesh-Architektur sorgt für entsprechende Sicherheitsprotokolle und strenge Zugriffsbeschränkungen. Gleichzeitig können autorisierte HR-Fachkräfte schnell und unkompliziert auf Daten zugreifen, ohne durch komplexe interne Prozesse und abteilungsübergreifende Bürokratie ausgebremst zu werden.

Data-Mesh-Beispiel für das Personalwesen: Teams für Personalbeschaffung, Personalabrechnung und Leistungsmanagement können ihre eigenen Datendomänen verwalten, was die Compliance verbessert und Echtzeitanalysen der Arbeitskräfte für strategische Entscheidungen ermöglicht.

Finanzwesen

Wie die Personalabteilung verwalten auch die Finanz- und Buchhaltungsteams geschäftskritische und sensible Daten. Moderne ERP-Systeme transformieren das Finanzwesen, da sie In-Memory-Datenbanken nutzen, um aktuelle Berichte, Analysen und Prognosen anzupassen. Doch obwohl die Finanzteams die besten Datenbanken und ERP-Systeme nutzen, stoßen sie häufig noch immer auf Hindernisse, die Folge von langjährigen und starren Kulturen, Datensilos sowie bürokratischen und veralteten Prozessen sind. Die Data-Mesh-Architektur führt zu einem grundlegenden Wandel bei der Betrachtung und Verwaltung von Finanzdaten. Sie kann sogar festgefahrene Denkweisen aufbrechen, indem Unternehmen ihren Teams die Möglichkeit geben, die eigenen veralteten Datenprozesse zu überdenken und selbst zu steuern.

Data-Mesh-Beispiel für das Finanzwesen: Finanzplanungsteams können eigene Datenbereiche für Einnahmen, Ausgabendaten und Investitionen besitzen und so genaue Prognosen und eine agile Szenariomodellierung gewährleisten, ohne auf ein einziges zentrales Team angewiesen zu sein.

Data Mesh ist mehr als nur ein Hypebegriff, sondern markiert einen Wandel beim Thema Datenstrategie. Unternehmen jeder Größen und aus allen Branchen nutzen Data Meshes, um aus ihren Daten wertvolle Erkenntnisse zu gewinnen und einen Mehrwert für das Unternehmen zu schaffen.

Alternativen zum Data Mesh

Das Data Mesh bietet zwar einen dezentralen Ansatz für das Datenmanagement, ist aber nicht die einzige Option. Herkömmliche Architekturen wie Data Lakes und Data Warehouses sind nach wie vor weit verbreitet, um große Datenmengen zu zentralisieren und zu speichern, oft in Kombination mit Data Lakehouses, die strukturierte und unstrukturierte Daten kombinieren. Andere Modelle, wie Data Fabric, konzentrieren sich auf die Schaffung einer einheitlichen Schicht für die Datenintegration und ‑orchestrierung über verschiedene Systeme hinweg. Bei jeder Alternative werden die Themen Skalierbarkeit, Governance und Zugänglichkeit anders angegangen, sodass die Wahl von den Anforderungen und dem Reifegrad des Unternehmens abhängt.

Schauen wir uns die Data-Mesh-Alternativen an und wie sie im Vergleich abschneiden.

Data Mesh vs. Data Lake/Lakehouse

Data Mesh vs. Data Warehouse

Data Mesh vs. Data Fabric

Implementierung eines Data Mesh

Die Implementierung eines Data Mesh erfordert einen strategischen Ansatz, der ein Gleichgewicht zwischen Dezentralisierung und gemeinsamen Standards schafft. Im Folgenden werden die wichtigsten Schritte für ein Data Mesh beschrieben:

1. Identifizierung von Pilotdomänen: Beginnen Sie klein, indem Sie zwei oder drei Domänen mit klarem geschäftlichen Nutzen und hoher Datenreife auswählen. Diese Teams dienen als Early Adopters: Sie testen das Data-Mesh-Modell, bevor es im gesamten Unternehmen übernommen wird.
2. Einrichtung der Plattform: Bauen Sie eine Self-Service-Datenplattform auf, die gemeinsame Tools für die Veröffentlichung, Erkundung und Nutzung von Datenprodukten bietet. Dazu gehören Datenkataloge, APIs und automatisierte Sicherheitsfunktionen, die die Reibungsverluste für die Domänenteams verringern.
3. Definition einer föderierten Governance: Erstellen Sie Governance-Richtlinien, die globale Standards für Sicherheit, Compliance und Interoperabilität durchsetzen und gleichzeitig die Autonomie von Domänen ermöglichen. Die Governance sollte klare Rollen, Datenproduktdefinitionen und Qualitätserwartungen beinhalten.

Zu vermeidende Anti-Pattern

Wenn das Data Mesh nicht den natürlichen Organisationsmustern folgt, kann es zu Verwirrung und Unstimmigkeiten führen. Ein Anti-Pattern im Data Mesh ist ein wiederkehrender Ansatz oder eine Praxis, die zwar hilfreich zu sein scheint, aber letztlich die Kernprinzipien der Architektur untergräbt. Zu den zu vermeidenden Anti-Patterns gehören:

• Behandlung des Data Mesh als einen weiteren zentralisierten Data Lake
• Ignorieren des kulturellen Wandels – Technologie allein löst keine Eigentumsfragen
• Übertechnisierung der Plattform, bevor der geschäftliche Nutzen belegt ist
• Fehlen einer klaren Verantwortlichkeit für die Datenqualität
• Zu schnelle Skalierung ohne Validierung des Data-Mesh-Modells in Pilotbereichen

Fünf Best Practices für ein Data Mesh

1. Klein anfangen und iterieren: Verwenden Sie Pilotbereiche, um Prozesse zu verfeinern, bevor Sie sie skalieren.
2. Daten als Produkt behandeln: Definieren Sie für jeden Datensatz Standards in Bezug auf Eigentum, SLAs und Benutzerfreundlichkeit.
3. In gemeinsame Tools investieren: Vereinfachen Sie die Veröffentlichung und Auffindbarkeit für Domänenteams.
4. Governance frühzeitig einbinden: Schaffen Sie von Anfang an ein Gleichgewicht zwischen Autonomie und Compliance.
5. Auf Geschäftsergebnisse konzentrieren: Richten Sie Datenprodukte an messbarem Wert aus, nicht nur an technischen Zielen.

Durch Kombination von Domänenverantwortung, einer robusten Plattform und föderierter Governance können Unternehmen Agilität, Vertrauen und bereichsübergreifende Zusammenarbeit verbessern – ohne die Engpässe herkömmlicher zentralisierter Modelle.

Messung und Kennzahlen

Die Bewertung des Erfolgs erfordert Data-Mesh-Kennzahlen, die die technische Leistung mit den Geschäftsergebnissen in Einklang bringen. Zu diesen Kennzahlen können gehören:

• SLOs/SLAs für die Qualität von Datenprodukten: Unverzichtbar, müssen aber auf den Kontext des jeweiligen Bereichs zugeschnitten sein, statt einheitlich angewendet zu werden. Beispiele für Datenprodukt-KPIs sind:

  • Datenaktualität: Prozentsatz der Datenprodukte, die innerhalb des vereinbarten Zeitfensters aktualisiert werden, z. B. stündlich oder täglich
  • Vollständigkeit: Prozentsatz der ausgefüllten Pflichtfelder in allen Datensätzen
  • Verfügbarkeit: Produktivzeit von Datenprodukten – zum Beispiel 99,9 %

• Benutzerakzeptanz und Wiederverwendung: Kann ein aussagekräftiger Indikator für den Wert sein, aber um ihn genau zu messen, müssen oft Nutzungsmuster und Feedback in verschiedenen Teams verfolgt werden. Beispiele für KPIs zur Benutzerakzeptanz und Wiederverwendung sind:

  • Anzahl der eindeutigen Benutzer pro Datenprodukt
  • Domänenübergreifende Wiederverwendungsrate: Prozentsatz der Datenprodukte, die von mehreren Domänen genutzt werden
  • Benutzerzufriedenheitswerte aus Umfragen oder Feedback

• Time-to-Insight und Servicekosten: Hervorzuheben sind Effizienzgewinne im Vergleich zu zentralisierten Modellen, aber diese Verbesserungen hängen von der organisatorischen Reife und den grundlegenden Prozessen ab. Beispiele für KPIs zu Time-to-Insight und Servicekosten sind:

  • Durchschnittliche Zeit von der Datenanfrage bis zu handlungsrelevanten Erkenntnissen
  • Senkung der Betriebskosten im Vergleich zum zentralisierten Modell
  • Prozentualer Rückgang des Rückstands bei den Datenanfragen

• Zu schließende Wettbewerbslücken: Konzentrieren Sie sich auf Bereiche, in denen Ihre Wettbewerber Schwierigkeiten haben, und nutzen Sie die Data-Mesh-Prinzipien, um sie zu überflügeln. Beispiele von KPIs für zu schließende Wettbewerbslücken sind:

  • Anzahl der festgestellten Wettbewerbsschwächen, denen die Datenproduktfunktionen Rechnung tragen, z. B. verbesserte Auffindbarkeit, schnellerer Datenzugang
  • Zeitvorteil bei der Markteinführung neuer Datenprodukte gegenüber dem Wettbewerb
  • Steigerung der Self-Service-Einführungsrate im Vergleich zu Schätzungen für den Wettbewerb

Zusammengenommen bieten diese Kennzahlen einen richtungsweisenden Einblick in die Frage, ob das Data Mesh Agilität, Vertrauen und Skalierbarkeit bietet, ohne dabei von pauschalen Benchmarks ausgehen zu müssen.

Häufig gestellte Fragen zu Data Mesh