Was ist ein Data Mesh?
Data Mesh ist ein Datenmanagementkonzept unter Rückgriff auf ein verteiltes Architektur-Framework.
Data Mesh im Überblick
Das Data Mesh ist ein neuer Ansatz, Informationen zu analysieren. Er basiert auf dem Konzept, dass Daten ein Produkt, ein Werkzeug, ein Mittel zum Zweck sind und nicht etwas, das Unternehmen sammeln und später analysieren, um Sachverhalte im Nachhinein besser verstehen zu können.
Definition von Data Mesh
Data Mesh ist ein Datenmanagementkonzept unter Rückgriff auf ein verteiltes Architektur-Framework. Mit anderen Worten: Die Zuständigkeit für bestimmte Datensätze wird im gesamten Unternehmen auf die Benutzer verteilt, die über das nötige Fachwissen verfügen, um zu verstehen, was diese Daten bedeuten und wie sie am besten genutzt werden können.
Die Data-Mesh-Architektur verbindet und bezieht Daten aus verschiedenen Quellen wie Data Lakes und Warehouses und verteilt die relevanten Datensätze an die entsprechenden Fachkräfte und Domänenteams im gesamten Unternehmen. Im Wesentlichen wird ein umfangreiches Datenvolumen in einem zentralen Data Lake sortiert und in überschaubaren Abschnitten an die Personen verteilt, die sie am besten verstehen und nutzen können.
Data-Mesh-Konzept für Data-Lake-Herausforderungen
Wenn wir von Data Lakes und Data Mesh sprechen, sprechen wir eigentlich über Big Data. Und mit Big Data sind hier nicht einfach riesige Datenmengen gemeint. Neben anderen Kriterien ist Big Data auch dadurch definiert, dass die Daten komplex, variabel und unstrukturiert sind und schnell generiert werden.
Eine lineare Datenbank ist wie eine Tabellenkalkulation: Sie hat Spalten und Zeilen und unveränderliche Kategorien, in die alle Datenkomponenten eingeordnet werden müssen. Bei manchen der von Maschinen, Sensoren und industriellen Anlagen erzeugten Daten handelt es sich um strukturierte Daten, die perfekt in einer linearen Datenbank organisiert werden können. Unabhängig davon, wie groß das Datenvolumen ist, das Sie bewältigen müssen: Wenn die Daten vollständig strukturiert sind, erfüllen sie nicht die Big-Data-Kriterien und können in einer linearen Datenbank verwaltet werden. So lassen sie sich relativ einfach filtern und extrahieren.
Big Data sind mittlerweile jedoch zunehmend unstrukturiert und bestehen aus visuellen Komponenten, offenem Text und sogar Videos und angereicherten Medieninhalten. Diese Daten können für viele Unternehmen Tausende von Terabytes an wichtigen Informationen umfassen, die sich nicht in einer linearen Standarddatenbank speichern lassen.
Hier kommt der Data Lake ins Spiel. Mit zunehmendem Big-Data-Volumen wurden Data Lakes entwickelt, um komplexe Daten in einem zentralen Repository in ihrem Rohformat zu speichern und von dort aus auf diese zuzugreifen. Obwohl Data Lakes eine hervorragende Lösung für das Big-Data-Problem darstellen, gibt es dennoch auch einige Nachteile. Data Lakes verfügen nicht über bestimmte Analysefunktionen, sodass zum Abrufen, Indizieren, Anpassen, Abfragen und Analysieren von Daten andere Dienste verwendet werden müssen. Aus betriebswirtschaftlicher Sicht gibt es drei weitere Herausforderungen bei Data Lakes:
1. Komplexe Eigentumsverhältnisse Die Eigentumsverhältnisse bei Data Lakes sind schwer zu definieren, wenn zu viele Akteure Daten erzeugen und darauf zugreifen. Ohne klar definierte Rollen und Verantwortlichkeiten kann ein und derselbe Datensatz von verschiedenen Parteien unterschiedlich verwaltet werden, was zu Inkonsistenzen führt, die eine effiziente Nutzung erschweren. Außerdem werden Daten eventuell vernachlässigt, wenn sie nicht aktiv von denjenigen verwaltet werden, die sie letztendlich nutzen. Bei der Data-Mesh-Architektur wird die Daten-Governance klar nach Bereichen aufgeteilt, sodass jedes Team oder jede Fachkraft für einen bestimmten Bereich die Daten verwaltet, die sie auch generiert und nutzt. Um dies zu unterstützen, nutzen Data Meshes eine Struktur der „föderierten Governance“. Dies ermöglicht eine zentrale Kontrolle in Bezug auf Datenmodellierung, Sicherheitsrichtlinien und Compliance.
2. Datenqualität Data Lakes können keine Datenqualität gewährleisten, wenn das Datenvolumen zu groß wird oder wenn die Datenfachkräfte selbst die Daten nicht verstehen. Die Data-Mesh-Architektur behandelt Daten grundsätzlich als wertvolles Produkt. Qualität und Vollständigkeit der Daten stehen daher im Fokus des Datenmanagements. Es wird davon ausgegangen, dass jedes Team die wichtigsten Kriterien und Fragen kennt, die es aus den von ihm gesammelten Daten ableiten möchte. Da diese Kriterien und Prioritäten in der Data-Mesh-Architektur berücksichtigt werden, können mithilfe eines Data Mesh präzise, aktuelle und vollständige Daten kontinuierlich und nach Prioritäten geordnet bereitgestellt werden, auch wenn es sich um größere Datenmengen handelt. Und bei Anwendung von Algorithmen für maschinelles Lernen werden diese Kriterien und die daraus abgeleiteten Datensätze mit der Zeit natürlich immer genauer und wertvoller.
3. Engpässe Aufgrund ihrer zentralisierten Architektur und der oft komplexen Prozesse beim Datenabruf und bei Protokollen können bei Data Lakes schnell Engpässe entstehen. Dies bedeutet in der Regel, dass die Kontrolle über eine große Menge konsolidierter Daten bei einem einzigen IT- oder Datenmanagementteam liegt. Wenn die Datenmenge (und die Anzahl an Abrufen) zunimmt, sind diese IT-Teams überfordert.
Zudem müssen Daten sorgfältig geprüft und strukturiert werden, um den Grundsätzen der Daten-Governance gerecht zu werden. Bei hohem Druck besteht die Gefahr, dass diese wichtigen Compliance-Phasen übereilt durchlaufen werden, was zu Risiken und Verlusten für das Unternehmen führen kann. Die Data-Mesh-Architektur hingegen bietet autorisierten Fachbenutzern, die ein größeres Interesse an den Daten haben, Zugang zu den Daten und Kontrolle über diese – unter Berücksichtigung strenger, integrierter Sicherheitsprotokolle.
Das Data-Mesh-Konzept entstand als direkte Antwort auf diese Herausforderungen bei Data Lakes. Durch die dezentralisierte und demokratisierte Architektur für das Datenmanagement können Unternehmen intelligentere, flexiblere und präzisere Prozesse schaffen, da sicherstellen, dass die richtigen Daten den richtigen Personen sofort zur Verfügung stehen – wo und wann immer sie diese benötigen. Data Mesh setzt das Konzept von Daten als Produkt in die Praxis um, indem es Hürden für den Datenzugriff senkt und den Wert von Informationen in den Vordergrund stellt. Dadurch können Teams schneller und ungehindert auf wichtige Daten zugreifen.
Die Data-Mesh-Architektur
Wir haben bereits darüber gesprochen, dass es sich bei einem Data Mesh um eine dezentrale Datenarchitektur handelt, die Daten als zentrales Werkzeug für das Unternehmensmanagement betrachtet. Entscheidend dabei ist, dass unabhängige Teams für die Verwaltung der Daten in ihren jeweiligen Fachbereichen verantwortlich sind, wobei sie sich strikt an die zentral festgelegten Daten-Governance-Richtlinien halten. Diese neue Herangehensweise steht im Mittelpunkt des Data-Mesh-Konzepts.
Um besser zu verstehen, wie dies umgesetzt wird, unterteilen wir die Data-Mesh-Architektur in drei Hauptkomponenten:
1. Datenquellen bilden das Repository, ähnlich einem Data Lake, in das die primären Rohdaten eingespeist werden. Diese Daten können aus verschiedenen Quellen stammen, wie Cloud-IIoT-Netzwerken, Kundenfeedback-Formularen oder extrahierten Daten aus dem Internet. Es handelt sich jedoch immer um Eingaberohdaten, die von Benutzern im gesamten Netzwerk nach Bedarf referenziert und verarbeitet werden. Während der Data-Lake-Ansatz alle Daten an einem zentralen Ort bündelt, wird bei der Data-Mesh-Methode die Verantwortung für die Erfassung, Speicherung, Verarbeitung und Extraktion dieser Rohdaten auf verschiedene zuständige Bereiche verteilt.
2. Die Data-Mesh-Infrastruktur sorgt dafür, dass diese Informationen nicht in einem einzelnen Bereich isoliert sind, sondern über Abteilungsgrenzen hinweg innerhalb des Unternehmensnetzwerks ausgetauscht werden können, ohne die festgelegten Data-Governance-Richtlinien zu verletzen. Dies wird durch zwei zentrale Säulen des Data Mesh ermöglicht: eine Selfservice-Datenplattform und die föderierte Governance. Die Selfservice-Datenplattform bietet die notwendigen Werkzeuge und Infrastrukturen für jeden Bereich, um Daten zu importieren, zu verändern, zu verarbeiten und bereitzustellen. Gleichzeitig gewährleistet die föderierte Governance die Standardisierung im Unternehmen und ermöglicht eine nahtlose Interoperabilität der Daten zwischen allen Teams.
3. Datenverantwortliche bilden die letzte Komponente im Data Mesh. Sie sind dafür zuständig, die Compliance-, Governance- und Kategorisierungsrichtlinien auf die Daten ihrer Abteilungen anzuwenden. Beispielsweise müssen Personaldaten unter Verwendung bestimmter Sicherheitsprotokolle gespeichert werden und dürfen nur für festgelegte Zwecke verarbeitet sowie an autorisierte Personen weitergegeben werden. Natürlich verfügt jede Abteilung über ihre eigenen Kategorien und Arten von Daten, die sie für ihre Zwecke nutzt. In einem Data-Lake-System verwalten die IT-Teams eine Vielzahl an Protokollen und Kategorien von allen Datenverantwortlichen, die Daten in den Date Lake eingespeist haben. Bei einer Data-Mesh-Architektur hingegen haben die Datenverantwortlichen die volle Autorität und Kontrolle über diese Informationen. Denn wer könnte ihre Daten besser verwalten als die Menschen in den Fachbereichen?
Data Mesh in der Praxis: Wer es nutzt und warum
Damit Datenmanagementlösungen kontinuierlich weiterentwickelt und erfolgreich genutzt werden können, müssen sie für eine Vielzahl von Anwendungen und Prozessen zugänglich und relevant sein. Mit fortschreitender Optimierung der Data-Mesh-Architektur und -Benutzerfreundlichkeit wächst auch die Anzahl der Unternehmensfunktionen, die durch einen sicheren und dezentralen Ansatz für Daten als Produkt und Werkzeug verbessert werden können.
Im Folgenden finden Sie einige gängige Anwendungsfälle für Unternehmen:
Vertrieb: Für Vertriebsteams steht die Akquise, Pflege und der Abschluss von Leads im Vordergrund. Je mehr Zeit die Mitglieder Ihres Teams mit administrativen Aufgaben verbringen, desto weniger Zeit bleibt ihnen, um Beziehungen zu potenziellen Kunden aufzubauen. Bei der Data-Mesh-Architektur benötigen die Benutzer des Vertriebsteams keine tiefgreifenden Kenntnisse im Datenmanagement oder für die Datenabfrage, um schnell und einfach auf leistungsstarke und relevante Datensätze zugreifen zu können. Wenn der Vertriebsabteilung die richtigen Daten zur Analyse zur Verfügung stehen, können wertvolle Erkenntnisse gewonnen und effektive Strategien entwickelt werden.
Lieferkette und Logistik: Moderne Lieferketten sind anfällig für vielerlei Störungen. Unternehmen, die schnell und agil auf Bedrohungen und Chancen reagieren können, haben hier einen Wettbewerbsvorteil. Die Daten von globalen Lieferketten sind komplex und werden aus verschiedenen Quellen erfasst – von Kundenfeedback über IIoT-Netzwerke bis hin zu digitalen Zwillingen. Wenn erfahrene und versierte Supply-Chain-Fachkräfte diese Datensätze in Echtzeit pflegen und analysieren können, erhalten Unternehmen eine aussagekräftige Quelle für wichtige Einblicke und Erkenntnisse.
Fertigung: Als Bestandteil der Lieferkette sind die Fertigungsprozesse in einem Unternehmen gleichermaßen anfällig für schnelle Marktveränderungen und schwankende Kundennachfrage. Früher mussten Konstruktions- und F&E-Teams auf historische Kundendaten aus anderen Abteilungen zurückgreifen. Heutzutage ermöglicht das Data Mesh den Benutzern hinter dem Zeichentisch, in der F&E-Abteilung, als Mitglieder des Testteams und in der Fertigung den Zugriff auf Live-Daten. Echtzeit-Kundenfeedback kann direkt in die Produktentwicklung integriert werden, während minutengenaue Informationen aus IIoT-Netzwerken und digitale Simulationen für sicherere, schnellere und effizientere Fertigungsprozesse sorgen.
Marketing: Die Anforderungen und Erwartungen der Kunden entwickeln sich schneller als je zuvor und prägen die Zukunft. Die einzelnen Marken stehen normalerweise umfassend über soziale Medien, gezielte digitale Werbung sowie Online- und Omnichannel-Shoppingportale in Kontakt mit den Verbrauchenden. Gegenwärtig ist zu beobachten, dass der Wunsch nach schneller Produktpersonalisierung, kürzeren Lebenszyklen und großer Auswahl wächst. Um diese Trends in Echtzeit zu verstehen und entsprechend zu reagieren, benötigen moderne Marketingteams Echtzeitzugriff auf verschiedene Datensätze. Früher mussten sie dafür die Daten von anderen Abteilungen anfordern (und auf diese warten). Bei einer Data-Mesh-Architektur können sie jedoch selbstständig auf die benötigten Daten zugreifen und diese nach Bedarf nutzen.
Personalwesen: HR-Teams stehen vor der Herausforderung, extrem komplexe und sensible Daten verwalten zu müssen. Mit dem wachsenden Trend hin zu Remote- und Hybridarbeitsmodellen werden diese Daten jeden Tag komplizierter und über geografische Grenzen hinweg verteilter. Ganz zu schweigen von den sich ständig ändernden Compliance-technischen und rechtlichen Anforderungen, die HR-Teams jederzeit im Blick behalten müssen. Von der Einstellung bis zum Ruhestand – die Personalleitung muss in der Lage sein, einige der unterschiedlichsten Datensätze im Unternehmen zu validieren, zu bewerten und zu analysieren. Die Data-Mesh-Architektur sorgt für entsprechende Sicherheitsprotokolle und strenge Zugriffsregelungen. Gleichzeitig können autorisierte HR-Fachkräfte schnell und unkompliziert auf Daten zugreifen, ohne durch komplexe interne Prozesse und abteilungsübergreifende Bürokratie ausgebremst zu werden.
Finanzwesen: Wie die Personalabteilung verwalten auch die Finanz- und Buchhaltungsteams geschäftskritische und sensible Daten. Moderne ERP-Systeme transformieren das Finanzwesen, da sie In-Memory-Datenbanken nutzen, um aktuelle Berichte, Analysen und Prognosen zu anzupassen. Doch obwohl die Finanzteams die besten Datenbanken und ERP-Systeme nutzen, stoßen sie häufig auf Herausforderungen, die aus starren Kulturen, Datensilos und bürokratischen und veralteten Prozessen resultieren. Data-Mesh-Architekturen revolutionieren den Umgang mit Finanzdaten, sodass die Teams die Chance erhalten, eingefahrene Prozesse zu überdenken und selbst zu steuern.
Data Mesh ist mehr als nur ein Hypebegriff, sondern markiert einen Wandel beim Thema Datenstrategie. Unternehmen jeder Größen und aus allen Branchen nutzen Data Meshes, um aus ihren Daten wertvolle Erkenntnisse zu gewinnen und einen Mehrwert für das Unternehmen zu schaffen.
Vorteile eines Data Mesh
In der Vergangenheit haben veraltete Datenbanken und limitierte Datenmanagementinfrastrukturen dazu geführt, dass Daten als kostbares Gut betrachtet wurden, die in einem abgeschotteten Tresor von wenigen Datenfachkräften kontrolliert werden müssen. Mittlerweile gelten Daten als Motor eines Unternehmens. Sie sollen den Fachleuten frei zur Verfügung gestellt werden, weil diese am besten wissen, wie man sie nutzt und in wettbewerbsintensiven Zeiten einen Vorteil aus ihnen zieht.
Die wichtigsten Vorteile einer Data-Mesh-Architektur lassen sich wie folgt zusammenfassen:
Optimierter Datenzugriff: Das Data Mesh stellt sicher, dass die richtigen Personen im Unternehmen auf die Daten zugreifen können, die sie benötigen, um ihre Aufgaben optimal zu erfüllen.
Bessere Analysefunktionen: Wenn Daten als Produkt betrachtet werden, das täglich genutzt wird, verschiebt sich die Herangehensweise der Teams hin zu einer datenorientierten Planung und Strategie. Dadurch sinkt die Fehlerquote, und es entsteht ein objektiverer Ansatz für die Unternehmensentwicklung, der weniger von persönlichen Meinungen beeinflusst wird.
Anpassbare Datenpipelines und -prozesse: Viele gute und potenziell rentable Projekte werden auf Eis gelegt, weil die sorgfältige Organisation der spezifischen Datensätze extrem zeitaufwendig ist. Über eine Data-Mesh-Architektur können Teams jedoch schnell ohne unnötigen Zeit- oder Ressourcenaufwand auf neue Projektmodelle zugreifen und diese testen.
Weniger Engpässe: Dies ist ein Vorteil sowohl für IT-Teams als auch für Datenverantwortliche. Durch die Vermeidung dieser häufigen Quelle für Frustration tragen Unternehmen zudem dazu bei, Silos zu beseitigen, die einer gesunden Unternehmensentwicklung im Weg stehen.
Geringere Belastung der zentralen Datenmanagementteams: Das bedeutet nicht nur weniger Rückstände und Frustration, sondern auch, dass Ihre IT-Teams mehr Zeit haben, sich spezielleren, interessanteren und wertschöpfenderen Aufgaben zu widmen.
Häufig gestellte Fragen zu Data Mesh
Daten- und Analyselösungen von SAP
Identifizieren, analysieren und transformieren Sie die relevantesten Daten in Ihrem gesamten Unternehmen.
Innovative Ideen, die inspirieren
Registrieren Sie sich, um interessante und relevante Informationen zum Thema Business Intelligence zu erhalten.