Was ist Data Mesh? Die nächste Evolution in der Datenarchitektur verstehen

Data Mesh ("Datengeflecht" oder "Datennetz") ist ein dezentraler Ansatz für die Datenverwaltung, bei dem Daten als Produkt behandelt werden und sich im Besitz funktionsübergreifender Teams befinden. Dies fördert die Zugänglichkeit, Skalierbarkeit und Qualität von Daten innerhalb eines Unternehmens durch eine bereichsorientierte Architektur und eine Self-Service-Dateninfrastruktur.

Dieser Leitfaden erläutert die Grundlagen der Data Mesh-Architektur, erklärt, wie sie funktioniert, und was sie für Ihre Geschäftsabläufe bedeutet. Wenn Sie die Lektüre beendet haben, verfügen Sie über das Wissen und die Werkzeuge, um Ihr Unternehmen zu skalieren und angesichts des Wandels agil zu bleiben.

Zhamak Dhegani erfand den Begriff "Data Mesh" im Jahr 2019 als revolutionäre Methode zur Verwaltung wichtiger Unternehmensdaten.

Wenn Sie jemals den Satz "Legen Sie nicht alle Eier in einen Korb" gehört haben, verstehen Sie bereits die Logik der Data Mesh-Architektur. Ein Data Mesh bezieht sich auf einen dezentralisierten und weit verteilten Ansatz für die Dateneignerschaft.

Grundlegende Prinzipien des Data Mesh

Auch wenn jede Data-Mesh-Architektur einzigartige Züge haben mag, sind die zentralen Prinzipien dieselben. Ein Data Mesh ist ein praktischer Ansatz für Daten, der sicherstellt, dass keine einzelne Einheit zu viel Kontrolle oder Verantwortung hat.

Im Folgenden werden die Kernprinzipien eines Data Mesh und ihre Beziehung zu ähnlichen Tools wie dem Data Lake oder Data Fabric erläutert.

Es ist wichtig zu definieren, was eine Domäne im Zusammenhang mit einer Data-Mesh-Architektur bedeutet. In diesem Fall bezieht sich die Domäne auf eine beliebige Untergruppe oder Umgebung einer Geschäftseinheit, zu der Mitarbeiter, Lieferanten, Produkte und Kunden gehören können.

Domänenorientierter Datenbesitz bedeutet, dass keine einzelne Einheit die gesamte Kontrolle darüber hat, wie Daten gespeichert, verteilt oder abgerufen werden. Zu den Vorteilen der dezentralen Datenverwaltung gehören:

• Datenkonsumenten erhalten Zugang zu Datenprodukten direkt von den Dateneigenern und müssen nicht mehr mehrere Zwischenstationen einlegen, um das zu bekommen, was sie brauchen
• Verringerung von Engpässen und Datenpipelines, um eine nahtlosere Kommunikation zwischen verschiedenen Einrichtungen zu gewährleisten
• Verhinderung von Datensilos zwischen verschiedenen Bereichen, um zu verhindern, dass Datenbestände von den Personen, die sie benötigen, abgeschottet und verschlossen werden

Die Behandlung von Daten als Produkt ist ein weiteres mächtiges Ergebnis eines Data Mesh, das es Unternehmen ermöglicht, den größtmöglichen Nutzen aus ihren Ressourcen zu ziehen.

Obwohl die Daten, die umhergeschoben werden, technisch gesehen nicht B2C sind - sie gehen an andere Mitarbeiter des Unternehmens -, ist eine produktbezogene Denkweise unerlässlich, damit das System reibungslos funktioniert. Um ihre Arbeit gut zu machen, müssen sich die Mitarbeiter auch für eine nahtlose Kommunikation und eine konsistente Organisation einsetzen.

Einige der Eigenschaften, die Sie benötigen, um sicherzustellen, dass Sie Daten wie ein Produkt behandeln, sind:

• Einfaches Auffinden von Daten in einem zentralisierten Datenkatalog
• Einheitliche Namenskonventionen innerhalb der Organisation zur Vermeidung von Verwechslungen und Zeitverschwendung
• Qualitätskontrollfunktionen wie die Überprüfung von Daten nach grundlegenden Überprüfungsmethoden

Lassen Sie uns ein wenig tiefer in das Data Mesh eindringen und erfahren Sie, wie eine dezentrale Datenquelle in der Praxis funktioniert. Eine Self-Service-Dateninfrastruktur stellt sicher, dass jede Domäne ein bestimmtes Maß an Verantwortung für die Pflege einer Datenressource trägt.

Unabhängig von der Geschäftsdomäne erfüllt jeder seine Rolle, wenn es um das Filtern, Bereinigen und Laden seiner Daten geht. Die Aufteilung der Verantwortung kann zum Beispiel so aussehen, dass Dateningenieure die Daten technisch verwalten, während Datenanalysten die Daten später kennzeichnen und organisieren. Wenn Ihr Team kleiner ist, kann es sein, dass mehr Verantwortung auf den Schultern von weniger Personen lastet. Einige der Tools und Plattformen, die Sie für die dezentrale Datenverwaltung nutzen können, sind dezentraler Speicher, Verschlüsselung und Blockchains.

Nicht zuletzt erfordert das Data Mesh ein hohes Sicherheitsniveau, um ordnungsgemäß zu funktionieren. Bei so vielen Bereichen müssen alle sicherstellen, dass sie sich an die besten Praktiken halten, um die Sicherheit der Datennutzung zu gewährleisten.

Jeder Bereich hat die Möglichkeit, je nach Bedarf eigene Standards und Implementierungen anzubieten. Beispielsweise wird einem Team nicht das Recht eingeräumt, Daten umzubenennen, während ein anderes Team nicht in der Lage sein darf, Duplikate ohne vorherige Genehmigung zu löschen.

Unabhängig von der Art der Governance ist eine Form der Governance erforderlich, einschließlich einheitlich implementierter Standards, Richtlinien und Praktiken sowie der Analyse, wie und von wem Ihr Datenprodukt verwendet wird.

Nachdem Sie nun wissen, was ein Data Mesh ist und wofür es verwendet wird, ist es an der Zeit, die finanziellen Vorteile für Ihr Unternehmen aufzuschlüsseln. Es reicht nicht aus, Datenprodukte zu erstellen - Sie müssen auch Skalierbarkeit, Flexibilität und Qualität im Auge behalten.

Die Skalierung ist nicht einfach. Nach Angaben von McKinsey waren dabei nur 22% der Unternehmen in den letzten zehn Jahren erfolgreich. Ein Data Mesh gibt Ihnen die Möglichkeit, Ihr Unternehmen zuverlässig zu erweitern, ohne Ihr Budget zu überarbeiten.

Da das Data Mesh nicht auf einer zentralen Datenplattform basiert, ist die Verantwortung gleichmäßiger verteilt. Einer der Hauptvorteile dieser Verteilung ist die Fähigkeit zur kontinuierlichen, unterbrechungsfreien Innovation und Neugestaltung, die es den Datenkonsumenten ermöglicht, sich den Daten auf neue Weise zu nähern.

Die unabhängige Verwaltung einer Self-Service-Datenplattform bietet ein gewisses Maß an Freiheit, das in einer zentralen Datenstruktur nicht gegeben ist. Selbst wenn ein Team mit Einschränkungen oder betrieblichen Veränderungen zu kämpfen hat, können andere Teammitglieder relativ ungehindert weiterarbeiten. Diese Flexibilität ist ein weiterer Vorteil, den Sie im nächsten Abschnitt sehen werden.

Wenn Sie Datenprodukte erstellen, müssen Sie berücksichtigen, wie diese Daten heruntergeladen oder weiterverteilt werden. Ein Data Mesh ermöglicht es den einzelnen Bereichen, sich den Daten schneller und entsprechend ihrer bewährten Praktiken zu nähern, wodurch Rückstände oder Wartezeiten reduziert werden.

Von der Abfrage bis zur Erkennung können Ihre Bereiche ihre Rolle flexibler wahrnehmen und ihre Aufgaben effizienter erledigen. Das bedeutet nicht, dass jeder tun kann, was er will - es gibt immer noch bewährte Verfahren und geschäftliche Einschränkungen - aber es gibt sicherlich weniger Hindernisse.

Diese Flexibilität führt zu erheblicher geschäftlicher Innovation und Reaktionsfähigkeit am Markt. Ganz gleich, wohin sich die Branche entwickelt, Sie können sich darauf verlassen, dass Ihre Self-Service-Datenplattform die Herausforderung meistert.

Während der Data Lake aus Rohdaten besteht, die noch nicht organisiert oder gefiltert wurden, erfordert das Data Mesh von Natur aus eine höhere Datenqualität. Da Sie Daten als Datenprodukte behandeln, müssen Sie denselben Standard einhalten, den Sie auch einem Kunden bieten würden.

Wie sieht also die Datenqualität in der Praxis aus? Datenqualität kann so aussehen, dass den Domänenteams Daten zur Verfügung gestellt werden, die ordnungsgemäß analysiert und von Fehlern wie beschädigten Dateien oder Duplikaten bereinigt worden sind. Es kann auch so aussehen, dass unstrukturierte Daten besser organisiert werden, damit sie leichter gefunden werden können.

Die Verbesserung der Datenqualität sorgt dafür, dass Ihre Datenkonsumenten ihre Aufgaben effizienter erledigen können, was zu einem positiven Dominoeffekt im gesamten Unternehmen führt. Wird die Datenqualität in einem Data Mesh übersehen, besteht die Gefahr, dass Verwirrung entsteht, Speicherplatz verschwendet wird oder Datensilos entstehen.

Von Ihren Dateningenieuren bis zu Ihrem zentralen Datenteam - alle müssen effizient zusammenarbeiten können. Ein Data Mesh verbessert die Zusammenarbeit zwischen den einzelnen Teams, indem es jedem konkrete Aufgaben zur Erfassung, Analyse und Verwendung von Daten zuweist.

Da ein Data Mesh eine kontinuierliche Wartung erfordert, um sicherzustellen, dass die Daten funktionstüchtig genug sind, um verwendet zu werden, ist die Zusammenarbeit ein wichtiges Merkmal. Alle Domänen-Teams müssen in regelmäßigem Kontakt stehen, um sicherzustellen, dass die Datenprodukte ein einheitliches Qualitätsniveau für Ihre Geschäftsfunktionen aufweisen. Insgesamt führt ein Data Mesh zu besseren funktionsübergreifenden Erkenntnissen und fundierten, datengetriebenen Entscheidungen.

Das Data Mesh ist nicht die einzige Architektur, die Sie für Ihr Unternehmen nutzen können. Nachfolgend finden Sie einige Varianten, die Sie bei der Zusammenstellung eines sicheren und effizienten Datenbetriebs berücksichtigen sollten.

Auf den ersten Blick sehen ein Data Mesh und ein Data Warehouse ähnlich aus, da beide mit großen Mengen von Datenprodukten arbeiten. Ein Data Warehouse ist jedoch ein eher zentralisierter Ansatz, während ein Data Mesh dezentralisiert ist.

Ein Data Warehouse ist sehr attraktiv, da es den Umgang eines Unternehmens mit Daten vereinfacht, indem es alle Daten in einem einzigen Repository zusammenfasst. Dieser Ansatz kann für kleinere Unternehmen nützlich sein, die noch nicht sicher sind, ob sie die Größe und den Umfang eines Data Mesh benötigen. Der Nachteil eines Data Warehouse ist jedoch, dass es schwer zu skalieren ist. Außerdem ist es in seiner Funktionalität eingeschränkt und nicht so flexibel wie ein Data Mesh.

Ein Data Mesh bietet einen dezentralen Ansatz, bei dem mehrere Domänen-Teams die Verantwortung dafür übernehmen, wie Daten gespeichert, kategorisiert, verteilt und verwendet werden.

Data Mesh vs. Data Lakes

Data Lake und Data Mesh befinden sich an fast entgegengesetzten Enden des Spektrums. Ein Data Lake bietet ein Repository für rohe, unstrukturierte Daten, während ein Data Mesh ein höheres Maß an Organisation erfordert.

Bedeutet das, dass das eine automatisch besser ist als das andere? Nicht ganz. Ein Data Lake ist sehr nützlich für kleinere Unternehmen, die so schnell wie möglich große Datenmengen sammeln müssen. Die niedrige Einstiegshürde und die agile Basis machen es zu einem nützlichen Werkzeug für wachsende Unternehmen.

Dennoch ist die Funktionalität eines Data Lake begrenzt. Da es sich um Rohdaten handelt, werden Probleme wie beschädigte Dateien, Duplikate und unorganisierte Dateien schnell bekannt werden.

Nicht zuletzt müssen wir auch die Datenstruktur berücksichtigen. Während ein Data Mesh eine dezentrale Grundlage für die Verteilung und Nutzung von Daten verwendet, erfordert ein Data Fabric einen zentralen Datenansatz.

Data Fabric erfordert nicht nur eine zentrale Datenstruktur, sondern ist auch viel stärker automatisiert als ein Data Mesh. Die Data-Fabric-Architektur erfordert nur einen geringen Aufwand, um Daten aus verschiedenen Quellen an einem einfachen Ort zu sammeln und zu nutzen. Dieser hyperautomatisierte Ansatz kann für Unternehmen sehr attraktiv sein, die eine bestimmte Arbeitsweise haben und so viel Zeit wie möglich sparen müssen.

Jetzt, wo Sie wissen, wie ein Data Mesh funktioniert und welche Vorteile es für Ihr Unternehmen hat, fragen Sie sich vielleicht, ob Sie es einführen sollten. Bevor Sie dies tun, sollten Sie sich die folgenden Fragen stellen, um sich einen besseren Überblick über die möglichen Vorteile zu verschaffen.

Die erste Frage, die Sie sich in Bezug auf ein Data Mesh stellen sollten, betrifft die Größe und Komplexität Ihres Unternehmens. Ist Ihre Organisation groß und komplex genug, um von einem dezentralen Ansatz zu profitieren?

Einige weitere Fragen, die Sie sich stellen sollten, sind:

• Haben Sie mit Ihrer derzeitigen Datenarchitektur Probleme mit der Skalierbarkeit?
• Gibt es in Ihrem Unternehmen mehrere Teams, die besser zusammenarbeiten könnten?
• Beinhaltet einer Ihrer Geschäftspläne für die nächsten Jahre die Vergrößerung Ihrer Organisation?

Die Datenmanagement ist ein komplexes Thema, das von Sicherheitsfragen bis zur richtigen Organisation reicht. Die meisten Unternehmen sehen die Datenverwaltung als entscheidend für den Erfolg an, so dass Sie es sich nicht leisten können, die folgenden Fragen nicht zu stellen.

• Gibt es Datenengpässe, Datensilos oder Qualitätsprobleme, die Ihre Arbeit behindern?
• Benötigen Sie eine bessere Skalierbarkeit und Flexibilität bei der Verwaltung Ihrer Daten?
• Wollen Sie einen zentralisierten oder einen dezentralisierten Ansatz?

Ein Data Mesh ist nur so gut wie die Datenkonsumenten, die es nutzen. Wenn Sie Ihr Fachwissen vertiefen müssen, ist ein Data Mesh vielleicht etwas zu viel des Guten.

Stellen Sie die folgenden Fragen zur Zusammensetzung Ihres Datenplattform-Teams, um festzustellen, ob Sie den Wechsel vornehmen sollten:

• Verfügen Ihre Teams über ein ausgeprägtes fachspezifisches Wissen?
• Wie viel Abwechslung gibt es bei den bereichsspezifischen Kenntnissen?
• Glauben Sie, dass Ihre Teams bereit sind, die Verantwortung für ihre Daten als Produkte zu übernehmen?

Selbst wenn Sie einige dieser Fragen mit Nein beantworten, bedeutet das nicht, dass Sie nicht trotzdem ein Data Mesh erstellen können. Achten Sie nur darauf, dass Sie nicht weitermachen, ohne sich mit diesen Fragen zu befassen, denn ein Mangel an Bereitschaft wird später auf jeden Fall zu einem Problem werden.

Ein Data Mesh ist nur ebenso eine Philosophie wie ein Datenmanagementsystem. Die Umsetzung eines solchen Programms erfordert ein gewisses Maß an Engagement, Zusammenarbeit und Entschlossenheit, um erfolgreich zu sein.

• Ist die Kultur Ihres Unternehmens auf die dezentralen Grundsätze abgestimmt?
• Sind Ihre Teams bereit, einen kulturellen Wandel in Richtung Dateneigentum und Zusammenarbeit zu vollziehen?
• Sind Ihre Teams bei der Verwaltung oder Verteilung von Daten reaktionsschnell und proaktiv?

Ein Data Mesh erfordert mehr Kontrolle als ein Data Lake. Es gibt keinen Grund, sich auf ein Data Mesh einzulassen, wenn Sie nicht glauben, dass Sie die Ressourcen haben, um es zu pflegen.

• Haben Sie die Ressourcen, um in eine Selbstbedienungsinfrastruktur oder einen Governance-Rahmen zu investieren?
• Setzt sich Ihre Organisation für eine kontinuierliche Unterstützung und Verbesserung des Datenmanagements ein?
• Wissen Sie, welche Ressourcen Sie für die Erstellung einer Data-Mesh-Struktur verwenden möchten?

Wenn Sie die obigen Fragen zu einem Data Mesh beantwortet haben und ein solches umsetzen möchten, ist es an der Zeit, sich mit der Implementierung zu befassen. Die Einrichtung einer Selbstbedienungs-Datenplattform kann aufgrund ihres Umfangs entmutigend erscheinen, lässt sich aber in mehrere Schritte unterteilen.

Ihr erster Schritt besteht darin, Ihre Daten als Datenprodukte zu behandeln. Es handelt sich um einen Perspektivwechsel, der Teil des Bewertungs- und Planungsprozesses für die Veränderung der Struktur Ihrer Organisation ist.

Die Bewertung der organisatorischen Bereitschaft kann die Identifizierung von Schlüsselbereichen sowie von Interessengruppen beinhalten. Was wollen Sie mit Ihrem Unternehmen erreichen, und inwiefern halten Sie unorganisierte Daten von diesen Zielen ab?

Bei der Einrichtung eines Data Mesh müssen Ihre Domänen-Teams Rollen und Verantwortlichkeiten festlegen. Ein Team kann für das Sammeln der Daten zuständig sein, während andere für die Analyse der Daten verantwortlich sind, um Geschäftsentscheidungen zu treffen.

Die Schulung und Einbindung Ihrer Domain-Teams ist entscheidend für die Schaffung einer reibungslos funktionierenden Self-Service-Datenplattform. Gut geplante Schulungsprogramme erhöhen das Engagement der Mitarbeiter. Wenn man bedenkt, dass ein Data Mesh ein nutzerorientierter Ansatz ist, liegt es in Ihrem besten Interesse, diese Nutzer bei der Stange zu halten.

Sobald Sie eine bessere Vorstellung davon haben, wie Ihre Domänen-Teams arbeiten werden und welche allgemeinen Geschäftsziele Sie verfolgen, ist es an der Zeit, eine Self-Service-Dateninfrastruktur aufzubauen. In dieser Phase beginnen Sie mit der Auswahl verschiedener Tools und Plattformen, die Sie bei der Verwaltung Ihrer Domaindaten unterstützen sollen.

Sie sollten Tools den Vorzug geben, die Ihnen Skalierbarkeit und Flexibilität bieten. Zum Beispiel eine Cloud-Speicherlösung, die Sie nach Bedarf erweitern können oder tiefere Einblicke in Ihre Domaindaten bietet. Sie können auch einen Sicherheitsdienst in Anspruch nehmen, der eine fortlaufende Analyse der sensiblen Aktivitäten durchführt.

Ihre Datenprodukte müssen einheitlich verwaltet und eingehalten werden, um durchgängig optimale Verfahren zu gewährleisten. Das Letzte, was Sie wollen, ist, dass die falschen Leute auf Ihre Bereichsdaten zugreifen oder sie falsch handhaben.

Die Entwicklung von Governance-Rahmenwerken beinhaltet die Erstellung einer Reihe von Standards für jedes Bereichsteam. So können Sie beispielsweise je nach Teamrolle einer Person bestimmte Zugänge und Berechtigungen gewähren. Wenn Sie sich die Zeit nehmen, Richtlinien für Datenqualität, Sicherheit und Interoperabilität festzulegen, können Sie sicherstellen, dass Ihre Domaindaten sicher und nutzbar bleiben.

Da Sie die Funktionsweise Ihres Data Mesh nach und nach kennenlernen, müssen Sie bei der Implementierung nicht aufs Ganze gehen. Es ist klug, mit Pilotprojekten zu beginnen, um sich mit Datenprodukten und den damit verbundenen neuen Erwartungen vertraut zu machen.

Mit Pilotprojekten können Sie Feedback sammeln und sich kontinuierlich verbessern. Vielleicht stellen Sie fest, dass Sie eigentlich ein zentrales Datenteam wollten oder dass Ihre Datenwissenschaftler ein eigenes Bereichsteam brauchen. Sie können zwar durchaus von anderen Unternehmen und deren Umgang mit Daten lernen, aber manche Erkenntnisse lassen sich nur durch Versuch und Irrtum gewinnen.

Das Zusammenstellen eines Data Mesh muss kein Einzelprojekt sein. In der Tat ist das Data Mesh von Natur aus als kollaborativer Ansatz konzipiert, dass Ihre Datenprodukte durch einen humanistischen Ansatz transformiert.

Wir bieten Ihnen die Mittel, um auf Daten zuzugreifen und sie mit umfassenden Datenlösungen effektiver zu nutzen. Wir bieten fortschrittliche Funktionen für das Datenmanagement und -integration, um skalierbare, zuverlässige Dateninfrastrukturen aufzubauen. Unsere Cloud-first-Datenplattform bietet Ihnen die Möglichkeit, bequem, sicher und konsistent auf Daten zuzugreifen.

Die fortschrittlichen Datenplattformen von InterSystems, einschließlich der Unterstützung für dezentrales Datenmanagement, erleichtern die Erstellung und Pflege einer Self-Service-Dateninfrastruktur. Im Laufe der Jahre haben wir Unternehmen wie Gesundheitseinrichtungen, Schifffahrtsunternehmen und Investmentbanken bei der Verwaltung und Organisation ihrer Daten unterstützt.

Chadwicks Group, Murata Machinery und Chess Logistics Technology sind nur einige der Kunden, denen wir bei der Beseitigung von Datensilos geholfen und datengetriebene Entscheidungen ermöglicht haben. Ganz gleich, ob Sie sich Sorgen um die Lebensfähigkeit Ihrer Datenprodukte machen oder Ihre Data Lakes aufrüsten möchten, wir sind für Sie da.

InterSystems hat sich der kontinuierlichen Verbesserung verschrieben, um an der Spitze derDatentechnologie zu bleiben. Wir bieten Ihrem Unternehmen kontinuierliche Unterstützung und Zusammenarbeit, um den Erfolg Ihrer Data-Mesh-Initiativen sicherzustellen.

Kontaktieren Sie InterSystems, wenn Sie bereit sind, ein Data-Mesh-Paradigma zu entwickeln.

Kontakt zu InterSystems