Qu'est-ce qu'une architecture Data Mesh ? Comprendre la prochaine évolution de l'architecture des données

Le Data Mesh est une approche décentralisée de la gestion des données, où celles-ci sont traitées comme des produits et gérées par des équipes transversales. Cette méthode favorise l'accessibilité, l'évolutivité et la qualité des données dans toute l'organisation grâce à une architecture orientée domaine et à une infrastructure de données en libre-service

Ce guide vous expliquera en détail l’architecture Data Mesh, son fonctionnement et son impact sur vos opérations. À la fin de votre lecture, vous disposerez des outils nécessaires pour faire évoluer votre entreprise tout en restant agile face aux changements.

Zhamak Dehghani a inventé le terme "Data Mesh" en 2019, introduisant une manière révolutionnaire de gérer les données essentielles d'une entreprise.

Si vous avez déjà entendu l'expression "ne mettez pas tous vos œufs dans le même panier", vous comprenez déjà la logique de l'architecture de la Data Mesh. La Data Mesh repose sur une approche décentralisée et largement distribuée de la gestion et de la propriété des données.

Principes fondamentaux de la Data Mesh

Bien que votre architecture de Data Mesh puisse avoir des particularités uniques, les principes centraux restent les mêmes. La Data Mesh est une approche pragmatique des données qui garantit qu'aucune entité unique n'exerce un contrôle ou une responsabilité excessive.

Voici les principes fondamentaux de la Data Mesh et leur lien avec des outils similaires tels que le data lake ou la Data Fabric.

Il est important de définir ce que signifie un domaine dans le contexte de l'architecture de la Data Mesh. Dans ce cas, un domaine fait référence à tout sous-ensemble ou environnement d'une entité commerciale, qui peut inclure les employés, les fournisseurs, les produits et les clients.

La propriété décentralisée des données signifie qu'aucune entité unique ne détient l'ensemble du contrôle sur la manière dont les données sont stockées, distribuées ou accessibles. Les avantages de la gestion décentralisée des données incluent :

• Les consommateurs de données ont un accès direct aux produits de données auprès des propriétaires de données, sans avoir à passer par plusieurs intermédiaires pour obtenir ce dont ils ont besoin.
• Réduction des goulots d'étranglement et des pipelines de données pour garantir une communication plus fluide entre plusieurs entités.
• Prévention des silos de données entre différents domaines, évitant ainsi que les ressources de données soient verrouillées et inaccessibles à ceux qui en ont besoin.

Traiter les données comme un produit est un autre avantage puissant de la Data Mesh, permettant aux entreprises de tirer le meilleur parti de leurs ressources.

Bien que les données en circulation ne soient pas techniquement destinées au B2C (elles sont destinées à d'autres employés de l'entreprise), une approche de type produit est essentielle pour maintenir le bon fonctionnement du système. Les collaborateurs doivent également s'engager à une communication fluide et à une organisation cohérente pour accomplir leur travail efficacement.

Voici quelques caractéristiques nécessaires pour garantir que vous traitez les données comme un produit :

• Faciliter la découverte des données dans un catalogue centralisé
• Appliquer des conventions de nommage cohérentes au sein de l'organisation pour éviter toute confusion ou perte de temps
• Mettre en place des contrôles de qualité, tels que la vérification des données après des méthodes de validation de base

Examinons de plus près la Data Mesh et voyons comment une source de données décentralisée fonctionne concrètement. Une infrastructure de données en libre-service garantit que chaque domaine porte une certaine responsabilité dans la gestion des ressources de données.

Quel que soit le domaine d'activité, chaque personne a son rôle à jouer en ce qui concerne le filtrage, le nettoyage et le chargement des données. Par exemple, répartir cette responsabilité peut consister à donner aux ingénieurs en données la gestion des technologies de données, tandis que les analystes de données se chargent ensuite de l'étiquetage et de l'organisation des données. Si votre équipe est plus petite, ces responsabilités peuvent reposer sur un nombre réduit de personnes. Quelques outils et plateformes que vous pouvez utiliser pour la gestion décentralisée des données incluent le stockage décentralisé, le chiffrement et les blockchains.

Enfin, et non des moindres, la Data Mesh nécessite un niveau élevé de sécurité pour fonctionner correctement. Avec autant de domaines impliqués, chaque équipe doit s'assurer qu'elle respecte les meilleures pratiques pour garantir la sécurité de l'utilisation des données.

Chaque domaine a la capacité de définir des normes et des implémentations spécifiques en fonction de ses besoins. Par exemple, une équipe peut ne pas avoir la possibilité de renommer des données, tandis qu'une autre peut ne pas pouvoir supprimer des doublons sans approbation préalable.

Quel que soit le type de gouvernance, une forme de gouvernance sera nécessaire, comprenant des normes, des politiques et des pratiques mises en œuvre de manière cohérente, ainsi que l’analyse de la manière dont votre produit de données sera utilisé et par qui.

Maintenant que vous comprenez ce qu'est la Data Mesh et à quoi elle sert, il est temps d'examiner les avantages financiers pour votre entreprise. Créer des produits de données ne suffit pas — vous devez garder à l'esprit l'évolutivité, l'agilité et la qualité.

L'évolutivité n'est pas facile. Selon McKinsey, seulement 22 % des entreprises au cours des dix dernières années ont réussi à la mettre en place. Une Data Mesh vous permet de faire croître votre entreprise de manière fiable sans avoir à revoir complètement votre budget.

Étant donné que la Data Mesh ne repose pas sur une plateforme de données centralisée, la responsabilité est répartie de manière plus équitable. L'un des principaux avantages de cette distribution est la capacité d'innover et de repenser les processus en cours de route, permettant ainsi aux consommateurs de données d'aborder les données sous de nouvelles perspectives.

La gouvernance indépendante d'une plateforme de données en libre-service offre un certain niveau de liberté qui n'est pas disponible dans une structure de données centralisée. Même si une équipe rencontre des difficultés en raison de limitations ou de changements opérationnels récents, les autres membres de l'équipe peuvent continuer à avancer relativement sans entrave. Cette agilité est un autre avantage que vous découvrirez dans la section suivante.

Lorsque vous créez des produits de données, il est essentiel de prendre en compte la manière dont ces données seront téléchargées ou redistribuées. Une Data Mesh permet aux domaines séparés d'aborder les données plus rapidement, en fonction de leurs meilleures pratiques, réduisant ainsi les arriérés ou les délais d'attente.

Du requêtage à la découverte, vos domaines peuvent être plus agiles dans leur rôle et accomplir leurs tâches plus efficacement. Cela ne signifie pas que chacun peut faire ce qu'il veut — il existe toujours des bonnes pratiques et des limitations commerciales — mais il y a certainement moins d'obstacles.

Cette agilité conduit à une innovation commerciale significative et à une meilleure réactivité face au marché. Peu importe la direction que prend l'industrie, vous pouvez compter sur votre plateforme de données en libre-service pour relever le défi.

Alors que le data lake est composé de données brutes qui n'ont pas encore été organisées ou filtrées, la Data Mesh exige intrinsèquement une qualité de données plus élevée. Puisque vous traitez les données comme des produits de données, vous les soumettez aux mêmes normes que celles que vous livreriez à un client.

Alors, à quoi ressemble la qualité des données en pratique ? Cela peut se traduire par la fourniture aux équipes de domaine de données qui ont été correctement analysées et nettoyées de toute anomalie, comme des fichiers corrompus ou des doublons. Cela peut aussi signifier une meilleure organisation des données non structurées pour permettre à chacun de les retrouver plus facilement.

Améliorer la qualité des données garantit que vos consommateurs de données peuvent accomplir leur travail plus efficacement, créant ainsi un effet de levier positif à travers l'ensemble de l'entreprise. Négliger la qualité des données dans une Data Mesh peut entraîner de la confusion, un gaspillage de stockage ou des silos de données.

De vos ingénieurs de données à votre équipe de données centrale, chaque acteur doit pouvoir collaborer efficacement. Une Data Mesh améliore la collaboration entre les équipes de domaine en attribuant à chacun des tâches concrètes pour collecter, analyser et utiliser les données.

Étant donné qu'une Data Mesh nécessite une maintenance continue pour garantir que les données soient suffisamment fonctionnelles pour être utilisées, la collaboration devient un élément clé. Toutes les équipes de domaine doivent être en contact régulier afin de s'assurer que les produits de données maintiennent un niveau constant de qualité pour les fonctions de l'entreprise.

En somme, une Data Mesh favorise des insights transversaux améliorés et une prise de décision basée sur les données à l’échelle de l'organisation.

Le data mesh n'est pas la seule architecture que vous pouvez adopter pour votre entreprise. Voici quelques alternatives à prendre en compte pour concevoir des opérations de données plus sécurisées et efficaces.

À première vue, le data mesh et le data warehouse peuvent sembler similaires, car ils gèrent tous deux de grandes quantités de données. Cependant, ils reposent sur des approches fondamentalement différentes : le data warehouse est une solution centralisée, tandis que le data mesh est décentralisé.

Un data warehouse est attrayant car il simplifie la gestion des données en consolidant toutes les informations dans un référentiel unique. Cette approche est particulièrement utile pour les petites entreprises qui ne sont pas encore prêtes à adopter la taille et la complexité d'un data mesh. Cependant, les limites d’un data warehouse résident dans sa difficulté à évoluer, sa moindre flexibilité, et son agilité réduite par rapport au data mesh.

À l'inverse, le data mesh mise sur une approche décentralisée où chaque équipe de domaine est responsable de la manière dont les données sont stockées, classées, distribuées et utilisées.

Data Mesh vs. Data Lakes
Le data lake et le data mesh se situent à des extrémités opposées du spectre des architectures de données. Un data lake offre un référentiel de données brutes et non structurées, tandis qu’un data mesh exige un niveau d’organisation beaucoup plus élevé.

Cela signifie-t-il qu’un modèle est intrinsèquement meilleur que l’autre ? Pas nécessairement. Le data lake est particulièrement utile pour les petites entreprises qui ont besoin de collecter rapidement de grandes quantités de données. Son faible coût d'entrée et sa flexibilité en font un outil intéressant pour les entreprises en croissance.

Cependant, le data lake présente des limites fonctionnelles importantes. Étant donné que ses données sont brutes, des problèmes tels que des fichiers corrompus, des doublons ou une organisation inadéquate peuvent rapidement apparaître et nuire à son efficacité.

Enfin, il convient de prendre en compte le data fabric. Alors que le data mesh repose sur une base décentralisée pour la distribution et l’utilisation des données, le data fabric s’appuie sur une approche centralisée.

Le data fabric ne se limite pas à une structure centralisée : il est également beaucoup plus automatisé que le data mesh. Cette architecture permet de collecter des données provenant de sources multiples avec un minimum de supervision, les regroupant en un seul endroit accessible. Cette automatisation avancée peut séduire les entreprises qui suivent des processus bien définis et cherchent à gagner un maximum de temps.

En revanche, le data mesh favorise une plus grande flexibilité et collaboration entre les équipes de domaine, au prix d’une gestion et d’une supervision accrues. Le choix entre les deux dépendra donc des besoins spécifiques en matière d’agilité, d’autonomie et de gouvernance des données.

Maintenant que vous comprenez le fonctionnement d’un Data Mesh et ses avantages pour votre entreprise, vous vous demandez peut-être si vous devriez l’adopter. Avant de vous lancer, posez-vous ces questions clés pour mieux évaluer les bénéfices potentiels pour votre organisation.

La première question à vous poser concernant un Data Mesh concerne la taille et la complexité de votre entreprise. Votre organisation est-elle suffisamment grande et complexe pour bénéficier d'une approche décentralisée ?

Voici quelques autres questions à considérer :

• Rencontrez-vous des problèmes d'évolutivité avec votre architecture de données actuelle ?
• Disposez-vous de plusieurs équipes métier qui pourraient bénéficier d'une meilleure collaboration interfonctionnelle ?
• Vos projets d'entreprise pour les prochaines années incluent-ils une expansion de votre organisation ?

La gestion des données est une problématique complexe qui va des questions de sécurité à l'organisation appropriée. La plupart des organisations considèrent la gestion des données comme essentielle à leur succès, il est donc crucial de se poser les questions suivantes :

• Existe-t-il des goulots d'étranglement, des silos ou des problèmes de qualité des données qui entravent vos opérations ?
• Avez-vous besoin d'une meilleure scalabilité et agilité dans la gestion de vos données ?
• Souhaitez-vous une approche centralisée ou décentralisée ?

Un data mesh n'est efficace que si les consommateurs de données l'utilisent correctement. Si l'expertise de vos équipes dans leurs domaines nécessite encore du travail, un data mesh pourrait être un engagement trop important.

Posez les questions suivantes concernant la composition de votre équipe de plateforme de données pour déterminer si vous devez adopter cette approche :

• Vos équipes possèdent-elles une forte expertise dans leurs domaines spécifiques ?
• Quelle est la diversité des connaissances spécifiques à chaque domaine au sein de vos équipes ?
• Pensez-vous que vos équipes sont prêtes à prendre en charge leurs données comme des produits ?

Même si vous répondez négativement à certaines de ces questions, cela ne signifie pas que vous ne pouvez pas mettre en place un data mesh. Assurez-vous simplement de ne pas aller de l’avant sans avoir abordé ces problématiques, car un manque de préparation deviendra un véritable problème par la suite.

Une data mesh est autant une philosophie qu'un système de gestion des données. Sa mise en œuvre nécessite un certain engagement, une collaboration étroite et une volonté de réussir.

Voici quelques questions à poser pour évaluer si la culture de votre organisation est prête à adopter un data mesh :

• La culture de votre organisation est-elle alignée avec les principes de décentralisation ?
• Vos équipes sont-elles prêtes à adopter un changement culturel vers la gestion et la collaboration autour des données ?
• Vos équipes sont-elles réactives et proactives lorsqu'il s'agit de gérer ou de distribuer les données ?

Une data mesh nécessite plus de supervision qu'un data lake. Il n'est pas nécessaire de se lancer dans une data mesh si vous ne pensez pas avoir les ressources nécessaires pour la maintenir.

Voici quelques questions à considérer :

• Avez-vous les ressources nécessaires pour investir dans une infrastructure en libre-service ou dans des cadres de gouvernance ?
• Votre organisation est-elle prête à fournir un soutien continu et à améliorer la gestion des données ?
• Savez-vous quelles ressources vous souhaitez utiliser pour créer une structure de data mesh ?

Si vous avez répondu aux questions ci-dessus concernant une data mesh et souhaitez en mettre en place une, il est temps d'aborder l'implémentation. Bien que créer une plateforme de données en libre-service puisse sembler intimidant en raison de son ampleur, il est possible de le décomposer en étapes.

La première étape consiste à traiter vos données comme des produits de données. C'est un changement de perspective qui fait partie du processus d’évaluation et de planification pour changer la structure de votre organisation.

Évaluer la préparation de l'organisation peut impliquer l'identification des domaines clés ainsi que des parties prenantes. Que souhaitez-vous accomplir avec votre entreprise et comment les données désorganisées vous empêchent-elles d'atteindre ces objectifs ?

Vos équipes de domaine doivent avoir des rôles et des responsabilités définis lors de la mise en place d'une data mesh. Une équipe peut être chargée de collecter les données, tandis que d'autres peuvent être responsables de les analyser pour prendre des décisions commerciales.

La formation et l'intégration de vos équipes de domaine sont essentielles pour créer une plateforme de données en libre-service fonctionnelle. Des programmes de formation bien planifiés augmentent l'engagement des employés. Lorsque vous considérez qu'une data mesh est une approche centrée sur l'utilisateur, il est dans votre intérêt de garder ces utilisateurs impliqués.

Une fois que vous avez une meilleure idée de la manière dont vos équipes de domaine fonctionneront et de vos objectifs commerciaux globaux, il est temps de construire une infrastructure de données en libre-service. Cette étape consiste à sélectionner différents outils et plateformes pour vous aider à gérer vos données de domaine.

Vous devez privilégier des outils qui offrent évolutivité et flexibilité. Par exemple, une solution de stockage cloud qui vous permet de vous développer au fur et à mesure de vos besoins ou qui vous fournit des analyses plus approfondies de vos données de domaine. Vous pouvez également envisager un service de sécurité qui effectue une analyse continue des activités sensibles.

Vos produits de données nécessitent une gouvernance et une conformité constantes pour garantir les meilleures pratiques sur l'ensemble du système. La dernière chose que vous souhaitez est que des personnes non autorisées accèdent à vos données de domaine ou les manipulent de manière incorrecte.

Développer des cadres de gouvernance implique de créer un ensemble de normes pour chaque équipe de domaine. Par exemple, vous pouvez fournir des accès et des permissions spécifiques en fonction du rôle d’une personne au sein de l’équipe. Prendre le temps d’établir des politiques pour la qualité des données, la sécurité et l’interopérabilité garantira que vos données de domaine restent sûres et utilisables.

Au fur et à mesure que vous définissez le fonctionnement de votre data mesh, il n’est pas nécessaire de vous lancer directement dans une implémentation complète. Il est judicieux de commencer par des projets pilotes pour vous familiariser avec les produits de données et les nouvelles attentes qui en découlent.

Commencer avec des projets pilotes vous permet de recueillir des retours et d'améliorer en continu. Vous constaterez peut-être que vous souhaitiez en réalité une équipe de données centralisée ou que vos data scientists ont besoin de leur propre équipe de domaine. Bien que vous puissiez apprendre des autres entreprises et de la manière dont elles abordent les données, certaines connaissances ne viennent qu'avec l’essai et l'erreur.

Mettre en place une data mesh ne doit pas être un projet solitaire. En effet, la data mesh est conçue pour être un effort collaboratif qui transforme vos produits de données grâce à une approche humaniste.

Nous vous offrons les moyens d'accéder aux données et de les utiliser plus efficacement grâce à des solutions complètes de gestion des données. Nous proposons des capacités avancées en matière de gestion des données et d'intégration pour construire des infrastructures de données évolutives et fiables. Notre plateforme de données cloud-first vous permet d’accéder aux données de manière pratique, sécurisée et cohérente.

Cette plateformes de données qui inclue un support pour la gestion décentralisée des données, simplifient la création et la gestion d'une infrastructure de données en libre-service. Au fil des années, nous avons aidé des entreprises telles que des établissements de santé, des sociétés de transport maritime et des banques d'investissement à gérer et organiser leurs données.

Chadwicks Group, Murata Machinery et Chess Logistics Technology sont quelques-uns des clients que nous avons aidés à résoudre des problèmes de silos de données et à prendre des décisions basées sur les données. Que vous soyez préoccupé par la viabilité de vos produits de données ou que vous souhaitiez améliorer vos lacs de données, nous sommes là pour vous aider.

InterSystems est dédié à l'amélioration continue et à rester à la pointe de la technologie des données. Nous fournirons à votre entreprise un soutien constant et une collaboration pour garantir le succès de vos initiatives de mise en place d'architecutre Data Mesh.

Contactez InterSystems lorsque vous êtes prêt à concevoir une architecture Data Mesh.

Contactez InterSystems