Qu'est-ce que le Data Mesh ? Comprendre la prochaine évolution de l'architecture des données

Le maillage des données est une approche décentralisée de la gestion des données, dans laquelle les données sont traitées comme un produit et appartiennent à des équipes interfonction nelles, ce qui favorisel'accessibilité, l'évolutivité et la qualité des données au sein d'une organisation grâce à une architecture orientée domaine et à une infrastructure de données en libre-service.

Ce guide présente l'architecture du maillage des données, son fonctionnement et son incidence sur les activités de votre entreprise. À la fin de votre lecture, vous disposerez des outils nécessaires pour faire évoluer votre entreprise et rester agile face au changement.

Zhamak Dhegani a inventé le terme "maillage de données" en 2019 comme un moyen révolutionnaire de gérer les données cruciales d'une entreprise.

Si vous avez déjà entendu l'expression "ne mettez pas tous vos œufs dans le même panier", vous comprenez déjà la logique de l'architecture de maillage de données. Un maillage de données fait référence à une approche décentralisée et largement distribuée de la propriété des données.

Principes fondamentaux du maillage de données

Bien que votre architecture de maillage de données puisse avoir des touches uniques, les principes fondamentaux sont les mêmes. Un maillage de données est une approche pratique des données qui permet de s'assurer qu'aucune entité n'a trop de contrôle ou de responsabilité.

Vous trouverez ci-dessous les principes fondamentaux d'un maillage de données et leur relation avec des outils similaires tels que le lac de données ou le tissu de données.

Il est important de définir ce que signifie un domaine dans le contexte d'une architecture de maillage de données. Dans ce cas, le domaine fait référence à tout sous-ensemble ou environnement d'une entité commerciale, qui peut inclure des employés, des fournisseurs, des produits et des clients.

La propriété des données orientée domaine signifie qu'aucune entité unique n'a le contrôle sur la manière dont les données sont stockées, distribuées ou consultées. Les avantages de la gestion décentralisée des données sont les suivants :

• Les consommateurs de données ont accès aux produits de données directement auprès des propriétaires de données au lieu de devoir passer par plusieurs intermédiaires pour obtenir ce dont ils ont besoin
• Réduction des goulets d'étranglement et des pipelines de données pour assurer une communication plus transparente entre les différentes entités
• Prévention des silos de données entre différents domaines, afin d'éviter que les données ne soient enfermées et verrouillées pour les personnes qui en ont besoin

Traiter les données comme un produit est un autre résultat puissant du maillage de données , qui permet aux entreprises de tirer le meilleur parti de leurs actifs.

Bien que les données échangées ne soient pas techniquement B2C - elles sont destinées à d'autres employés de l'entreprise - un état d'esprit axé sur le produit est essentiel pour assurer le bon fonctionnement du système. Les travailleurs ont également besoin d'un engagement en faveur d'une communication transparente et d'une organisation cohérente pour bien faire leur travail.

Voici quelques-unes des caractéristiques dont vous avez besoin pour vous assurer que vous traitez les données comme un produit :

• Faciliter la découverte des données dans un catalogue de données centralisé
• Des conventions de dénomination cohérentes au sein de l'organisation afin d'éviter toute confusion ou perte de temps
• Des fonctions de contrôle de la qualité telles que l'approbation des données après des méthodes de vérification de base

Pénétrons un peu plus avant dans le maillage des données et découvrons comment une source de données décentralisée fonctionne en pratique. Une infrastructure de données en libre-service garantit que chaque domaine assume un certain niveau de responsabilité dans la maintenance d'une ressource de données.

Quel que soit le domaine d'activité, chacun a son rôle à jouer lorsqu'il s'agit de filtrer, de nettoyer et de charger ses données. Par exemple, la répartition de cette responsabilité peut consister à donner aux ingénieurs de données la capacité de gérer les données techniques, tandis que les analystes de données étiquettent et organisent les données par la suite. Si votre équipe est plus petite, il se peut que plus de responsabilités reposent sur les épaules de moins de personnes. Le stockage décentralisé, le chiffrement et les blockchains sont quelques-uns des outils et des plateformes que vous pouvez utiliser pour la gestion décentralisée des données.

Enfin, et ce n'est pas le moins important, le maillage de données nécessite un niveau de sécurité élevé ( ) pour fonctionner correctement. Avec autant de domaines, chacun doit s'assurer qu'il s'engage à respecter les meilleures pratiques pour garantir la sécurité de l'utilisation des données.

Chaque domaine a la possibilité de fournir des normes et une mise en œuvre uniques en fonction de ses besoins. Par exemple, une équipe peut ne pas avoir la possibilité de renommer les données, tandis qu'une autre ne peut pas supprimer les doublons sans autorisation préalable.

Quel que soit le type de gouvernance, une certaine forme de gouvernance sera nécessaire, y compris des normes, des politiques et des pratiques mises en œuvre de manière cohérente, ainsi que l'analyse de la manière dont votre produit de données sera utilisé et par qui.

Maintenant que vous savez ce qu'est un maillage de données et à quoi il sert, il est temps d'en analyser les avantages financiers pour votre entreprise. Il ne suffit pas de créer des produits de données, il faut aussi garder à l'esprit l'évolutivité, l'agilité et la qualité.

Il n'est pas facile de passer à l'échelle supérieure. Selon McKinsey, seulement 22 % des entreprisesau cours des dix dernières années l'ont fait avec succès. Un maillage de données vous permet de développer votre entreprise de manière fiable sans bouleverser votre budget.

Comme le maillage de données ne repose pas sur une plate-forme de données centralisée, les responsabilités sont réparties de manière plus équilibrée. L'un des principaux avantages de cette distribution est la possibilité d'innover et de remanier en cours de route, ce qui permet aux consommateurs de données d'aborder les données d'une nouvelle manière.

La gouvernance indépendante d'une plateforme de données en libre-service offre un certain niveau de liberté que l'on ne trouve pas dans une structure de données centrale. Même si une équipe est confrontée à des limitations ou à des changements opérationnels récents, les autres membres de l'équipe peuvent continuer à se déplacer relativement librement. Cette souplesse est un autre avantage que vous verrez dans la section suivante.

Lorsque vous créez des produits de données, vous devez tenir compte de la manière dont ces données seront téléchargées ou redistribuées. Un maillage de données permet à des domaines distincts d'aborder les données plus rapidement en fonction de leurs meilleures pratiques, réduisant ainsi les arriérés ou les temps d'attente.

De l'interrogation à la découverte, vos domaines peuvent être plus agiles dans leur rôle et accomplir leurs tâches plus efficacement. Cela ne signifie pas que tout le monde peut faire ce qu'il veut - il existe toujours des meilleures pratiques et des limites commerciales - mais il y a certainement moins d'obstacles.

Cette agilité conduit à une innovation commerciale significative et à la réactivité du marché. Quelle que soit l'évolution du secteur, vous pouvez faire confiance à votre plateforme de données en libre-service pour relever le défi.

Alors que le lac de données est composé de données brutes qui n'ont pas encore été organisées ou filtrées, le maillage de données exige intrinsèquement une plus grande qualité des données. Puisque vous traitez les données comme des produits de données, vous les soumettez aux mêmes normes que celles que vous appliqueriez à un client.

A quoi ressemble la qualité des données dans la pratique ? La qualité des données peut consister à fournir aux équipes de domaine des données qui ont été correctement analysées et débarrassées de tous les défauts, tels que les fichiers corrompus ou les fichiers en double. Il peut également s'agir de mieux organiser les données non structurées afin que les gens puissent les trouver plus facilement.

L'amélioration de la qualité des données permet à vos utilisateurs de données de faire leur travail plus efficacement, ce qui a un effet d'entraînement positif sur l'ensemble de l'entreprise. En négligeant la qualité des données dans un maillage de données, on s'expose à la confusion, au gaspillage du stockage ou à la formation de silos de données.

De vos ingénieurs en données à votre équipe centrale de données, tout le monde doit pouvoir travailler ensemble de manière efficace. Un maillage de données améliore la collaboration entre les équipes des différents domaines en donnant à chacun des tâches concrètes pour la collecte, l'analyse et l'utilisation des données.

Étant donné qu'un maillage de données nécessite une maintenance continue pour garantir que les données sont suffisamment fonctionnelles pour être utilisées, la collaboration est une caractéristique essentielle. Toutes les équipes du domaine doivent être en contact régulier pour s'assurer que les produits de données maintiennent un niveau de qualité constant pour vos fonctions commerciales. Dans l'ensemble, un maillage de données permet d'améliorer les connaissances transversales et la prise de décision fondée sur les données.

Le maillage de données n'est pas la seule architecture que vous pouvez utiliser pour votre entreprise. Vous trouverez ci-dessous quelques variantes à prendre en compte pour mettre en place des opérations de traitement des données plus sûres et plus efficaces.

À première vue, un maillage de données et un entrepôt de données peuvent se ressembler ( ), car ils traitent tous deux de grandes quantités de produits de données. Cependant, un entrepôt de données est une approche plus centralisée, tandis qu'un maillage de données est décentralisé.

Un entrepôt de données est très attrayant car il simplifie la façon dont une entreprise aborde les données, en consolidant tout dans un référentiel unique. Cette approche peut être utile pour les petites entreprises qui ne sont pas encore sûres de vouloir la taille et l'échelle d'un réseau de données. Cependant, l'inconvénient d'un entrepôt de données est qu'il est difficile de le faire évoluer. Il est également plus limité dans ses fonctionnalités et n'est pas aussi agile qu'un maillage de données.

Un maillage de données offre une approche décentralisée dans laquelle plusieurs équipes de domaine assument la responsabilité de la manière dont les données sont stockées, catégorisées, distribuées et utilisées.

Data Mesh vs. Data Lakes

Le lac de données et le maillage de données se situent à des extrémités presque opposées du spectre. Un lac de données offre un dépôt de données brutes et non structurées, tandis qu'un maillage de données nécessite un niveau d'organisation plus élevé.

Cela signifie-t-il que l'un est automatiquement meilleur que l'autre ? Pas tout à fait. Un lac de données est très utile pour les petites entreprises qui ont besoin de rassembler de grandes quantités de données le plus rapidement possible. Sa faible barrière à l'entrée et sa fondation agile en font un outil utile pour les entreprises en croissance.

Cela dit, un lac de données a toujours des fonctionnalités limitées. Comme ses données sont brutes, les problèmes tels que les fichiers corrompus, les fichiers en double et les fichiers désorganisés se feront rapidement sentir.

Enfin, nous devons tenir compte du tissu de données. Alors que le maillage de données utilise une base décentralisée pour la distribution et l'utilisation des données, le tissu de données nécessite une approche centrale des données.

Le tissu de données ne nécessite pas seulement une structure de données centrale, il est beaucoup plus automatisé que le maillage de données. L' architecture du tissu de données nécessite peu de supervision pour collecter des données provenant de sources multiples en un seul endroit simple à utiliser. Cette approche hyper-automatisée peut être très attrayante pour les entreprises qui ont une méthode de travail spécifique et qui doivent gagner le plus de temps possible.

Maintenant que vous comprenez le fonctionnement d'un maillage de données et les avantages qu'il présente pour votre entreprise, vous vous demandez peut-être si vous devriez le mettre en œuvre. Avant de le faire, posez-vous les questions suivantes pour avoir une meilleure idée des avantages que vous pourriez en retirer.

La première question que vous devez vous poser concernant un maillage de données est celle de la taille et de la complexité de votre entreprise. Votre organisation est-elle suffisamment grande et complexe pour bénéficier d'une approche décentralisée ?

Voici quelques autres questions à poser :

• Votre architecture de données actuelle vous pose-t-elle des problèmes d'évolutivité ?
• Avez-vous des équipes multi-domaines qui pourraient bénéficier d'une meilleure collaboration ?
• L'un de vos projets d'entreprise pour les prochaines années prévoit-il l'expansion de votre organisation ?

La gestion des données est une question complexe qui va des questions de sécurité à l'organisation adéquate. La plupart des organisations considèrent la gestion des données comme un élément essentiel de leur réussite. Vous ne pouvez donc pas vous permettre de ne pas poser les questions suivantes.

• Y a-t-il des goulets d'étranglement, des silos ou des problèmes de qualité au niveau des données qui entravent vos activités ?
• Avez-vous besoin d'une meilleure évolutivité et d'une plus grande souplesse dans la gestion de vos données ?
• Souhaitez-vous une approche centralisée ou décentralisée ?

La qualité d'un maillage de données dépend des consommateurs de données qui l'utilisent. Si votre expertise dans le domaine doit être affinée, un maillage de données peut représenter un engagement un peu trop important.

Posez les questions suivantes sur la composition de votre équipe de plateforme de données afin de déterminer si vous devez passer à l'action :

• Vos équipes possèdent-elles de solides connaissances spécifiques à un domaine ?
• Quelle est la diversité des connaissances spécifiques à un domaine ?
• Pensez-vous que vos équipes sont prêtes à s'approprier leurs données en tant que produits ?

Même si vous répondez par la négative à certaines de ces questions, cela ne signifie pas que vous ne pouvez pas créer un maillage de données. Veillez simplement à ne pas aller de l'avant sans aborder ces questions, car un manque de préparation deviendra absolument un problème plus tard.

Un maillage de données est autant une philosophie qu'un système de gestion des données. La mise en œuvre d'un tel programme nécessite un certain niveau d'engagement, de collaboration et de détermination à réussir.

• La culture de votre organisation est-elle en phase avec les principes de décentralisation ?
• Vos équipes sont-elles prêtes à adopter un changement culturel en faveur de la propriété des données et de la collaboration ?
• Vos équipes sont-elles réactives et proactives lorsqu'elles gèrent ou diffusent des données ?

Un maillage de données nécessite plus de surveillance qu'un lac de données. Il n'est pas nécessaire de se lancer dans un maillage de données si l'on ne pense pas disposer des ressources nécessaires pour les entretenir.

• Disposez-vous des ressources nécessaires pour investir dans une infrastructure en libre-service ou dans des cadres de gouvernance ?
• Votre organisation s'est-elle engagée à fournir un soutien et une amélioration continus pour une meilleure gestion des données ?
• Savez-vous quelles ressources vous souhaitez utiliser pour créer une structure de données en maille ?

Si vous avez répondu aux questions ci-dessus concernant le maillage de données et que vous souhaitez en mettre un en place, il est temps d'envisager la mise en œuvre. Si la création d'une plateforme de données en libre-service peut sembler décourageante en raison de son ampleur, elle peut être divisée en plusieurs étapes.

La première étape consiste à traiter vos données comme des produits de données. Il s'agit d'un changement de perspective qui fait partie du processus d'évaluation et de planification de la modification de la structure de votre organisation.

L'évaluation de l'état de préparation de l'organisation peut impliquer l'identification des domaines clés ainsi que des parties prenantes. Quels sont les objectifs de votre entreprise et en quoi des données désorganisées vous empêchent-elles de les atteindre ?

Les équipes de votre domaine doivent définir les rôles et les responsabilités lors de l'établissement d'un maillage de données. Une équipe peut être chargée de la collecte des données, tandis que d'autres peuvent être responsables de leur analyse pour prendre des décisions commerciales.

La formation et l'intégration de vos équipes de domaine sont essentielles pour créer une plateforme de données en libre-service qui fonctionne sans heurts. Des programmes de formation bien planifiés augmentent l'engagement des employés. Si l'on considère qu'un maillage de données est une approche centrée sur l'utilisateur, il est dans votre intérêt de maintenir l'investissement de ces utilisateurs.

Une fois que vous avez une meilleure idée de la manière dont vos équipes de domaine fonctionneront et de vos objectifs commerciaux généraux, il est temps de construire une infrastructure de données en libre-service. C'est à ce stade que vous commencez à sélectionner différents outils et plates-formes pour vous aider à gérer les données de votre domaine.

Vous devez donner la priorité aux outils qui vous permettent d'être évolutifs et flexibles. Par exemple, une solution de stockage en nuage qui vous permet d'augmenter vos capacités en fonction de vos besoins ou qui vous permet d'obtenir des informations plus approfondies sur les données de votre domaine. Vous pouvez également vous tourner vers un service de sécurité qui fournit une analyse continue des activités sensibles.

Vos produits de données doivent faire l'objet d'une gouvernance et d'une conformité cohérentes afin de garantir l'application des meilleures pratiques dans tous les domaines. La dernière chose que vous souhaitez est que les mauvaises personnes accèdent aux données de votre domaine ou les manipulent mal.

L'élaboration de cadres de gouvernance implique la création d'un ensemble de normes pour chaque équipe de domaine. Par exemple, vous pouvez accorder certains accès et certaines autorisations en fonction du rôle d'une personne au sein de l'équipe. En prenant le temps d'établir des politiques de qualité, de sécurité et d'interopérabilité des données, vous vous assurez que les données de votre domaine restent sûres et utilisables.

Au fur et à mesure que vous découvrez la fonction de votre maillage de données, vous n'êtes pas obligé de tout mettre en œuvre. Il est judicieux de commencer par des projets pilotes afin de se familiariser avec les produits de données et les nouvelles attentes qui en découlent.

Le fait de commencer par des projets pilotes vous permet de recueillir des informations en retour et de vous améliorer en permanence. Il se peut que vous vous rendiez compte que vous aviez besoin d'une équipe de données centrale ou que vos scientifiques des données aient besoin de leur propre équipe de domaine. Bien que vous puissiez absolument apprendre des autres entreprises et de la manière dont elles abordent les données, certaines connaissances ne peuvent être acquises que par l'essai et l'erreur.

La mise en place d'un maillage de données ne doit pas être un projet individuel. En effet, le maillage de données est intrinsèquement conçu pour être un effort de collaboration qui transforme vos produits de données grâce à une approche humaniste.

Nous vous fournissons les moyens d'accéder aux données et de les utiliser plus efficacement grâce à des solutions de données complètes. Nous fournissons des capacités avancées en matière de gestion et d'intégration des données afin de mettre en place des infrastructures de données évolutives et fiables. Notre plateforme de données "cloud-first" vous permet d'accéder aux données de manière pratique, sûre et cohérente.

Les plateformes de données avancées d'InterSystems, y compris la prise en charge de la gestion décentralisée des données, facilitent la création et la maintenance d'une infrastructure de données en libre-service. Au fil des ans, nous avons aidé des entreprises telles que des établissements de soins de santé, des sociétés de transport maritime et des banques d'investissement à gérer et à organiser leurs données.

Chadwicks Group, Murata Machinery et Chess Logistics Technology sont quelques-uns des clients que nous avons aidés à réduire les silos de données et à prendre des décisions fondées sur les données. Que vous soyez préoccupé par la viabilité de vos produits de données ou que vous souhaitiez mettre à niveau vos lacs de données, nous sommes là pour vous aider.

InterSystems se consacre à l'amélioration continue et reste à la pointe de latechnologie des données. Nous fournirons à votre entreprise une assistance et une collaboration continues pour garantir le succès de vos initiatives de maillage de données.

Contactez InterSystems lorsque vous êtes prêt à élaborer un paradigme de maillage de données.

Contactez InterSystems