O que é a data mesh? Compreendendo a próxima evolução na arquitetura de dados

Data mesh é uma abordagem descentralizada à gestão de dados, em que os dados são tratados como um produto e pertencem a equipes multifuncionais, promovendo a acessibilidade, a escalabilidade e a qualidade dos dados em toda a organização através de uma arquitetura orientada para o domínio e de uma infraestrutura de dados de autosserviço.

Este guia irá analisar a arquitetura do data mesh, como funciona e o que significa para as suas operações comerciais. Quando terminar de ler, terá as ferramentas para expandir o seu negócio e se manter à par das mudanças constantes no mercado.

Zhamak Dhegani inventou o termo data mesh em 2019 como uma forma revolucionária de gerir os dados cruciais de uma empresa.

Se alguma vez ouviu a frase "não ponha todos os ovos no mesmo cesto", já compreende a lógica da arquitetura do data mesh. Um data mesh refere-se a uma abordagem descentralizada e amplamente distribuída à propriedade de dados.

Princípios fundamentais do data mesh

Embora a sua arquitetura de data mesh possa ter toques únicos, os princípios centrais são os mesmos. Um data mesh é uma abordagem prática aos dados que garante que nenhuma entidade individual tem muito controle ou responsabilidade.

Abaixo estão os princípios fundamentais de uma malha de dados e a forma como se relacionam com ferramentas semelhantes, como o data lake ou o data fabric.

É importante definir o significado de um domínio no contexto de uma arquitetura de data mesh. Neste caso, o domínio refere-se a qualquer subconjunto ou ambiente de uma entidade empresarial, que pode incluir funcionários, fornecedores, produtos e clientes.

A propriedade de dados orientada para o domínio significa que nenhuma entidade única tem todo o controle sobre a forma como os dados são armazenados, distribuídos ou acessados. As vantagens da gestão descentralizada de dados incluem:

• Os consumidores de dados recebem acesso a produtos de dados diretamente dos proprietários dos dados, em vez de terem de passar por vários intermediários para obterem o que precisam
• Redução dos estrangulamentos e das condutas de dados para garantir uma comunicação mais fluida entre várias partes
• Prevenção de silos de dados entre diferentes domínios, evitando que os ativos de dados sejam bloqueados e afastados das pessoas que deles necessitam

Tratar os dados como um produto é outro resultado poderoso do data mesh, permitindo que as empresas obtenham o máximo valor dos seus ativos.

Embora os dados que estão sendo processados não sejam tecnicamente B2C - destinam-se a outros funcionários da empresa - uma mentalidade de produto é essencial para manter o sistema funcionando sem problemas. Os funcionários também precisam de um compromisso para com uma comunicação sem falhas e uma organização consistente para fazerem bem o seu trabalho.

Algumas das caraterísticas necessárias para garantir que está tratando os dados como um produto incluem:

• Facilitar a descoberta de dados num catálogo de dados centralizado
• Convenções de nomenclatura consistentes dentro da organização para evitar confusão ou perda de tempo
• Caraterísticas de controle de qualidade, como a verificação de dados após métodos de verificação básicos

Vamos aprofundar um pouco mais a malha de dados e saber como uma fonte de dados descentralizada funciona na prática. Uma infraestrutura de dados self-service garante que cada domínio tem um certo nível de responsabilidade na manutenção de um recurso de dados.

Independentemente do domínio de negócio, todos têm o seu papel a desempenhar quando se trata de filtrar, limpar e carregar os seus dados. Por exemplo, a divisão desta responsabilidade pode consistir em dar aos engenheiros de dados a capacidade de gerir a tecnologia de dados, enquanto os analistas de dados rotulam e organizam os dados mais tarde. Se a sua equipe for mais pequena, poderá ter mais responsabilidades sobre os ombros de menos pessoas. Algumas das ferramentas e plataformas que pode utilizar para a gestão descentralizada de dados são o armazenamento descentralizado, a encriptação e as cadeias de blocos.

Por último, mas não menos importante, a rede de dados exige um elevado nível de segurança para funcionar corretamente. Com tantos domínios participando, todos têm de se certificar de que estão adotando as melhores práticas para manter a utilização de dados segura.

Cada domínio tem a capacidade de fornecer normas e implementações únicas, dependendo das suas necessidades. Por exemplo, uma equipe pode não ter a capacidade de mudar o nome dos dados, enquanto outra equipe pode não ter a capacidade de eliminar duplicados sem aprovação prévia.

Independentemente do tipo de governaça, será necessária alguma forma de governaça, incluindo normas, políticas e práticas implementadas de forma consistente, bem como a análise da forma como o seu produto de dados será utilizado e por quem.

Agora que já sabe o que é um data mesh e para que é utilizado, está na hora de analisar as vantagens financeiras para a sua empresa. Criar produtos de dados não é suficiente - é necessário ter em conta a escalabilidade, a agilidade e a qualidade.

O escalonamento não é fácil. De acordo com a McKinsey, apenas 22% das empresasnos últimos dez anos fizeram-no com sucesso. Um data mesh dá a capacidade de impulsionar o crescimento de sua organização de forma confiável sem alterar o seu orçamento.

Uma vez que o data mesh não depende de uma plataforma de dados centralizada, a responsabilidade é distribuída de forma mais uniforme. Uma das principais vantagens desta distribuição é a capacidade de inovar e repensar enquanto as coisas acontecem, permitindo que oquem consome os dados aborde-os de novas formas.

A governaça independente de uma plataforma de dados self-service oferece um certo nível de liberdade que não se encontra numa estrutura de dados central. Mesmo que uma equipe se debata com limitações ou alterações operacionais recentes, os outros membros da equipe podem continuar a deslocar-se com relativa facilidade. Esta agilidade é outra vantagem que verá na próxima seção.

Quando se criam produtos de dados, é necessário ter em conta a forma como esses dados serão baixados ou redistribuídos. Um data mesh permite que domínios distintos abordem os dados mais rapidamente de acordo com as suas melhores práticas, reduzindo os atrasos ou os tempos de espera.

Desde a consulta até à descoberta, os seus domínios podem ser mais ágeis na sua função e concluir as suas tarefas de forma mais eficiente. Isso não significa que qualquer pessoa possa fazer o que quiser - ainda existem boas práticas e limitações comerciais - mas há certamente menos obstáculos.

Esta agilidade conduz a uma inovação comercial significativa e à capacidade de resposta do mercado. Independentemente do rumo que o setor tomar, pode confiar que a sua plataforma de dados self-service estará à altura do desafio.

Embora o data lake seja composto por dados brutos que ainda não foram organizados ou filtrados, a malha de dados exige inerentemente mais qualidade dos dados. Uma vez que estamos tratando os dados como produtos de dados, temos que mantê-los com o mesmo nível de qualidade que teríamos para oferecer a um cliente.

Então, na prática, o que é a qualidade dos dados? A qualidade dos dados pode consistir em fornecer às equipes de domínio dados que tenham sido devidamente analisados e eliminados de quaisquer falhas, como arquivos corrompidos ou duplicados. Também pode consistir em organizar melhor os dados não estruturados para que as pessoas os possam encontrar mais facilmente.

Melhorar a qualidade dos dados garante que os consumidores de dados possam fazer o seu trabalho de forma mais eficiente, conduzindo a um efeito positivo em toda a empresa. Se não se tiver em conta a qualidade dos dados numa rede de dados, pode haver o risco de confusão, desperdício de armazenamento ou silos de dados.

Desde os seus engenheiros de dados até à sua equipe central de dados, todos têm de poder trabalhar em conjunto de forma eficiente. Um data mesh melhora a colaboração entre as equipes do domínio, dando a todos tarefas concretas para coletar, analisar e utilizar os dados.

Uma vez que um data mesh requer uma manutenção contínua para garantir que os dados são suficientemente funcionais para serem utilizados, a colaboração é uma caraterística fundamental. Todas as equipes do domínio têm de estar em contato regular para garantir que os produtos de dados mantêm um nível de qualidade consistente para as suas funções empresariais. De um modo geral, um data mesh conduz a uma melhor percepção multifuncional e a uma tomada de decisões baseada em dados.

O data mesh não é a única arquitetura que pode utilizar para a sua empresa. Seguem algumas variações que deve considerar ao organizar operações de dados mais seguras e eficientes.

À primeira vista, um data mesh e um data warehouse podem parecer semelhantes devido ao fato de ambos lidarem com grandes quantidades de produtos de dados. No entanto, um data warehouse é uma abordagem mais centralizada, enquanto um data mesh é descentralizado.

Um data warehouse é muito atrativo, uma vez que simplifica a forma como uma empresa aborda os dados, consolidando tudo num único repositório. Esta abordagem pode ser útil para as empresas mais pequenas que ainda não têm a certeza se querem a dimensão e a escala de um data mesh. No entanto, a desvantagem de um date warehouse é a dificuldade de o dimensionar. É também mais limitado na sua funcionalidade e não é tão ágil como um data mesh.

Um data mesh oferece uma abordagem descentralizada em que várias equipes de domínio assumem a responsabilidade pela forma como os dados são armazenados, categorizados, distribuídos e utilizados.

Data mesh vs. data lakes

O data lake e o data mesh existem em extremos quase opostos. Um data lake oferece um repositório de dados brutos e não estruturados, enquanto um data mesh requer um nível mais elevado de organização.

Isso significa que um é automaticamente melhor do que o outro? Não necessariamente. Um data lake é muito útil para as pequenas empresas que precisam de reunir grandes quantidades de dados o mais rapidamente possível. A sua baixa barreira à entrada e a sua base ágil tornam-no uma ferramenta útil para empresas em crescimento.

Dito isto, um data lake ainda tem uma funcionalidade limitada. Uma vez que os seus dados são brutos, problemas como arquivos corrompidos, arquivos duplicados e arquivos desorganizados serão rapidamente detectados.

Por último, mas não menos importante, temos o data fabric. Enquanto o data mesh usa uma base descentralizada para distribuir e usar dados, um data fabric requer uma abordagem de dados central.

O data fabric não só requer uma estrutura de dados central, como também é muito mais automatizado do que uma malha de dados. A arquitetura do tecido de dados requer pouca supervisão para recolher dados de várias fontes num local simples para as pessoas utilizarem. Esta abordagem hiper-automatizada pode ser muito atrativa para as empresas que têm uma forma específica de trabalhar e precisam de poupar o máximo de tempo possível.

Agora que já sabe como funciona um data mesh e como este beneficia a sua empresa, você pode estar se perguntando se vale a pena realizar a implementação. Antes de o fazer, considere estas questões-chave para ter uma melhor perspectiva de como poderá beneficiar.

A primeira questão que considerar em relação à adoção de um data mesh é o tamanho e a complexidade da sua empresa. A sua organização é suficientemente grande e complexa para beneficiar de uma abordagem descentralizada?

Algumas outras questões que deve considerar são:

• Está tendo problemas de escalabilidade com a sua atual arquitetura de dados?
• Tem várias equipes que poderiam utilizar uma melhor colaboração conjunta?
• Algum dos seus planos de negócio para os próximos anos envolve a expansão da sua organização?

A gestão de dados é uma questão complexa que vai desde as questões de segurança até à sua correta organização. A maioria das organizações considera a gestão de dados vital para o sucesso, pelo que não se pode dar ao luxo de não colocar as seguintes questões.

• Existem dificuldades, silos ou problemas de qualidade nos dados que dificultam as suas operações?
• Você necessita de maior escalabilidade e agilidade na gestão dos seus dados?
• Você pretende utilizar uma abordagem centralizada ou uma abordagem descentralizada?

Um data mesh é tão bom quanto os consumidores dos dados que o utilizam. Se os seus conhecimentos de domínio precisam ser aperfeiçoados, um data mesh pode ser um compromisso demasiado grande.

Faça as seguintes perguntas sobre a composição da sua equipe de plataforma de dados para ver se deve fazer a mudança:

• As suas equipes possuem um forte conhecimento específico sobre o tema?
• Qual é a variedade de conhecimentos específicos deste tema?
• Acha que as suas equipes estão preparadas para se apropriarem dos seus dados como produtos?

Mesmo que responda não a algumas destas perguntas, isso não significa que não possa criar um data mesh. Certifique-se apenas de que não avança sem resolver estas questões, uma vez que a falta de preparação se tornará um problema mais tarde.

Um data mesh é tanto uma filosofia como um sistema de gestão de dados. A sua implementação requer um nível de empenhamento, colaboração e determinação para ser bem sucedida.

• A cultura da sua organização está alinhada com os princípios descentralizados?
• As suas equipes estão dispostas a adotar uma mudança cultural no sentido da propriedade e colaboração dos dados?
• As suas equipes são reativas e proativas na gestão ou distribuição de dados?

Um data mesh requer mais supervisão do que um data lake. Não há necessidade de se lançar em um data mesh se achar que não terá os recursos necessários para o manter.

• Tem os recursos necessários para investir numa infraestrutura de autosserviço ou em quadros de governaça?
• A sua organização está empenhada em fornecer apoio e melhorias contínuas para uma melhor gestão dos dados?
• Sabe quais os recursos que pretende utilizar para criar uma estrutura de data mesh?

Se respondeu às perguntas anteriores sobre um data mesh e pretende implementá-la, está na altura de analisar a implementação. Embora a criação de uma plataforma de dados self-service possa parecer assustadora devido à sua escala, pode ser dividida em etapas.

O primeiro passo é tratar os seus dados como produtos de dados. Trata-se de uma mudança de perspectiva que faz parte do processo de avaliação e planejamento da alteração da estrutura da organização.

A avaliação da preparação da organização pode envolver a identificação de domínios-chave e de partes interessadas. O que está tentando alcançar com a sua empresa e como a desorganização dos dados o está impedindo que alcancem estes objetivos?

As suas equipes de especialistas precisam de ter funções e responsabilidades definidas ao estabelecer uma rede de dados. Uma equipe pode ser responsável pela coleta dos dados, enquanto outras podem ser responsáveis pela sua análise para tomar decisões comerciais.

A formação e a integração das suas equipes especializadas são vitais para criar uma plataforma de dados self-service que funcione sem problemas. Programas de formação bem planejados aumentam o envolvimento dos funcionários. Quando se considera que um data mesh é uma abordagem centrada no usuário, é do seu interesse mantê-los envolvidos.

Assim que tiver uma ideia melhor de como as suas equipes especializadas irão funcionar e dos seus objetivos comerciais gerais, é hora de criar uma infraestrutura de dados self-service. É nesta fase que começa a selecionar diferentes ferramentas e plataformas para o ajudar a gerir os dados do seu domínio.

Deve dar prioridade a ferramentas que lhe permitam escalabilidade e flexibilidade. Por exemplo, uma solução de armazenamento na nuvem que permita a expansão conforme necessário ou que forneça informações mais aprofundadas sobre os dados do seu domínio. Também pode recorrer a um serviço de segurança que forneça uma análise contínua de atividades sensíveis.

Os seus produtos de dados necessitam de uma governança e compliance consistentes para garantir as melhores práticas em toda a linha. A última coisa que deseja é que as pessoas erradas acessem aos dados do seu domínio ou os manipulem mal.

O desenvolvimento de quadros de governação envolve a criação de um conjunto de normas para cada equipe do domínio. Por exemplo, pode fornecer determinados acessos e permissões em função da função de equipe de uma pessoa. Dedicar algum tempo para estabelecer políticas para a qualidade, segurança e interoperabilidade dos dados garantirá que os dados do seu domínio permanecem seguros e utilizáveis.

À medida que vai descobrindo a função do seu data mesh, não precisa de fazer tudo com a implementação. É melhor começar com projetos piloto à medida que se vai familiarizando com os produtos de dados e as novas expectativas que lhes estão associadas.

Começar com projetos pilotos permite recolher feedback e melhorar continuamente. Poderá descobrir que, na verdade, queria uma equipe de dados central ou perceber que os seus cientistas de dados precisam da sua própria equipe especializada. Embora seja absolutamente possível aprender com outras empresas e com a forma como estas abordam os dados, alguns conhecimentos só surgem por tentativa e erro.

A criação de um data mesh não tem de ser um projeto individual. De fato, o data mesh é inerentemente concebido para ser um esforço de colaboração que transforma os seus produtos de dados através de uma abordagem humanista.

Fornecemos-lhe os meios para acessar os dados e utilizá-los de forma mais eficaz com soluções de dados abrangentes. Fornecemos capacidades avançadas de gestão e integração de dados para criar infraestruturas de dados escaláveis e confiáveis. A nossa plataforma de dados cloud-first oferece-lhe a capacidade de acessar os dados de forma conveniente, segura e consistente.

As plataformas de dados avançadas da InterSystems, incluindo o suporte para a gestão descentralizada de dados, facilitam a criação e manutenção de uma infraestrutura de dados self-service. Ao longo dos anos, temos ajudado empresas como unidades de saúde, empresas de transporte marítimo e bancos de investimento a gerir e organizar os seus dados.

O Chadwicks Group, a Murata Machinery e a Chess Logistics Technology são alguns dos clientes anteriores que ajudámos a eliminar silos de dados e a tomar decisões baseadas em dados. Quer esteja preocupado com a viabilidade dos seus produtos de dados ou pretenda atualizar os seus data lakes, estamos aqui para o ajudar.

A InterSystems dedica-se à melhoria contínua e a manter-se na vanguarda da tecnologia de dados. Forneceremos à sua empresa suporte e colaboração contínuos para garantir o sucesso de suas iniciativas de data mesh.

Entre em contato com a InterSystems quando estiver pronto para criar um paradigma de data mesh.

Entre em contato com a InterSystems