Data Fabric vs. Data Mesh: una comparación exhaustiva

Data fabric es una arquitectura que crea una capa unificada e integrada para acceder a los datos y gestionarlos en toda la organización, centrándose en la conectividad y la interoperabilidad.

Data mesh, por otro lado, es un enfoque descentralizado que trata los datos como un producto, inicidiendo en la propiedad específica del dominio y en la gobernanza por parte de equipos individuales.

En este artículo, desgranaremos los conceptos básicos, las ventajas, las aplicaciones prácticas y las consideraciones de cada metodología.

Al final, se dispondrá de una comprensión completa de estos paradigmas para saber cómo tomar decisiones informadas y aprovechar mejor el poder de los datos en cualquier empresa.

Data fabric es una arquitectura y un conjunto de servicios de datos que proporcionan capacidades coherentes a través de un espectro de puntos finales en entornos híbridos y multicloud. Integra distintos procesos de gestión de datos, como el descubrimiento, la gobernanza y la orquestación de datos, tratándolos como una capa única y accesible.

En otras palabras, data fabric es un sistema que conecta y gestiona sin problemas los datos, tanto si están almacenados en los propios ordenadores de la empresa como si lo están en distintos servicios en la nube. Garantiza que, independientemente de dónde estén los datos, se pueda acceder a ellos y utilizarlos de forma fácil y fiable.

Los principios básicos de data fabric se centran en la agilidad, la flexibilidad y una visión unificada de los datos en toda la empresa.

• Agilidad: Data fabric facilita una adaptación rápida a nuevas fuentes de datos y a la evolución de las necesidades empresariales.
• Flexibilidad: admite una amplia gama de fuentes de datos, tipos y ubicaciones de almacenamiento.
• Vista unificada: proporciona un enfoque holístico de la gestión de datos, permitiendo el acceso a todos los datos de una organización.

La arquitectura data fabric sustenta la estrategia con varios componentes clave.

• Canalizaciones de datos: las canalizaciones automatizadas gestionan la ingestión, la transformación y el movimiento de los datos.
• Gobernanza de datos: las políticas garantizan la calidad, privacidad y conformidad de los datos.
• Orquestación de datos: un enfoque coordinado gestiona los datos en todos los sistemas.

Consideremos el ejemplo de una empresa multinacional de servicios financieros que necesita integrar, gestionar y acceder a datos de múltiples divisiones globales, incluidos servicios de banca, inversiones y seguros.

Esta empresa se enfrenta al reto de acceder, analizar y gobernar datos que residen en diferentes sistemas y plataformas, incluidos entornos en la nube, centros de datos locales y servicios de datos de terceros. Para hacer frente a estos retos, la empresa implanta una arquitectura data fabric que facilita:

1. Integrar los datos sin fisuras: data fabric integra datos de diversas fuentes, como bases de datos transaccionales, sistemas CRM, fuentes de datos de mercado y servicios de almacenamiento en la nube. Esta integración se ve facilitada por las tecnologías de virtualización de datos y ETL (Extract, Transform, Load), que permiten acceder a los datos y manipularlos en tiempo real y, en algunos casos, sin necesidad de trasladarlos o replicarlos físicamente entre sistemas o equipos.
2. Gobernanza y calidad unificadas de los datos: el enfoque de data fabric incorpora una arquitectura de datos centralizada que aplica políticas coherentes de calidad, privacidad y seguridad en todas las fuentes de datos. Esto puede incluir mecanismos de clasificación de datos, del seguimiento de su linaje y el control del cumplimiento.
3. Acceso a datos de autoservicio: la arquitectura ofrece una plataforma de datos de autoservicio y herramientas de descubrimiento para los usuarios empresariales, lo que reduce los cuellos de botella informáticos y permite una toma de decisiones más rápida. Los usuarios pueden consultar y visualizar datos de toda la empresa a través de una interfaz unificada, independientemente de dónde residan físicamente.

La implantación de data fabric facilita que las empresas de servicios financieros dispongan de una visión holística de sus activos de datos, mejoren la eficiencia operativa y potencien la capacidad de toma de decisiones.

La arquitectura también facilita una gestión más eficaz del riesgo, una oferta más personalizada de los servicios e impulsa la innovación manteniendo unos niveles elevados en la gobernanza de datos y el cumplimiento normativo.

El enfoque data mesh está ganando adeptos, como marco sociotécnico descentralizado, para la gestión de datos analíticos a escala. Data mesh reconoce los datos como un producto, poniendo de relieve la importancia de la propiedad y la arquitectura de datos descentralizada orientada al dominio.

En este marco, cada dominio de una organización es responsable de proporcionar y mantener sus datos como un producto, haciendo a los equipos de dominio responsables de su calidad y accesibilidad.

• Propiedad y arquitectura de datos orientadas al dominio: data mesh aboga por un diseño donde los datos son gestionados por equipos específicos del dominio, favoreciendo una comprensión más clara de su contexto y uso.
• Infraestructura de datos de autoservicio como plataforma: el objetivo es establecer una plataforma de datos de autoservicio que permita a los equipos de dominio construir sus propios productos de datos y facilitar su descubrimiento sin necesidad de profundos conocimientos técnicos en sistemas distribuidos.
• Interoperabilidad y comunicación normalizada: data mesh suele aplicar protocolos normalizados para garantizar que los distintos productos puedan comunicarse e integrarse entre sí sin problemas.
• Gobernanza a través de la observabilidad: data mesh tendrá, generalmente, una gobernanza de datos descentralizada, empleando una visión global de todos los dominios para garantizar el cumplimiento, la estandarización y la calidad.

Implantar data mesh requiere que una organización adopte un cambio cultural hacia la democratización de los datos y un replanteamiento de las funciones y responsabilidades tradicionales.

• Conocimientos especializados: los equipos deben tener las habilidades y los conocimientos necesarios para gestionar sus productos de datos de forma autónoma.
• Inversión técnica: para implantar data mesh es fundamental una infraestructura que soporte las capacidades de autoservicio.
• Gestión del cambio: las organizaciones deben prepararse para los cambios de gobernanza y procesos que acompañan a la transición a un enfoque de data mesh.

Consideremos el ejemplo de una gran empresa de comercio electrónico que opera a escala mundial con múltiples líneas de productos, como electrónica, artículos para el hogar, ropa y comestibles. Esta empresa lucha contra los silos de datos en los distintos departamentos, lo que provoca ineficiencias, análisis de datos incoherentes y dificultades para innovar rápidamente y satisfacer las necesidades de los clientes.

Para superarlo, la empresa adopta una arquitectura data mesh, incidiendo en la propiedad descentralizada de los datos y la arquitectura de datos orientada al dominio.

Cada línea de producto se trata como un dominio distinto con sus propios productos de datos, propiedad de equipos inter-funcionales formados por miembros de TI, ciencia de datos, operaciones y unidades de negocio, que se encargan de su gestión.

1. Propiedad de los datos orientada al dominio: las divisiones de electrónica, artículos para el hogar, ropa y comestibles asumen, cada una, la responsabilidad de sus datos, incluida su calidad, gobernanza y gestión del ciclo de vida. Este cambio facilita que los equipos tomen decisiones rápidas y fundamentadas basadas en sus datos.
2. Infraestructura de datos de autoservicio: la empresa invierte en la creación de una plataforma de datos de autoservicio que permite a cada equipo de dominio acceder a ellos, procesarlos y analizarlos sin depender en exceso de los recursos informáticos centrales. Esta plataforma incluye herramientas de ingesta, procesamiento, almacenamiento y análisis de datos, adaptadas a las necesidades de cada ámbito.
3. Interoperabilidad y comunicación estandarizada: a pesar de la descentralización, la empresa establece normas comunes para formatos de datos, API y protocolos con el fin de garantizar la interoperabilidad entre los productos de datos de distintos dominios. Esto simplifica el compartir e integrar datos sin fisuras, lo que facilita el análisis y la comprensión entre dominios.
4. Los datos como producto: cada ámbito trata sus datos como un producto, centrándose en las necesidades del usuario, la usabilidad y el valor. Esto incluye definir especificaciones claras de los productos de datos, mantener la documentación y garantizar que sean detectables y accesibles para otros dominios y partes interesadas dentro de la empresa.
5. Gobernanza a través de la observación: la empresa aplica un modelo de gobernanza federada que equilibra la autonomía con la responsabilidad. Cada dominio es responsable de adherirse a las normas de gobernanza de datos de toda la empresa, mientras que un marco de observación centralizado supervisa el cumplimiento, la calidad y su uso en todos los productos de datos.

La adopción de data mesh ayuda a la empresa de comercio electrónico acabar con los silos de datos, mejorando la colaboración y la innovación en sus diversas líneas de productos. Como cada equipo de cada dominio gestiona sus datos independientemente, la empresa acelera la comercialización de nuevas funciones y servicios, mejora la personalización de los clientes y responde con mayor agilidad a los cambios del mercado.

Al mismo tiempo, las normas de interoperabilidad y el modelo de gobernanza federada garantizan que los datos sigan siendo un activo cohesionado y estratégico en toda la organización.

Similitudes:

• El objetivo de ambos es mejorar la accesibilidad y facilidad de uso de los datos en toda la empresa.
• Fomentan un enfoque arquitectónico de la gestión de datos.
• No están vinculados a una tecnología concreta, sino que son marcos conceptuales.

Diferencias

Aspecto	Data Fabric	Data Mesh
Enfoque	Integra a la perfección varias fuentes de datos.	Independencia de las fuentes de datos.
Control	Orquestación y gobernanza centralizada.	Gobernanza descentralizada con equipos de dominio.
Tecnología	Puede utilizar diversas tecnologías.	A menudo utiliza sistemas distribuidos modernos.
Tratamiento de datos	Descubrimiento y preparación automatizados de datos.	Preparación manual de datos centrada en el ámbito.
Operación	Funciona como una capa subyacente.	Actúa como tejido conjuntivo entre los equipos.

Decidir entre data fabric y data mesh depende de las necesidades específicas de cada organización, de los retos y de las capacidades de la gestión de datos existentes.

A continuación, se presentan algunas consideraciones para ayudar a determinar qué enfoque podría ser más adecuado.

• Tiene un panorama de datos complejo y distribuido con la necesidad de acceder e integrar datos en varias fuentes, entornos (nube, local, periférico) y plataformas sin problemas.
• Da prioridad a una visión unificada de los datos en toda la organización, para respaldar los esfuerzos de análisis, ciencia de datos e inteligencia empresarial, sin querer revisar la infraestructura existente.
• Se enfrenta a retos de gobernanza y calidad de datos en sistemas dispares y necesita un mecanismo centralizado para garantizar la coherencia, el cumplimiento y el control.
• Busca la escalabilidad y la flexibilidad en la gestión de datos al tiempo que minimiza la complejidad para los usuarios finales, incluidas las partes interesadas no técnicas.

• Trabaja en un entorno basado en dominios en el que diferentes unidades o equipos empresariales tienen necesidades distintas de datos y se beneficiarían de la propiedad y gestión de sus productos de datos.
• Se encuentra con cuellos de botella en el acceso y la utilización de los datos debido a las prácticas centralizadas de gestión de datos, lo que ralentiza la innovación y la toma de decisiones.
• Su objetivo es fomentar una cultura de democratización de los datos y rendición de cuentas, capacitando a los equipos para innovar y tomar decisiones basadas en sus datos locales.
• Ha madurado en sus capacidades digitales y de datos, con equipos capaces de gestionar las responsabilidades tecnológicas y operativas que conlleva la propiedad descentralizada de los datos.

• Tamaño y complejidad de la organización: las organizaciones más grandes y complejas, con diversas fuentes de datos y estrictos requisitos de gobernanza, pueden inclinarse por data fabric por sus características de integración y gestión centralizada. Por el contrario, las organizaciones con una fuerte cultura de autonomía y agilidad, donde las unidades de negocio operan de forma más independiente, podrían encontrar más atractivo el enfoque data mesh.
• Madurez en la gestión de datos: si la organización aún está desarrollando sus prácticas de gestión de datos, comenzar con un data fabric podría proporcionar la capa fundacional de integración y gobernanza necesaria. A medida que crece la madurez, la incorporación de data mesh puede potenciar aún más la autonomía y la innovación.

Alinear la elección con los objetivos estratégicos. Si el objetivo es mejorar la eficiencia, reducir los silos operativos y mejorar la gobernanza de los datos a gran escala, es probable que la mejor opción sea data fabric. Si el objetivo es aumentar la innovación, acelerar la toma de decisiones y dotar a los equipos de autonomía en materia de datos, data mesh podría ser más adecuado.

Data fabric está diseñado para proporcionar una capa unificada y coherente de acceso y gestión de datos a través de diversas fuentes incluidas las bases locales, el almacenamiento en la nube e incluso los dispositivos periféricos.

Aprovecha tecnologías como la virtualización de datos y el procesamiento federado de consultas para facilitar el acceso en tiempo real y la integración de datos de estas fuentes variadas sin necesidad de replicarlos en una ubicación centralizada.

Las soluciones data fabric a menudo emplean técnicas avanzadas de gestión de metadatos y capacidades de búsqueda inteligente, para facilitar el descubrimiento y la gobernanza de los datos en toda la organización.

Data Mesh, por el contrario, descentraliza la gestión de datos al tratarlos como un producto, con equipos específicos de dominio que los poseen y los gestionan.

Cada equipo es responsable del ciclo de vida de sus datos, incluido su almacenamiento, calidad y accesibilidad, utilizando las tecnologías que mejor se adapten a su dominio.

Las arquitecturas data fabric suelen emplear un lago de datos, varios almacenes de datos y soluciones de almacenamiento en varias nubes, integrados a través de una capa de datos unificada.

Esta configuración admite flujos de trabajo de procesamiento de datos por lotes y en tiempo real, análisis y machine learning, lo que facilita a las organizaciones obtener información de sus datos independientemente de dónde residan.

Un enfoque data mesh no suele prescribir tecnologías de almacenamiento o procesamiento específicas. En su lugar, cada dominio elige las herramientas y la infraestructura que mejor se adapten a sus necesidades, ya sea una base de datos relacional tradicional, una base de datos NoSQL para datos no estructurados o motores de procesamiento en tiempo real, como Apache Kafka o Apache Spark.

El énfasis se pone en capacitar a los equipos de dominio para crear y gestionar sus productos de datos de forma independiente, con un enfoque en los requisitos específicos del dominio en lugar de una solución única para todos.

La interoperabilidad es una consideración crítica tanto para los sistemas data fabric o data mesh, aunque se aborda desde ángulos diferentes.

Data Fabric aborda la interoperabilidad mediante la implementación de API, modelos de datos y protocolos estandarizados en toda su capa de gestión de datos integrada.

Esto requiere una importante planificación previa y una gestión continua, para garantizar que las fuentes de datos nuevas y existentes puedan integrarse y accederse sin problemas.

Data Mesh aborda la interoperabilidad adoptando principios de diseño impulsados por el dominio, fomentando el uso de formatos de datos, API y protocolos comunes para los productos de datos.

Esta arquitectura de datos descentralizada requiere un fuerte compromiso organizativo con la estandarización y la gobernanza, para evitar los silos de datos y garantizar que los productos de datos puedan compartirse e integrarse fácilmente a través de los límites del dominio.

Ambas arquitecturas afrontan retos para asegurar que los datos se mantienen accesibles, gobernables y seguros en diferentes entornos y tecnologías.

Sin embargo, las empresas pueden mitigar estos retos gracias a las prácticas y herramientas disponibles hoy día para la gestión de datos y aprovechar todo su valor.

InterSystems IRIS y Data Fabric Studio representan soluciones integrales diseñadas para liberar el verdadero potencial de los datos para las empresas que operan con un volumen de información en aumento, variedad y complejidad de sus activos de datos.

Al abordar los problemas prevalentes de los silos de datos y aplicaciones, estas soluciones facilitan un enfoque más integrado, eficiente y procesable de los datos en todas las organizaciones.

InterSystems ofrece dos potentes soluciones para implantar arquitecturas data fabric:

InterSystems IRIS sirve como tecnología central dentro de una arquitectura data fabric gracias a sus completas capacidades de gestión de datos. Entre sus principales características se encuentran:

La integración y la gestión de datos
InterSystems IRIS ofrece sólidas capacidades para integrar datos de diversas fuentes, lo que lo convierte en un elemento excelente para la capa unificada de acceso y gestión de datos central de Data Fabric. Su capacidad para gestionar modelos de datos SQL y NoSQL, así como su compatibilidad con transacciones y análisis simultáneos, se ajustan perfectamente a las necesidades de flexibilidad y escalabilidad de un Data Fabric.

Análisis en tiempo real y machine learning
Gracias a su compatibilidad integrada con análisis en tiempo real, inteligencia empresarial y machine learning, InterSystems IRIS puede integrar capacidades analíticas avanzadas directamente en el Data Fabric, lo que agiliza la comprensión y la toma de decisiones en toda la organización.

Interoperabilidad y conectividad
Las sólidas características de interoperabilidad de la plataforma facilitan la conexión entre sistemas y fuentes de datos dispares, un requisito fundamental para crear un Data Fabric sin fisuras. Esto incluye la compatibilidad con diversas normas y protocolos de datos, lo que facilita la comunicación entre distintos entornos y aplicaciones.

InterSystems Data Fabric Studio es una solución especializada que simplifica la implantación y gestión de arquitecturas data fabric. Ofrece:

Acceso unificado a datos
Proporciona un único punto de acceso a todos los datos de la empresa, independientemente de su ubicación o formato, lo que facilita integrar y gestionar datos sin fisuras en toda la organización.

Entorno de desarrollo visual
Presenta una interfaz intuitiva para diseñar e implementar soluciones data fabric, lo que reduce la complejidad y acelera el tiempo de desarrollo.

Servicios avanzados de datos
Ofrece capacidades integradas para la transformación de datos, la gestión de la calidad y la gobernanza, lo que garantiza datos coherentes y fiables en toda la empresa.

Arquitectura escalable
Admite volúmenes de datos crecientes y necesidades empresariales en evolución con una arquitectura altamente escalable y flexible.

Procesamiento en tiempo real
Facilita el procesamiento y el análisis de datos en tiempo real, lo que respalda la integración de datos en toda la empresa.

Mientras que Data Mesh incide en la propiedad descentralizada de los datos y el diseño impulsado por el dominio, las soluciones de InterSystems pueden desempeñar un papel de apoyo, especialmente en aspectos como:

Servicios de datos específicos del dominio
Tanto las capacidades de InterSystems IRIS como las de Data Fabric Studio pueden utilizarse para desarrollar y gestionar servicios de datos específicos del dominio, apoyando la autonomía de los equipos de dominio en la gestión de sus productos de datos. Su escalabilidad y rendimiento pueden satisfacer las elevadas exigencias de las operaciones centradas en dominios.

Gobierno de los datos y cumplimiento
Aunque Data Mesh aboga por una gobernanza descentralizada, las soluciones de InterSystems apoyan este modelo proporcionando herramientas para la calidad, seguridad y conformidad de los datos, que pueden ser aprovechadas por dominios individuales, así como funciones de observabilidad para supervisar la salud y el uso de los productos de datos en toda la malla.

Las soluciones integrales de gestión de datos de InterSystems encarnan el futuro de la gestión de datos, alineándose estrechamente con los principios de Smart Data Fabrics y ofreciendo vías potenciales hacia la implementación de arquitecturas data mesh.

A través de su énfasis en la integración de análisis, la compatibilidad con sistemas heredados y las capacidades de alto rendimiento, estas soluciones allanan el camino para que las organizaciones alcancen un nuevo nivel de eficiencia, conocimiento y valor de sus activos de datos.