Hoy, más que nunca, las organizaciones se esfuerzan por obtener una ventaja competitiva, ofrecer más valor a los clientes, reducir los riesgos y responder más rápidamente a las necesidades de la empresa. Para lograr estos objetivos, las organizaciones necesitan un acceso fácil a un único conjunto de datos precisos, coherentes y fiables, y todo ello en tiempo real. Sin embargo, los crecientes volúmenes de datos y sus complejidades dificultan el logro de estos objetivos. A medida que los datos crecen, también lo hace la prevalencia de los silos de datos, dificultando la integración y el aprovechamiento de los datos procedentes de fuentes internas y externas.
Recientemente, han surgido los data fabrics como un enfoque arquitectónico muy necesario para proporcionar una visibilidad precisa en toda la empresa, sin los problemas asociados a los almacenes de datos, los lagos de datos y otros enfoques para su integración y gestión. Los data fabrics pueden transformarlos y armonizarlos bajo demanda, aunque procedan de múltiples fuentes, para crear una única fuente fiable, precisa y actualizada al servicio de todos sus usuarios. Los Smart Data Fabrics llevan este enfoque un paso más allá al incorporar una amplia gama de capacidades analíticas, como la exploración de datos, la inteligencia empresarial, el procesamiento del lenguaje natural, el machine learning e, incluso, la IA generativa. Esto facilita que las organizaciones obtengan conocimientos nuevos y potencien sus servicios y aplicaciones prescriptivos inteligentes.
A menudo recibimos preguntas sobre cómo pueden aplicarse los smart data fabrics para abordar retos industriales específicos. A continuación, encontrará las respuestas a once preguntas frecuentes.
Cómo pueden aplicarse los data fabrics para afrontar retos específicos de la industria
Q1. ¿Es lo mismo gobernanza de datos y data fabric?
La gobernanza de datos y el data fabric están relacionados, pero son muy diferentes. La gobernanza de datos es un conjunto global de iniciativas dirigidas a definir y hacer cumplir la calidad, el uso y la seguridad de los datos en una organización. Incluye políticas, normas, procesos, reglas, funciones y responsabilidades, privilegios, etc. Por su parte, un data fabric es un patrón arquitectónico destinado a crear coherencia entre todos los datos y metadatos de una organización, para que sean fáciles de encontrar, acceder y utilizar. Un data fabric puede ser un componente crítico para el éxito de un programa de gobernanza de datos.
Q2. ¿Qué soluciones ofrece un data fabric para los problemas relacionados con datos dispares en el sector de los servicios financieros?
Aunque las organizaciones de servicios financieros acuden a InterSystems con una amplia gama de problemas derivados de cuestiones relacionadas con datos dispares, la solución principal para todas ellas es una arquitectura de datos moderna que garantice que los usuarios accedan a un conjunto coherente de información precisa, actualizada, fiable y segura.
En general, un data fabric proporciona un enfoque moderno para crear una única fuente fiable, a partir de todas las fuentes de datos desconectadas, dispares y disímiles, dentro y fuera de la organización, para alimentar los cometidos de todos los usuarios, ya sean empresariales, de aplicaciones, científicos de datos, clientes, reguladores, etc. También proporciona una capa de metadatos coherente y global, y una capa semántica que mantiene las relaciones entre los distintos datos y metadatos. Un data fabric puede eliminar los errores y redundancias típicos del mantenimiento de múltiples repositorios de datos individuales que sirven a diferentes usuarios. Además, debe permitir que los datos sean opcionalmente persistentes o virtualizados (no persistentes), manejar datos de flujo en tiempo real y datos por lotes a escala, ser capaz de gestionar de forma nativa una amplia variedad de tipos de datos, incluidos los no estructurados (multimodelo), y tener análisis integrados para el procesamiento analítico avanzado y en tiempo real, sin mover los datos a un entorno diferente para el análisis (smart data fabric).
En general, un data fabric proporciona un enfoque moderno para crear una única fuente fiable, a partir de todas las fuentes de datos desconectadas, dispares y disímiles, dentro y fuera de la organización, para alimentar los cometidos de todos los usuarios, ya sean empresariales, de aplicaciones, científicos de datos, clientes, reguladores, etc. También proporciona una capa de metadatos coherente y global, y una capa semántica que mantiene las relaciones entre los distintos datos y metadatos. Un data fabric puede eliminar los errores y redundancias típicos del mantenimiento de múltiples repositorios de datos individuales que sirven a diferentes usuarios. Además, debe permitir que los datos sean opcionalmente persistentes o virtualizados (no persistentes), manejar datos de flujo en tiempo real y datos por lotes a escala, ser capaz de gestionar de forma nativa una amplia variedad de tipos de datos, incluidos los no estructurados (multimodelo), y tener análisis integrados para el procesamiento analítico avanzado y en tiempo real, sin mover los datos a un entorno diferente para el análisis (smart data fabric).
Q3. Jey Amalraj, CTO de Harris Associates, empresa de gestión de activos de servicios financieros con 100.000 millones de dólares en activos gestionados, presentó una ponencia magistral en InterSystems Global Summit, centrada en "Leveraging a Smart Data Fabric for Financial Services". ¿Cuál era su mensaje principal?
Harris Associates es uno de los clientes de InterSystems y Jey lleva décadas dirigiendo iniciativas de gestión de datos en el sector de los servicios financieros. Su principal requisito es, exactamente, el mencionado anteriormente: crear una única fuente de datos fiable que abarque todas las fuentes y que sirva a todos los usuarios. A lo largo de su carrera ha trabajado con la mayoría de las tecnologías de gestión de datos, como integraciones punto a punto, plataformas de integración, data marts, lagos de datos, etc.
Su frase sobre data fabrices: "Llevo 25 años trabajando con datos. Hemos pasado por varias soluciones. Por fin hemos encontrado algo que funciona".
Su frase sobre data fabrices: "Llevo 25 años trabajando con datos. Hemos pasado por varias soluciones. Por fin hemos encontrado algo que funciona".
Q4. ¿Cómo se implanta un data fabric para los servicios financieros?
Un atributo clave de los data fabrics es que no alteran la infraestructura técnica existente de una organización. Un buen planteamiento de implantación consiste en definir proyectos que aporten un valor empresarial cuantificable a corto plazo (unas semanas o meses), que expongan y conecten datos maduros para su reutilización en proyectos futuros, y trabajar de forma incremental, evitando implantaciones "big bang" plurianuales. Para los que llevamos tiempo en esto, así es exactamente como enfocábamos las iniciativas de arquitectura orientada a servicios a finales de los noventa y principios de los 2000.
Hay muchas formas de implementar un data fabric. Una forma es implantar e integrar muchas soluciones puntuales de gestión de datos diferentes, por ejemplo para la gestión de bases de datos relacionales y no relacionales, la integración, la capa de almacenamiento en caché, el catálogo de datos, el flujo de trabajo, la inteligencia empresarial, el machine learning, la gestión de metadatos y datos semánticos, etc. Hemos visto que las organizaciones que intentan este enfoque suelen acabar con una arquitectura compleja e ineficaz lenta de implantar, difícil de mantener, que carece de rendimiento y que es ineficiente en su uso de los recursos de la infraestructura.
En su lugar, se recomienda buscar una tecnología de plataforma de datos que ofrezca muchas de las funciones necesarias en un único producto o plataforma. Uno de los clientes de InterSystems, un proveedor de software de tecnología financiera valorado en 5.000 millones de dólares, ha podido sustituir ocho tecnologías diferentes por este único producto, obteniendo un rendimiento nueve veces superior con sólo el 30% de la infraestructura y una arquitectura mucho más sencilla.
Hay muchas formas de implementar un data fabric. Una forma es implantar e integrar muchas soluciones puntuales de gestión de datos diferentes, por ejemplo para la gestión de bases de datos relacionales y no relacionales, la integración, la capa de almacenamiento en caché, el catálogo de datos, el flujo de trabajo, la inteligencia empresarial, el machine learning, la gestión de metadatos y datos semánticos, etc. Hemos visto que las organizaciones que intentan este enfoque suelen acabar con una arquitectura compleja e ineficaz lenta de implantar, difícil de mantener, que carece de rendimiento y que es ineficiente en su uso de los recursos de la infraestructura.
En su lugar, se recomienda buscar una tecnología de plataforma de datos que ofrezca muchas de las funciones necesarias en un único producto o plataforma. Uno de los clientes de InterSystems, un proveedor de software de tecnología financiera valorado en 5.000 millones de dólares, ha podido sustituir ocho tecnologías diferentes por este único producto, obteniendo un rendimiento nueve veces superior con sólo el 30% de la infraestructura y una arquitectura mucho más sencilla.
Q5. Hablemos de las cadenas de suministro. Las supply chain generan enormes cantidades de datos procedentes de diversas fuentes. ¿Puede utilizarse también un modelo data fabric en su ecosistema informático para resolver sus retos?
¡Claro que sí! Las cadenas de suministro son un dominio perfecto para los data fabrics porque son grandes, dispares y complejas. Abarcan muchas organizaciones diferentes, todas ellas con sus propias pilas de datos y aplicaciones disímiles. Las organizaciones necesitan visibilidad en tiempo real a lo largo de todo el proceso de suministro y distribución, para conocer fácilmente el estado de millones o incluso miles de millones de componentes y reaccionar ante problemas e interrupciones inesperadas en el momento en que se producen.
Q6. ¿Y las interrupciones en las operaciones de la cadena de suministro?
Gestionar las interrupciones con rapidez y eficacia es el principal problema de las operaciones de la supply chain. Las interrupciones son un fenómeno constante y uno de los mayores retos a los que se enfrentan las organizaciones relacionadas con la cadena de suministro. Una torre de control inteligente no sólo debe proporcionar visibilidad end-to-end en tiempo real, sino que también debe ofrecer información predictiva sobre la probabilidad de interrupciones, calcular el impacto en el negocio y presentar un conjunto de opciones prescriptivas basadas en datos para prevenir posibles interrupciones con antelación o gestionarlas en tiempo real cuando se produzcan.
Por ejemplo, los acontecimientos geopolíticos, la escasez de mano de obra, los fallos en el suministro, las pautas meteorológicas y la rápida evolución de la demanda de los consumidores pueden influir en la oferta y la demanda. Las organizaciones pueden acelerar la toma de decisiones basada en datos aprovechando un data fabric con análisis integrados, para lograr un mayor nivel de apoyo a la toma de decisiones y resultados basados en la automatización.
Por ejemplo, los acontecimientos geopolíticos, la escasez de mano de obra, los fallos en el suministro, las pautas meteorológicas y la rápida evolución de la demanda de los consumidores pueden influir en la oferta y la demanda. Las organizaciones pueden acelerar la toma de decisiones basada en datos aprovechando un data fabric con análisis integrados, para lograr un mayor nivel de apoyo a la toma de decisiones y resultados basados en la automatización.
Q7. ¿Una estrategia data fabric es una vía hacia la transformación digital de la cadena de suministro? En caso afirmativo, ¿qué significa en la práctica?
Sí, mucho. La mayoría de las organizaciones están pasando a una estrategia de plataforma de datos de "análisis e inteligencia de decisiones" para cumplir sus objetivos de transformación digital en la cadena de suministro. Para ello, requiere una arquitectura moderna que pueda armonizar y normalizar los datos de cualquier fuente de datos dispar en tiempo real, simular procesos de negocio y proporcionar capacidades de IA y ML para permitir la toma de decisiones optimizada dinámica en la línea de negocio.
En la práctica, existen modelos de madurez digital estándar en el sector que pueden servir de orientación. La progresión comienza con la comprensión de los requisitos organizativos y los indicadores clave de rendimiento (KPI) críticos para, después, aprovechar una arquitectura data fabric fundacional y desarrollar procesos para progresar gradualmente hacia los niveles superiores de madurez digital, que es lograr una supply chain predictiva, autónoma y adaptable.
En la práctica, existen modelos de madurez digital estándar en el sector que pueden servir de orientación. La progresión comienza con la comprensión de los requisitos organizativos y los indicadores clave de rendimiento (KPI) críticos para, después, aprovechar una arquitectura data fabric fundacional y desarrollar procesos para progresar gradualmente hacia los niveles superiores de madurez digital, que es lograr una supply chain predictiva, autónoma y adaptable.
Q8. ¿Tiene algún ejemplo que compartir?
Por supuesto, tenemos muchos ejemplos de clientes que están aprovechando smart data fabric en la cadena de suministro para lograr resultados extraordinarios. Uno de nuestros clientes es el mayor distribuidor de medicamentos y cosméticos de Japón. Distribuye 50.000 productos diferentes de 1.000 fabricantes distintos a 400 minoristas que gestionan más de 50.000 tiendas al año. En total, ¡3.500 millones de productos al año! Con este planteamiento, consiguen una precisión del 99,999% en las entregas a tiempo, frente a la media del sector, que ronda el 65%. Esto significa que de cada 100.000 productos que entregan, 99.999 se entregan al cliente a tiempo y en su totalidad. Es un logro increíble.
Q9. Veamos ahora la aplicabilidad de data fabric en la industria de fabricación. ¿Cuáles son las ventajas de utilizar data fabric en la fabricación?
La Industria 4.0 consiste en digitalizar el entorno de fabricación y facilitar la convergencia OT/IT para agilizar toda la cadena de procesos, y mejorar la eficiencia y la capacidad de respuesta. Y no se trata sólo de crear gemelos digitales para la fábrica. Un data fabric puede abarcar el suministro a través de la fabricación, el montaje y la distribución, incluyendo SCP, MRP, MES, ERP, CRM, PLM, gestión de inventarios y más, para proporcionar una verdadera visibilidad de end-to-end.
Al igual que en la supply chain, un smart data fabric con capacidades analíticas avanzadas integradas en el tejido, puede proporcionar análisis predictivos y prescriptivos; por ejemplo, para informar sobre el mantenimiento predictivo para mantener en funcionamiento las líneas de producción críticas, equilibrar la oferta con las fluctuaciones previstas de la demanda y optimizar la dotación de personal.
Al igual que en la supply chain, un smart data fabric con capacidades analíticas avanzadas integradas en el tejido, puede proporcionar análisis predictivos y prescriptivos; por ejemplo, para informar sobre el mantenimiento predictivo para mantener en funcionamiento las líneas de producción críticas, equilibrar la oferta con las fluctuaciones previstas de la demanda y optimizar la dotación de personal.
Q10. ¿Tiene algún ejemplo de problemas que un data fabric resuelva en el sector sanitario?
Los clientes de InterSystems en el sector de la sanidad realizan muchas aplicaciones prácticas de un data fabric en su operativa. Uno de ellos, un centro médico académico, necesitaba un punto de entrada centralizado para que los usuarios internos y externos accedieran a la información distribuida en los numerosos silos de datos de la organización. El data fabric sirve como capa de servicio API. Esto facilita que los usuarios finales y clientes autorizados accedan a la información en tiempo real, para respaldar las aplicaciones que acceden y procesan datos distribuidos entre el almacén de datos, el lago de datos, el EMR y otros silos. Para cumplir los requisitos normativos, utilizan data fabric como fachada FHIR para los datos relacionales que residen en el almacén de datos empresariales.
Las organizaciones sanitarias también se benefician del uso de smart data fabric como capa analítica, facilitando que los analistas y sus herramientas exploren datos de fuentes distintas. Al tiempo, pueden incorporar información en tiempo real, junto con los datos de su almacén tradicional, para obtener análisis más actualizados que ofrecen perspectivas y patrones nuevos que, de otra forma, habrían quedado ocultos en los silos de datos.
Las organizaciones sanitarias también se benefician del uso de smart data fabric como capa analítica, facilitando que los analistas y sus herramientas exploren datos de fuentes distintas. Al tiempo, pueden incorporar información en tiempo real, junto con los datos de su almacén tradicional, para obtener análisis más actualizados que ofrecen perspectivas y patrones nuevos que, de otra forma, habrían quedado ocultos en los silos de datos.
Q11. ¿Hay algún aspecto importante que merezca mencionarse?
Muchos analistas del sector están promoviendo la arquitectura data fabric como el enfoque preferido y, especialmente, cuando hay que gestionar muchos datos dispares y disímiles. Sin embargo, empezar puede resultar abrumador.
Es recomendable que los equipos técnicos de la organización trabajen en estrecha colaboración con las líneas de negocio, para identificar qué casos de uso aportan más valor a la organización y aplicarlos en sprints que proporcionen algún valor empresarial medible. También es aconsejable trabajar con un socio de confianza, con experiencia demostrada con organizaciones y casos de uso similares, para ayudar con la estrategia, las mejores prácticas y la implantación.
Es recomendable que los equipos técnicos de la organización trabajen en estrecha colaboración con las líneas de negocio, para identificar qué casos de uso aportan más valor a la organización y aplicarlos en sprints que proporcionen algún valor empresarial medible. También es aconsejable trabajar con un socio de confianza, con experiencia demostrada con organizaciones y casos de uso similares, para ayudar con la estrategia, las mejores prácticas y la implantación.