‘Data Mesh’ y ‘Data Fabric’, actores protagonistas en el desafío del gobierno de datos

La última década ha estado marcada por una explosión descomunal del dato, especialmente en un contexto pospandemia donde la transformación digital ha encarnado un indiscutible papel protagonista. Este nuevo paradigma ha revelado la importancia de la gobernanza de los mismos para empresas y organizaciones, independientemente de si operan en la esfera pública o privada. Es precisamente en este contexto donde irrumpen con fuerza conceptos como Data Mesh o Data Fabric en aras del impulso de estrategias de gestión del dato en las organizaciones. “El dato necesita ser analizado, procesado, para poder realmente extraer su valor”, asegura Sebastián Miranda, analista de IDC Research, durante un desayuno ejecutivo con líderes del sector TI y representantes de la firma Denodo.

Que los datos son el combustible de las organizaciones modernas, no es algo discutible. Sin embargo, la multiplicidad de fuentes y tipos de datos, la heterogeneidad y los altos volúmenes de los mismos y su coste de operación nos sitúan ante un escenario complejo marcado por retos y desafíos. Con frecuencia la falta de agilidad en una estructura centralizada provoca desalineamientos en parte de la organización. Teniendo esto en cuenta, ¿cómo es posible disponer de la agilidad necesaria sin interrumpir las actividades de negocio y la toma de decisiones? ¿Cómo podemos disponer de múltiples visiones de los mismos datos que se encuentran en múltiples localizaciones y con actualizaciones distintas y valores distintos? Y todo esto, además, en un marco de tiempo adecuado y con costes asumibles. Es así como el Data Mesh y el Data Fabric cobran una creciente importancia a la hora de explotar el valor de múltiples repositorios y consumidores para la generación de data sets de negocio sin interrupciones. Estos procesos incluyen federar y coordinar las responsabilidades de datos y empoderar a todos los que trabajan con ellos, imponiendo nuevas arquitecturas y nuevos enfoques con un mayor grado de autonomía de las áreas de negocio, pero sin disminuir el control centralizado, en el que IT adquiere un papel fundamental como coordinador y gestor de la gobernanza.

Sebastián Miranda, analista de IDC Research durante la mesa ejecutiva.

El estallido del dato

Hoy en día, según el analista de IDC, “se está digitalizando la economía de manera acelerada”. Sin duda alguna, sabemos que el COVID-19 marcó un antes y un después con respecto a las operaciones digitales; “el incremento ha sido exponencial”, comenta Miranda. A modo de ejemplo el analista señala que antes del COVID-19 la economía “estaba digitalizada en un 46% de cara a finales de este año; sin embargo, después de la pandemia, la cifra ha crecido hasta el 65%”. La explicación que nos ofrece pasa precisamente por ese estallido del dato tras la pandemia, especialmente al haber multiplicado la generación de los mismos vía streaming. En este punto Miranda apunta a dos vectores importantes: “El dato viene cada vez más de un ecosistema externo y parte de esos datos ya vienen en tiempo real”. En la actualidad, según los datos que maneja la firma de análisis, “el 80% de estos datos son no estructurados y el 15% son generados por IoT. Si bien los datos creados en la nube no crecen tan rápido como los datos almacenados en la nube, están aumentando más rápido que el DataSphere agregado con un 36% por año en promedio”.

En este sentido, el dato supone la materia prima con la que trabajar en el entorno actual, aquello que nos va a permitir desplegar nuevas estrategias. Precisamente sobre estrategias han discutido los asistentes a la mesa entre los que destacan representantes de Repsol, Acciona o Codere en la esfera privada, y representantes de la Comisión Nacional del Mercado de Valores (CNMV) o del Servicio Madrileño de Salud Pública perteneciente a la Comunidad de Madrid, en el marco de la esfera pública. Han sido ellos quienes han puesto sobre la mesa sus preocupaciones y casos de uso en torno a la gestión del dato. A este respecto Miranda arroja un dato: “El 70% de los CEO de las grandes organizaciones en Europa se verán incentivados a generar al menos el 40% de sus ingresos a partir de la tecnología digital de aquí a 2025”. Esa búsqueda de estrategias digitales que es algo que está haciendo el 90% de las organizaciones en España pasa por reducir la brecha digital existente, lo que se traduce, en palabras de Miranda, como “una necesidad”. Así, para el año 2023, “el 60% de los CIO serán medidos principalmente por su capacidad de co-crear nuevos modelos de negocio y resultados a través de una amplia colaboración a nivel de empresa y de ecosistema”.

Infraestructura digital actual: frame

El encuentro ha servido para dibujar el marco actual en lo referido a la infraestructura digital por parte de los actores involucrados. De esta forma se constata que hablar de cloud implica hablar de cargas de trabajo; y es que, según explica el analista, “cada vez más se están llevando datos y aplicaciones a la nube”. Por ello, teniendo en consideración  cuál es el papel de las plataformas a la hora de transformar la nube cabe decir que el Workload-first es lo que impulsa la revolución de las plataformas en este entorno. Sebastián, una vez más, vuelve a lanzar una cifra a modo de respaldo: “Para el año 2025 un tercio de todas las cargas de trabajo estarán en cloud”. Hoy en día, no obstante, “nuestros datos están en diferentes nubes, lo que requiere de un enfoque distinto, una gestión que permita controlarlo”. Como consecuencia se impulsa un marco básico de la infraestructura digital apoyado en tres puntos principales: tecnología cloud-native, despliegue ubicuo y operaciones automatizadas.

Llegados a este punto sobre la mesa reina el acuerdo. La tecnología nativa de la nube apoya la innovación digital habilitada permitiendo una alta escalabilidad; el despliegue ubicuo está relacionado con la agilidad y la resiliencia de las organizaciones gracias a la gobernanza de la infraestructura basada en los resultados y la portabilidad de las cargas de trabajo que permiten las estrategias de suscripción a la infraestructura basada en el consumo; y, por último, las operaciones de infraestructuras inteligentes y automatizadas pueden transformar el negocio al garantizar un escalado, una seguridad y una gobernanza más rápidos y coherentes.  El análisis de IA/ML y la automatización se unen para alinear mejor las operaciones de infraestructura digital con las políticas de seguridad.

“El dato no solamente es un recurso más. Data as a Product implica un cambio de perspectiva en donde ya no almacenamos más datos sino la prioridad está en conectar los datos que estos se puedan usar y tengan valor”

Alianza entre ‘Data Mesh’ y ‘Data Fabric’

Este camino lleva a todos al mismo punto: descifrar nuevos canales de gestión de datos que permitan mejorar y personalizar la experiencia de usuarios redundando así en el beneficio de las empresas u organizaciones. En este contexto, conceptos como la virtualización de los datos a través de Data Fabric cobran una creciente importancia a la hora de explotar el valor de los repositorios de datos para la generación de insights de negocio. Y es que las áreas generadoras de datos conservan el control y la propiedad de los datos y metadatos. Establecer una propiedad clara de los datos es un paso vital para garantizar la calidad de los mismos. Cabe mencionar, además, que un equipo centralizado es responsable de la gobernanza, la automatización y la implementación de las políticas establecidas por los generadores de datos. Ofrece capacidades de autoservicio para que tanto los productores de datos ingieran datos a escala como para que los consumidores de datos accedan y utilicen datos a escala de manera flexible. El equipo central también trabaja para ofrecer una mejor experiencia de usuario para ambos equipos y trabaja en la puesta en funcionamiento de integraciones con diferentes herramientas de visualización, análisis y acceso a datos que utilizan los consumidores de datos. En este sentido, Data Fabric se apoya en DataOps, que toma prestados los principios de las metodologías ágiles y DevOps, aplicándolos a la ciencia de datos, la visualización de datos y los casos de uso de almacenamiento de datos. Sebastián Miranda confirma lo que ya es un pronóstico sólido: “Para 2023, el 60% de las organizaciones comenzarán a implementar programas de DataOps para reducir la cantidad de errores de análisis y datos en un 80% y aumentar la confianza en los resultados del análisis y la eficiencia de los trabajadores nativos de datos”.

Mesa ejecutiva impulsada por IDC y Foundry en colaboración con Denodo.

El hecho de que los datos se compartan ampliamente y sean accesibles a cualquier persona, en cualquier lugar, utilizando la nube, es otro factor que impulsa el valor de los datos. Para Miranda resulta “muy interesante ver los retos a los que se enfrentan las organizaciones a la hora de extraer valor de sus datos”. Entre ellos, sobre la mesa, los representantes de las organizaciones han confirmado aspectos como la cantidad de datos recolectados, cuestiones de integración, la adecuación de herramientas, preocupaciones por la privacidad o asuntos de integridad. “Cada uno de los desafíos a los que se enfrenta radiografía el estado de la empresa, más o menos madura”. En este sentido, para Miranda, “el Data Mesh permite autonomía y flexibilidad mejoradas con infraestructura y equipos descentralizados, aunque con una gobernanza centralizada o federalizando las responsabilidades de datos y empoderando a todos los que trabajan con ellos”. Sobre esto, Guillermo, representante de la CNMV, aseguraba que “lo que considero es que este tipo de arquitecturas, Data Mesh y Data Fabric, tienen la visión de acercar la parte tecnológica, hacerla fácil para el usuario de forma que el analista pueda consultar datos sin la necesidad de embarrarse en la parte técnica. Como hasta ahora la parte de negocio se había acercado a la tecnología, ahora es la tecnología la que se acerca al negocio de forma que se producen procesos más eficientes y nuevas formas de generar valor mucho más rápidas”.

A este respecto la representante de Codere, Jennifer, lanza una pregunta: si Denodo no es una herramienta de gobernanza de datos, si no es solo Data Mesh o Data Fabric, ¿qué plus aporta? Jaume, representante de Denodo, ha contestado seguro: “El valor diferencial de Denodo es nuestro approach lógico, en una idea inteligente de aprovechar lo que está aquí, lo que tenemos para resolver problemas”. El punto fuerte de Denodo reside en “una plataforma común self-service donde descubrir” acorde a las necesidades personalizadas e individuales de cada cliente; “una capa única de repositorio que simplifica N idiomas bajo una sola visión”. Al poner en duda la cuestión de la privacidad del dato, Jaume incide, “lo que una estructura Data Mesh bien llevada a términos da es agilidad en resolver los puntos de fricción que existen en el manejo de datos. Nosotros como plataforma no tratamos los datos, los vehiculamos”. “Con Denodo unificas en una sola tarea lo que antes hacías repetidamente en múltiples orígenes de datos”, concluye.