spinner

Pasos hacia el Data Mesh mínimo

Data Mesh es una aproximación muy amplia a problemas de gestión y acceso a los datos que comparten muchas grandes compañías, y tiene como objetivo principal el convertir los datos en el producto principal de la empresa. Sin embargo implica un cambio cultural difícil de abordar de golpe, por lo que debe convivir con otras aproximaciones… En este post recogemos experiencias de la industria al avanzar hacia Data Mesh, atacando problemas particulares y aportando valor paso a paso.

Data Mesh o, traducido, malla de datos, es uno de los términos de moda en grandes compañías y medios de tendencias tecnológicas, quizá por el profundo cambio que parece proponer en la visión y el rol de los datos en una compañía. Sin embargo, Data Mesh habla de muchos problemas que estas compañías ya sufren, tratando de orquestar soluciones ya conocidas para resolverlos. No se trata de una plataforma, producto o solución concretos, sino de una aproximación socio-técnica de la gestión y acceso de datos analíticos de una compañía u organización.

Si quieres saber más sobre los pilares y características de Data Mesh, puedes leer el artículo, “Data Mesh, una nueva aproximación para una arquitectura de datos transformacional”.

¿Por qué nace Data Mesh?

Tras un periodo de profunda transformación digital, muchas grandes empresas han evolucionado y se enfrentan a nuevos retos en cuanto a los datos. Donde antes había necesidad, ahora hay problemas de gestión y escalabilidad. Las grandes compañías recogen y generan gran cantidad de datos, que provienen de muchas fuentes y muy diversas. Y, en plena digitalización de todos los negocios, esta tendencia no parece que vaya a detenerse.

Estas empresas sufren la presencia de silos y desconexión entre especialistas de distintas áreas. Generan los datos desde unidades de negocio o departamentos que, en muchas ocasiones, no trabajan mano a mano con las personas que tratan y sacan valor de esos datos. Sin embargo, las aproximaciones actuales proponen un lugar gobernado y común donde guardar los datos, pero estos siguen inaccesibles de facto, desligados del conocimiento del ámbito donde se generaron.

La realidad es que, a las grandes empresas, cada vez les resulta más complicado sacar valor de sus datos de forma autosuficiente y ágil. Además, la urgencia del problema aumenta, en una situación en la que el mercado es cada vez más competitivo y requiere mucha más versatilidad y reinvención para mantenerse en la cresta de la ola.

En muchas ocasiones, si un área de negocio quiere (y es posible) utilizar los datos de otra área para un crear un nuevo servicio, en el proceso se pueden producir dos cuellos de botella: por la disponibilidad de las personas que tienen el conocimiento del contexto (del otro área de negocio), y por las que lo tienen de la explotación (expertas en datos).

Aunque no es para todos, puede que te ayude

En el aspiracional de Data Mesh, definido en sus principios (responsabilidad federada en dominios de negocio independientes y autosuficientes y el dato como producto), lo que parece menos transformacional es la evolución tecnológica.

Ese aspiracional no es para cualquier empresa u organización, responde a problemas de compañías que trabajan con gran cantidad de datos y que han evolucionado y crecido en cuanto a su estructura. Además, los problemas expuestos, aunque ya estén presentes en este tipo de organizaciones y sea importante atajarlos, no siempre resultan urgentes en su contexto actual.

Si una gran compañía que trabaja con datos, aún no ha disponibilizado modelos de inteligencia artificial en producción, es probable que los problemas de gobierno o responsabilidad sobre los datos aún no tengan la suficiente urgencia o impacto.

Sin embargo, si algunos de los problemas descritos, aplican a tu compañía u organización, no te vayas aún. Es cierto que el aspiracional de Data Mesh implica cambios profundos, pero los sub-problemas enfrentados por ese aspiracional si pueden solucionarse con una visión más adyacente. Para poder avanzar en la democratización del dato o en su gobierno y resolver problemas que las empresas tienen actualmente, no es necesario abordar todos los aspectos que toca Data Mesh.

Aproximación cultural vs. Aproximación técnica

De hecho, las grandes compañías que abordan los cambios propuestos por Data Mesh, no lo hacen repensando todos sus procesos y la forma en la que las unidades de la compañía se relacionan, sino proponiendo soluciones lo más adyacentes posibles a problemas con mucho impacto.

Primer problema atacado: EL descubrimiento de datos

Spotify

Spotify a pesar de tener cantidades ingentes de datos disponibles para el uso de sus distintos perfiles (data scientists, analytics, user researchers, etc.) se encontraba con un bajo uso de los mismos.

Su aproximación al problema fue el entender por qué no estaban usándose sus datos y qué barreras se encontraban estos usuarios de datos. En base a esto, construir una plataforma que pudiesen adaptar a las necesidades de estas problemáticas.

El primer problema era que sus usuarios de analítica no eran capaces de encontrar o descubrir datos que aplicasen a su problemática. Para ello, a parte de un buscador potente, comenzaron a recomendar datasets que dentro de la compañía eran populares, que habían sido usados hace poco o que tu mismo equipo ya empleaba. También habilitaron la búsqueda de datasets que eran usados por una persona específica.

Una vez que los usuarios son capaces de encontrar los datos, la barrera inmediata con la que se encontraban era el cómo se podían o debían usar esos datos. Se trabajó en mejorar y ampliar metadatos como la descripción de los campos, los campos más usados o enlaces de interés a información de procesos relacionados con el dato. Pero se dieron cuenta de por mucho trabajo que se emplease en los metadatos iba a ser necesario el contacto humano por lo que para los distintos datasets enlazaron expertos en esos datos concretos a los que poder contactar o consultar. Otra de las medidas que mejor recibimiento tuvo fue el incluir consultas previas usadas habitualmente sobre el dataset a modo de información.

Todas estas medidas que fueron introduciendo tenían un foco claro en la mejora de la experiencia de los usuarios de esos datos y para poder evaluar sus esfuerzos incluyeron un sistema completo de métricas para identificar los puntos de mejora. Actualmente un 95% de sus usuarios de datos emplean estas herramientas para descubrir los datos.

El segundo: Gobierno y ownership de los datos

Saxo Bank: Democratización y responsabilidad federada

Saxo Bank cree haber encontrado la clave para optimizar los procesos de negocio pensando en los datos como producto y federando la propiedad de los datos. El objetivo clave es reducir continuamente la barrera de entrada a la democratización de los datos a través del autoservicio y la automatización.

Quieren conseguir que los equipos comerciales adjunten más metadatos a estos productos de datos, como las reglas de calidad de los datos y los resultados de ejecución, lo que aumentará la confianza y la confiabilidad de los datos sin requerir un gran esfuerzo por parte de un equipo central.

ABN AMRO: Autoservicio y datos como producto

ABN AMRO Bank implementa gran cantidad de capacidades de administración de datos en una única capa lógica, para seguridad, observabilidad, descubrimiento, enlace y vinculación, monitorización de calidad, orquestación, notificaciones, etc.

Han creado un data marketplace que sirve de portal autoservicio para mostrar los datos que están disponibles. Es un portal central para acceder rápidamente a los datos. Muestra la calidad, propiedad y linaje de los datos y permite demostrar el cumplimento interno y externo.

JPMC: Datos como producto y responsabilidad federada

JPMorgan Chase & Co está adoptando un enfoque. En primer lugar, mediante la definición de productos de datos, curados por personas que los entienden y conocen sus requisitos de gestión, usos permitidos y limitaciones. En segundo lugar, aplicando una arquitectura Data Mesh que permite alinear la tecnología y servicios de datos con los productos de datos definidos, consiguiendo lo siguiente:

  • Permitir a los propietarios de los productos de datos tomar decisiones de gestión y uso de sus datos.
  • Hace cumplir esas decisiones compartiendo los datos, en lugar de copiándolos.
  • Proporciona una clara visibilidad de dónde y quién comparte los datos en toda la empresa.

 

¿Problema solucionado?

Como se puede identificar en los ejemplos, las grandes empresas enumeradas ya operaban con datos, y por ello han identificado algunos de los problemas que Data Mesh intenta solucionar. Y aunque han elaborado servicios y soluciones ad-hoc a su contexto y su problemática, también podemos comprobar que, al menos de momento, sus soluciones se centran en la parte más adyacente, la parte tecnológica.

Aunque está parece ser la estrategia a seguir para avanzar en los problemas planteados, y la que más valor aporta en el corto plazo, no debemos olvidar que el cambio cultural debe darse para alcanzar el aspiracional, pero siempre en base a la necesidad de la organización.

Por último, como hemos visto, Data Mesh es una aproximación común a determinados problemas que suelen darse de forma conjunta. Sin embargo, a la hora de aplicar Data Mesh, debemos entender los problemas urgentes con los datos y avanzar en el camino hacia el modelo aspiracional que encaje con la estrategia de nuestra organización, atacándolos uno a uno y de forma orquestada.

Fuente de la imagen: Pexel

Las opiniones vertidas por el autor son enteramente suyas y no siempre representan la opinión de BBVA Next Technologies.

¿Quieres saber que más cosas hacemos en BBVA Next Technologies?