¿Qué es el data mesh?
El data mesh es un enfoque de la gestión de datos que utiliza un marco arquitectónico distribuido.
Resumen sobre data mesh
El data mesh representa una nueva forma de buscar información. Nace del creciente concepto de que los datos son un producto en sí mismos, una herramienta, un medio para alcanzar un fin –no simplemente algo que las empresas recopilan y luego analizan en un intento retrospectivo por comprender cosas que ya han ocurrido–.
Definición de data mesh
El data mesh es un enfoque de la gestión de datos que utiliza un marco arquitectónico distribuido. En otras palabras: extiende en todo el negocio la propiedad y responsabilidad sobre data sets específicos hasta aquellos usuarios que tienen expertise de especialista para comprender qué significan esos datos y cómo hacer el mejor uso de ellos.
La arquitectura de data mesh conecta y extrae datos provenientes de distintas fuentes, tales como data lakes y almacenes de datos, y distribuye los data sets relevantes hacia los expertos humanos y equipos de dominio adecuados de toda la empresa. Básicamente, una voluminosa mezcla de datos en un data lake central se clasifica y distribuye en partes manejables entre quienes pueden comprenderlos y aprovecharlos mejor.
Principios del data mesh para abordar los desafíos del data lake
Cuando hablamos de data lakes y data mesh, básicamente hablamos de Big Data. Lo que hace que los datos sean Big Data no es simplemente su gran volumen. Entre otros criterios, Big Data también se define por ser complejo, variable, rápidamente generado y no estructurado.
Una base de datos lineal es como una hoja de cálculo: tiene columnas y filas y categorías inmutables donde deben encajar todos los componentes de datos. Algunos de los datos generados a partir de maquinaria, sensores y fuentes industriales están estructurados y encajan perfectamente en una base de datos lineal. Sin importar el volumen de datos con el que deba lidiar, si están 100% estructurados no cumplen con los criterios de Big Data, y se los puede alojar en una base de datos lineal, lo cual hace que sea relativamente sencillo filtrarlos y extraerlos.
Pero cada vez más, el Big Data moderno no está estructurados y consiste en componentes visuales, texto libre, e incluso video y medios enriquecidos. Estos datos cruciales pueden comprender miles de terabytes de información para muchas empresas, y es imposible almacenarlos en una base de datos lineal estándar.
Ingrese al data lake. A medida que los volúmenes de Big Data comenzaron a aumentar, los data lakes se desarrollaron como un lugar donde los datos complejos podían almacenarse y usarse desde un repositorio central en su formato sin procesar. Si bien los data lakes representan una solución excelente al problema de Big Data, también tienen debilidades. Carecen de ciertas características analíticas, así que dependen de otros servicios para las funcionalidades de recuperación, indexación, transformación, consulta y analíticas. Desde el punto de vista de la gestión del negocio, los data lakes también presentan tres desafíos adicionales:
1. Propiedad compleja Es complejo definir la propiedad de un data lake cuando muchos operadores generan y acceden a los datos. Ante la falta de roles y responsabilidades claramente definidos, el mismo data set puede ser gestionado de forma diferente por distintas áreas, creando inconsistencias que dificultan su uso. Del mismo modo, otros datos terminan siendo descuidados cuando no los gestionan activamente quienes en última instancia los van a utilizar. La arquitectura de data mesh garantiza que la gobernanza de datos se distribuya claramente por dominio, para que cada equipo o experto controle los datos que produce y utiliza. Para respaldar esto, los data mesh también usan una estructura de gobernanza federada a fin de habilitar el control central del modelado de datos, las políticas de seguridad y el compliance.
2. Calidad de los datos Los data lakes pueden no garantizar la calidad de los datos cuando su volumen se torna demasiado grande o los administradores centrales no los entienden. La arquitectura de data mesh trata a los datos fundamentalmente como un producto valioso, lo cual pone su calidad e integridad a la vanguardia de la gestión de datos. Es de suponer que cada equipo conoce los criterios y cuestiones más importantes que desea extrapolar a partir de los datos que recopila. Integrando estos criterios y prioridades dentro de la arquitectura, el data mesh puede ayudar a garantizar la entrega continua y priorizada de datos depurados, actualizados y completos, incluso si hay involucrados data sets más grandes. Y, por supuesto, cuando se aplican algoritmos de machine learning, estos criterios y data sets resultantes se vuelven cada vez más precisos y útiles con el tiempo.
3. Cuellos de botella Los data lakes pueden crear cuellos de botella debido a su arquitectura centralizada y a los tradicionalmente difíciles protocolos y procesos de recuperación. Esto normalmente significa que el control de una gran cantidad de datos consolidados se reduce a un único equipo de TI o de gestión de datos. Y a medida que los volúmenes de datos (y la demanda de recuperación) aumentan, estos equipos de TI se ven sobrecargados.
Además, los datos deben ser revisados y estructurados correctamente para garantizar el compliance y la adhesión a los principios de gobernanza de datos. Cuando se enfrenta demasiada presión, puede haber una tendencia a apurar estas etapas de compliance, lo cual genera potenciales riesgos y pérdidas para la empresa. Por otro lado, la arquitectura de data mesh brinda acceso y control a usuarios especializados autorizados que tienen un mayor interés en los datos –todo a la vez que se emplean protocolos de seguridad estrictos e integrados–.
Los principios del data mesh surgieron como respuesta directa a estos crecientes desafíos de los data lakes. La arquitectura de gestión de datos descentralizada y democratizada ha hecho que las empresas sean más inteligentes, ágiles y precisas al garantizar que los datos correctos estén disponibles inmediatamente para las personas correctas, donde y cuando los necesiten. El data mesh hace que los datos como producto sean una realidad concreta, reduciendo barreras y priorizando el valor de la información para que los equipos puedan obtener un acceso más rápido y sin obstáculos a los datos esenciales.
Explicación de la arquitectura de data mesh
Hemos analizado por qué el data mesh es una forma descentralizada de arquitectura de datos que los trata como una herramienta esencial para la gestión del negocio. Y, lo que es más importante, equipos independientes son responsables de gestionar los datos dentro de sus ámbitos de trabajo y expertise, garantizando a la vez el compliance de las prácticas de gestión determinadas centralmente. Este cambio de mentalidad está en el centro del data mesh.
Para comprender mejor cómo se logra esto, podemos ver la arquitectura de data mesh como si tuviera tres componentes principales:
1. Las fuentes de datos representan el repositorio (como un data lake) dentro del cual se alimentan los datos brutos primarios. Ya sea que se recopilen desde redes de IIoT en la nube, formularios de feedback del cliente o información web descartada, estos son datos brutos de entrada que serán referidos y procesados por usuarios de toda la red según sea necesario. Mientras que un enfoque de data lake canalizaría todos estos datos dentro de una sola ubicación central, la metodología del data mesh, en cambio, distribuye entre una serie de dominios la responsabilidad por la admisión, almacenamiento, procesamiento y extracción de esos datos brutos.
2. La infraestructura de data mesh implica que la información no solo se aísla dentro de dominios departamentales individuales, sino que también se puede compartir a voluntad dentro la red operativa de la organización y, al mismo tiempo, seguir cumpliendo con las directrices establecidas para la gobernanza de datos. Esto es resultado directo de dos de los pilares clave del data mesh: una plataforma de datos por autoservicio y gobernanza federada. La plataforma de datos por autoservicio brinda las herramientas e infraestructura necesarias para que cada dominio ingiera, transforme, procese y presente universalmente sus datos. Por su parte, los principios de gobernanza federada garantizan la estandarización en toda la organización, lo cual habilita una interoperabilidad de los datos sin esfuerzo entre todos los equipos de dominios.
3. Los propietarios de datos son el componente final de un data mesh, responsables de aplicar los protocolos de compliance, gobernanza y categorización a los datos de sus departamentos. Por ejemplo, los archivos de RR. HH. deben almacenarse bajo determinados protocolos de seguridad, no deben utilizarse para ciertos fines, y solo deben liberarse para personas específicas. Por supuesto, cada departamento tendrá categorías y tipos de datos específicos para su función o propósitos. En un sistema de data lake, los equipos de TI deben lidiar con todos esos diferentes protocolos y categorías para todos los diferentes propietarios de datos que han volcado cosas en el data lake. Por el contrario, la arquitectura del data mesh otorga a los propietarios de dominio plena autoridad y control sobre estos asuntos porque no hay nadie mejor que los expertos del área temática para gestionar sus propios datos y garantizar que cumplan con los estándares de calidad.
Data mesh en la práctica: quién lo utiliza y por qué
Para que las soluciones de gestión de datos evolucionen y sean más exitosas, deben ser utilizables y relevantes para una amplia gama de aplicaciones y operaciones. A medida que la arquitectura de data mesh y la facilidad de uso mejoran, vemos una mayor gama de funciones de negocios que se pueden optimizar con un enfoque seguro y distribuido sobre los datos como producto y herramienta.
Estos son algunos casos de uso de negocio comunes:
Ventas: para los equipos de ventas, todo se reduce a adquirir, nutrir y cerrar leads. Cuanto más tiempo estén los miembros de su equipo de ventas en el escritorio realizando tareas administrativas, menos tiempo tendrán para establecer relaciones con nuevos clientes. Con la arquitectura de data mesh, estos usuarios no necesitan ser expertos en gestión ni en recuperación de datos para tener al alcance de su mano los data sets y combinaciones más potentes y relevantes. Cuando los departamentos de ventas tienen todos los datos correctos para analizar, ello se traduce en información y estrategias más accionables.
Cadena de suministro y logística: las cadenas de suministro modernas son vulnerables a una enorme variedad de disrupciones. Surge una ventaja competitiva cuando las empresas pueden pivotar rápido y responder tanto a amenazas como a oportunidades con la misma agilidad. Los datos de la cadena de suministro global de hoy llegan en gran cantidad y muy rápido –provenientes del feedback del cliente, redes de IIoT y gemelos digitales, entre otros–. Cuando gerentes de la cadena de suministro experimentados y expertos son capaces de seleccionar y ahondar en tiempo real en cualquiera de esos data sets, las empresas obtienen una poderosa fuente de información estratégica y conocimiento.
Fabricación: como parte de la cadena de suministro, las operaciones de fabricación de una empresa son igualmente vulnerables a los rápidos cambios en el mercado y a las volátiles demandas del cliente. En el pasado, los equipos de diseño y de I+D debían confiar en los datos históricos de los clientes, alimentados por otros departamentos. Hoy, el data mesh brinda acceso a datos en vivo a los usuarios que están detrás del tablero de diseño, a los equipos de I+D y de prueba, y a lo largo de todo el camino hasta la planta de fabricación. El feedback del cliente en tiempo real puede fundamentar el desarrollo de productos al instante, y la inteligencia actualizada al minuto desde redes de IIoT, así como las simulaciones digitales, ayuda a las fábricas a operar de manera más segura, rápida y eficiente.
Marketing: hoy, las demandas y expectativas del cliente están dando forma al futuro, y cambian y crecen a un ritmo sin precedentes. Una sola marca generalmente tiene innumerables puntos de contacto con el consumidor en redes sociales, anuncios digitales dirigidos, y portales de compras on-line y omnicanal. El mercado actual ve un creciente deseo de una personalización rápida, ciclos de vida de producto más cortos, y altos niveles de elección y competencia. Para comprender y aprovechar estas tendencias, los profesionales de marketing modernos deben tener acceso simultáneo y en tiempo real a una amplia variedad de data sets. En el pasado, esto implicaba solicitarlos (y esperarlos) de otros departamentos. Sin embargo, con una configuración de data mesh, los profesionales de marketing pueden seleccionar y acceder a estos datos en el momento, bajo sus propios términos.
Recursos humanos: los equipos de RR. HH. deben gestionar grandes cantidades de datos sumamente complejos y sensibles. Y dada la tendencia creciente hacia los lugares de trabajo remotos e híbridos, esos datos se complejizan y diversifican geográficamente todos los días. Por no mencionar el siempre cambiante conjunto de cuestiones legales y de compliance sobre las cuales los equipos de RR. HH. deben estar al tanto con mucha urgencia. Desde la contratación hasta la jubilación, los líderes de RR. HH. deben ser capaces de validar, evaluar y analizar algunos de los data sets más dispares de cualquier organización. La arquitectura de data mesh habilita los protocolos de seguridad adecuados y un acceso estrictamente restringido –al mismo tiempo que hace posible que los usuarios autorizados de RR. HH. obtengan datos e información de forma rápida y sin depender de complejos protocolos internos y burocracia multidepartamental–.
Finanzas: al igual que en RR. HH., los equipos de finanzas y contabilidad también son responsables de datos sumamente cruciales y sensibles. Los sistemas de ERP modernos revolucionan las finanzas utilizando tecnología de base de datos in-memory para personalizar informes, análisis y proyecciones actualizados al momento. Sin embargo, incluso si utilizan las mejores bases de datos y sistemas de ERP, los equipos financieros suelen seguir enfrentando obstáculos porque están plagados de culturas antiguas y rígidas, silos pesados, y procesos burocráticos de la vieja escuela. La arquitectura de data mesh supone un cambio fundamental en la forma de analizar y gestionar los datos financieros –e incluso puede remover ideas estancadas cuando los equipos tienen oportunidad de poseer y revisar sus propios procesos de datos desactualizados–.
Está claro que el data mesh no es solo otra palabra de moda sino una tendencia de la estrategia de datos que debe tomarse en serio. Empresas de todos los tamaños e industrias están usando el data mesh en su búsqueda de formas de usar los datos para crear información estratégica y valor.
Beneficios del data mesh
En el pasado, las bases de datos heredadas y las limitadas infraestructuras para gestión de datos contribuían a la sensación de que los datos debían mantenerse en una única bóveda y ser medidos a discreción por unos pocos gerentes de datos. Ahora, los datos son el combustible que impulsa su negocio, y se deben brindar libremente a aquellos especialistas en temas que mejor saben cómo hacer que funcionen e impulsen ganancias en tiempos competitivos.
Las principales ventajas de la arquitectura de data mesh se pueden resumir en:
Mayor accesibilidad a los datos. El data mesh garantiza que todo el personal correcto de toda su organización pueda acceder a los datos que necesita –para alcanzar el mejor desempeño en su trabajo–.
Capacidades analíticas mejoradas. Cuando los datos se consideran un producto que se debe utilizar todos los días, los equipos empiezan a adoptar un enfoque data-first para planificación y estrategia. Esto conduce a una reducción de los errores y a un enfoque más objetivo y menos orientado a la opinión sobre el desarrollo del negocio.
Procesos y pipelines de datos personalizables. Muchos de los mejores y potencialmente más rentables proyectos se archivan debido a la enorme molestia de seleccionar los data sets específicos y personalizados que se necesitan para lograr el éxito. Con un data mesh, los equipos pueden acceder y probar rápido nuevos modelos de proyecto sin la tradicional pérdida de tiempo y recursos.
Se pueden reducir los cuellos de botella. Esta es un beneficio obvio tanto para los equipos de TI como para los propietarios de datos. Además, reduciendo una fuente de frustración e irritación, las empresas pueden ayudar a eliminar los silos que obstaculizan el desarrollo saludable del negocio.
Tensión reducida sobre los equipos centrales de gestión de datos. Esto significa no solo reducir retrasos y frustración, sino también liberar innumerables horas para que sus talentosos equipos de TI se dediquen a actividades más especializadas, interesantes y rentables
Preguntas frecuentes sobre el data mesh
Soluciones de SAP para datos y analíticas
Identifique, analice y transforme los datos más relevantes en todo su negocio.
Ideas que no encontrará en ningún otro lugar
Regístrese para recibir una dosis de business intelligence directamente en su bandeja de entrada.