¿Qué es la malla de datos?
Esta página web se ha traducido automáticamente para su comodidad. SAP no proporciona ninguna garantía con respecto a la exactitud o integridad de la traducción automática. La página web original en inglés se puede encontrar utilizando el mapa mundial en la esquina superior derecha de esta página.
La malla de datos representa una nueva forma de ver la información. Nace del concepto creciente de que los datos son en realidad un producto, una herramienta, un medio para lograr un fin, no solo algo que las empresas reúnen y analizan más adelante en un intento retrospectivo de comprender cosas que ya han ocurrido.
Definición de malla de datos
La malla de datos es un enfoque de la gestión de datos que utiliza un marco arquitectónico distribuido. En otras palabras: extiende la propiedad y la responsabilidad de conjuntos de datos específicos en toda la empresa, a aquellos usuarios que tienen la experiencia de especialista para comprender qué significa esos datos y cómo hacer el mejor uso de ellos.
La arquitectura de malla de datos conecta y extrae datos de varias fuentes, como lagos de datos y almacenes, y distribuye los conjuntos de datos relevantes a los expertos humanos y equipos de dominio adecuados en toda la empresa. Básicamente, un voluminoso intercambio de datos en un lago de datos central se clasifica y distribuye en fragmentos manejables a los más adecuados para comprenderlos y aprovecharlos.
Principios de malla de datos para los desafíos del lago de datos
Cuando hablamos de lagos de datos y malla de datos, estamos hablando esencialmente de Big Data. Lo que hace que los datos sean "grandes" no es simplemente su gran volumen. Entre otros criterios, Big Data también se define por ser complejo, variable, generado rápidamente y no estructurado.
Una base de datos lineal es como una hoja de cálculo: tiene columnas y filas y categorías inmutables en las que deben caber todos los componentes de datos. Algunos de los datos generados a partir de maquinaria, sensores y fuentes industriales están estructurados y encajan perfectamente en una base de datos lineal. Independientemente del volumen de datos con el que tenga que lidiar, si está estructurado al 100%, no cumple con los criterios de Big Data y puede alojarse en una base de datos lineal, lo que hace que filtrar y extraer sea relativamente sencillo.
Pero cada vez más, los Big Data modernos no están estructurados y consisten en componentes visuales, texto abierto e incluso video y medios ricos. Estos datos cruciales pueden constar de miles de terabytes de información para muchas empresas, y simplemente no se pueden almacenar en una base de datos lineal estándar.
Introduzca el lago de datos. A medida que los volúmenes de Big Data comenzaron a aumentar, los lagos de datos se desarrollaron como un lugar en el que los datos complejos podían ser almacenados y accedidos desde un repositorio central en su formato crudo. Aunque los lagos de datos representan una solución excelente para el problema de los Big Data, tienen debilidades. Los lagos de datos carecen de ciertas características analíticas, lo que los hace dependientes de otros servicios para la recuperación, indexación, transformación, consultas y funcionalidad analítica. Y desde el punto de vista de la gestión empresarial, los lagos de datos también presentan tres desafíos adicionales:
1. La propiedad de los lagos de datos es compleja para definir cuándo demasiados jugadores generan y acceden a los datos. A falta de roles y responsabilidades claramente definidos, el mismo conjunto de datos puede ser gestionado de forma diferente por diferentes partes, lo que crea inconsistencias que dificultan su uso. Del mismo modo, otros datos terminan siendo descuidados cuando no son gestionados activamente por quienes finalmente lo utilizarán. La arquitectura de malla de datos garantiza que el control de datos se distribuya claramente por dominio para que cada equipo o experto en dominios controle los datos que producen y utilizan. Para respaldar esto, las mallas de datos también usan una estructura de control federada para permitir también el control central del modelado de datos, las políticas de seguridad y el cumplimiento.
2. Los lagos de datos pueden fallar al garantizar la calidad de los datos cuando el volumen de datos se vuelve demasiado grande o cuando los propios gestores de datos centrales no los comprenden. La arquitectura de malla de datos trata fundamentalmente los datos como un producto valioso, lo que pone la calidad e integridad de los datos en la vanguardia de la gestión de datos. Presumiblemente, cada equipo conoce los criterios y cuestiones más importantes que desean extrapolar a partir de los datos que están recopilando. Al integrar estos criterios y prioridades en la arquitectura, la malla de datos puede ayudar a garantizar la entrega continua y priorizada de datos limpios, frescos y completos, incluso cuando hay conjuntos de datos más grandes involucrados. Y, por supuesto, cuando se aplican algoritmos de machine learning, estos criterios y conjuntos de datos resultantes se vuelven cada vez más precisos y útiles con el tiempo.
3. Los lagos de datos pueden crear cuellos de botella debido a su arquitectura centralizada y a los protocolos y procesos de recuperación de datos tradicionalmente difíciles. Esto normalmente significa que el control de una gran cantidad de datos consolidados se reduce a un único equipo de TI o de gestión de datos. Y, a medida que aumentan los volúmenes de datos (y la demanda de su recuperación), estos equipos de TI se ven sobregravados.
Además, los datos deben revisarse y estructurarse adecuadamente para garantizar el cumplimiento y el cumplimiento de los principios de control de datos. Cuando se enfrenta a una presión indebida, puede haber una tendencia a pasar apresuradamente por estas etapas de cumplimiento, lo que genera riesgos potenciales y pérdidas para la empresa. La arquitectura de malla de datos, por otro lado, da acceso y control a los usuarios especializados autorizados que tienen un mayor interés en los datos –todo mientras emplea protocolos de seguridad estrictos y concentrados–.
Los principios de malla de datos surgieron en respuesta directa a estos crecientes desafíos del lago de datos. La arquitectura de gestión de datos descentralizada y democratizada ha hecho que las empresas sean más inteligentes, ágiles y precisas asegurando que los datos correctos estén disponibles inmediatamente para las personas adecuadas, donde y cuando los necesiten. La malla de datos hace de los datos como producto una realidad real, reduciendo las barreras y priorizando el valor de la información para que los equipos puedan obtener un acceso más rápido y sin obstáculos a los datos esenciales.
Arquitectura de malla de datos explicada
Hemos analizado cómo la malla de datos es una forma descentralizada de arquitectura de datos que trata los datos como una herramienta de gestión empresarial esencial. Y, lo que es más importante, los equipos independientes son responsables de manejar los datos dentro de sus dominios de trabajo y experiencia, al tiempo que garantizan el cumplimiento de las prácticas de gestión de datos determinadas centralmente. Este cambio de mentalidad está en el centro de la malla de datos. Para comprender mejor cómo se logra esto, podemos ver que la arquitectura de malla de datos tiene tres componentes principales:
1. Las fuentes de datos representan el repositorio (como un lago de datos) en el que se introducen los datos primarios sin procesar. Ya sea que se recopile a partir de redes IIoT en la nube, formularios de comentarios de clientes o datos web desguazados, estos son los datos de entrada sin procesar que serán referenciados y procesados según lo necesiten los usuarios en toda la red. Mientras que un enfoque de data lake canalizaría todos estos datos en un solo lugar central, la metodología de malla de datos en su lugar distribuye la responsabilidad de la ingesta, el almacenamiento, el procesamiento y la extracción de estos datos sin procesar dentro de una serie de dominios responsables.
2. La infraestructura de malla de datos significa que esta información no solo está aislada dentro de dominios departamentales individuales, sino que también se puede compartir a voluntad a través de la red operativa de la organización, sin dejar de cumplir con las pautas de control de datos establecidas. Este es un resultado directo de dos de los pilares clave de la malla de datos: una plataforma de datos de autoservicio y una gobernanza federada. La plataforma de datos de autoservicio proporciona las herramientas y la infraestructura que necesita cada dominio para ingerir, transformar, procesar y servir universalmente sus datos. Mientras tanto, los principios de control federados aseguran la estandarización en toda la organización, lo que permite una interoperabilidad sin esfuerzo de los datos entre todos los equipos de dominio.
3. Los propietarios de datos son el componente final de una malla de datos y son responsables de aplicar los protocolos de cumplimiento, control y categorización para los datos de sus departamentos. Por ejemplo, los archivos de RR. HH. deben almacenarse utilizando ciertos protocolos de seguridad, no deben utilizarse para este fin o para ese fin, solo deben liberarse para una persona de primera necesidad. Por supuesto, cada departamento tendrá categorías y tipos de datos únicos para su departamento o propósitos. En un sistema de data lake, los equipos de TI deben lidiar con todos estos diferentes protocolos y categorías para todos los diferentes propietarios de datos que han volcado cosas al lago. Mientras que la arquitectura de malla de datos otorga a los propietarios de dominios plena autoridad y control sobre estos asuntos porque, una vez más, quién es mejor que los expertos en áreas para gestionar sus propios datos y asegurarse de que cumplen con las normas de calidad.
Malla de datos en la práctica: quién los utiliza y por qué
Para que las soluciones de gestión de datos evolucionen y se conviertan en más exitosas, deben ser utilizables y relevantes para una amplia gama de aplicaciones y operaciones. A medida que mejoran la arquitectura de malla de datos y la facilidad de uso, vemos una mayor gama de funciones empresariales que se pueden mejorar con un enfoque seguro y distribuido de los datos como producto y herramienta.
Estos son algunos casos de uso de negocio comunes:
- Ventas: para los equipos de ventas, todo se reduce a adquirir, nutrir y cerrar leads. Cuanto más tiempo pasan los miembros de su equipo de ventas en sus mesas realizando tareas administrativas, menos tiempo tienen para construir relaciones con nuevos clientes. Con la arquitectura de malla de datos, los usuarios del equipo de ventas no necesitan ser expertos en gestión de datos y recuperación para tener los conjuntos de datos y combinaciones más potentes y relevantes al alcance de su mano. Cuando los departamentos de ventas tienen todos los datos correctos para analizar, se traduce en información estratégica y estrategias más accionables.
- Cadena de suministro y logística: las cadenas de suministro modernas son vulnerables a una enorme gama de disrupciones. Se obtiene una ventaja competitiva cuando las empresas pueden pivotar rápidamente y responder tanto a las amenazas como a las oportunidades con la misma agilidad. Los datos de la cadena de suministro global de hoy están llegando en forma gruesa y rápida –desde feedback del cliente, hasta redes IIoT y gemelos digitales–. Cuando los gerentes de la cadena de suministro experimentados y expertos son capaces de curar y profundizar en cualquiera de esos conjuntos de datos en tiempo real, las empresas obtienen una poderosa fuente de información estratégica y perspicacia.
- Fabricación: como parte de la cadena de suministro, las operaciones de fabricación de una empresa son igualmente vulnerables a los rápidos cambios del mercado y a las demandas volátiles de los clientes. En el pasado, los equipos de diseño e I+D tenían que confiar en los datos históricos de los clientes, alimentados por otros departamentos. Hoy en día, la malla de datos trae acceso en vivo a los usuarios detrás de la mesa de redacción, en los equipos de I+D y pruebas, y hasta la planta de fabricación. El feedback del cliente en tiempo real puede informar el desarrollo del producto de forma instantánea y actualizada al minuto a partir de redes IIoT y las simulaciones digitales puede ayudar a las fábricas a operar de manera más segura, rápida y eficiente.
- Marketing: en la actualidad, las demandas y expectativas de los clientes están dando forma al futuro y cambiando y creciendo a un ritmo sin precedentes. Una sola marca normalmente tiene innumerables puntos de contacto con el consumidor en las redes sociales, anuncios digitales dirigidos y portales de compra online y omnicanal. El mercado actual ve el creciente deseo de una personalización rápida, ciclos de vida de productos más cortos y enormes niveles de elección y competencia. Para comprender y aprovechar estas tendencias, los profesionales de marketing modernos deben tener acceso simultáneo y en tiempo real a una amplia variedad de conjuntos de datos. En el pasado, esto significaba solicitar (y esperar) estos datos de otros departamentos. Sin embargo, con una configuración de malla de datos, los profesionales de marketing pueden seleccionar y acceder a estos datos en el momento, bajo sus propios términos.
- Recursos humanos: Los equipos de RR. HH. deben gestionar grandes cantidades de datos extremadamente complejos y confidenciales. Y con la creciente tendencia hacia lugares de trabajo remotos e híbridos, esos datos se están volviendo cada día más complicados y geográficamente diversos. Por no hablar del siempre cambiante conjunto de problemas legales y de cumplimiento regulatorio que los equipos de RR. HH. deben abordar con tanta urgencia. Desde la contratación hasta la jubilación, los líderes de RR. HH. deben poder validar, evaluar y analizar algunos de los conjuntos de datos más ampliamente dispares de cualquier organización. La arquitectura de malla de datos permite los protocolos de seguridad adecuados y un acceso estrictamente restringido, mientras que, al mismo tiempo, permite a los usuarios autorizados de RR. HH. acceder a datos e información rápidamente y sin depender de protocolos internos complejos y burocracia multidepartamental.
- Finanzas: al igual que con RR. HH., los equipos de finanzas y contabilidad también son responsables de datos sumamente cruciales y confidenciales. Los sistemas ERP modernos están revolucionando las finanzas, utilizando tecnología de base de datos in-memory para personalizar informes, análisis y proyecciones actualizados. Sin embargo, incluso cuando los equipos financieros utilizan las mejores bases de datos y ERP, a menudo siguen enfrentándose a obstáculos debido a que están plagados de culturas duraderas y rígidas, fuertes silos y procesos burocráticos de la vieja escuela. La arquitectura de malla de datos trae un cambio fundamental en la forma en que se miran y gestionan los datos financieros –e incluso puede agitar el pensamiento estancado que puede ocurrir cuando los equipos tienen la oportunidad de poseer y revisar sus propios procesos de datos antiguos–.
Más que una exageración: la malla de datos como un nuevo enfoque para aumentar la agilidad en la creación de valor a partir de los datos.
La frase anterior se toma de una reciente serie de blogs “Give Data Purpose Weekly”, donde los expertos comparten consejos y trucos de conversaciones sobre estrategia de datos del cliente sobre la práctica de usar datos dentro de los procesos de negocio y casos de uso para crear información estratégica y valor. Está claro que la malla de datos no es solo otra palabra de moda y es una tendencia de estrategia de datos que debe tomarse en serio. La malla de datos se explora en este blog de la serie y examina cómo las empresas de todos los tamaños e industrias están actualmente alertadas sobre el tema de la malla de datos para crear valor de negocio a partir de los datos.
Beneficios de la malla de datos
En el pasado, las bases de datos heredadas y las limitadas infraestructuras de gestión de datos han contribuido a la sensación de que los datos se conservan en una única bóveda y se elaboran a discreción de unos pocos gestores de datos. Ahora, los datos son el combustible que impulsa su negocio, y deben entregarse libremente a aquellos especialistas que mejor sepan cómo hacerlo funcionar e impulsar ganancias en tiempos competitivos. Las principales ventajas de la arquitectura de malla de datos se pueden resumir como:
- Mayor accesibilidad de los datos. La malla de datos garantiza que todas las personas adecuadas de su organización puedan acceder a los datos que necesitan –para ser la mejor en su trabajo–.
- Capacidades analíticas mejoradas. Cuando los datos se consideran un producto que se utilizará todos los días, los equipos empiezan a adoptar un enfoque de planificación y estrategia centrados en los datos. Esto conduce a una reducción de los errores y a un enfoque más objetivo y menos orientado a la opinión sobre el desarrollo de las empresas.
- Procesos y pipelines de datos personalizables. Muchos de los mejores y potencialmente más rentables proyectos se archivan debido a la enorme molestia de curar los conjuntos de datos únicos y personalizados necesarios para lograr el éxito. Con una malla de datos, los equipos pueden acceder rápidamente y probar nuevos modelos de proyecto sin la tradicional pérdida de tiempo o recursos.
- Los cuellos de botella se pueden reducir. Esta es una victoria obvia tanto para los equipos de TI como para los propietarios de datos.Además, al reducir una fuente de frustración e irritación, las empresas pueden ayudar a eliminar los silos que obstaculizan un desarrollo empresarial saludable.
- Reducción de la presión sobre los equipos centrales de gestión de datos. Esto significa no solo reducir los retrasos y la frustración, sino también liberar innumerables horas para que sus equipos de TI talentosos se dediquen a actividades más especializadas, interesantes y rentables
Soluciones de datos y analíticas de SAP
Identifique, analice y transforme los datos más relevantes en toda su empresa.
Preguntas frecuentes sobre la malla de datos
En su núcleo, la democratización de los datos consiste en resolver los desafíos de datos a los que se enfrentan las personas en su trabajo diario. En este blog se enumeran más detalles sobre la definición, los principios y cómo ayudar a los empleados a sentirse cómodos al hacer preguntas relacionadas con datos y obtener respuestas.
Interoperabilidad se define como la capacidad de un sistema o producto para trabajar con otros sistemas o productos sin esfuerzo especial por parte del usuario. Techtarget añade que ayuda a las organizaciones a lograr una mayor eficiencia y una visión más holística de la información y los datos. Para obtener información más detallada, esta lección Open MOOC proporciona los aspectos básicos de la interoperabilidad de datos, así como los diferentes tipos y capas de interoperabilidad de datos.
La malla de datos y la estructura de datos son enfoques arquitectónicos diferentes dentro de la estrategia de gestión de datos de una empresa.
La estructura de datos es un enfoque tecnocéntrico que busca encontrar formas cada vez más fluidas de gestionar metadatos complejos e información no estructurada fusionando IA, machine learning y analíticas avanzadas. Por otro lado, la malla de datos, aunque depende de todos los desarrollos tecnológicos dentro de la estructura de datos, se centra más en integrar los procesos de gestión de datos con los usuarios humanos que dependen de ellos –y en encontrar formas de optimizar y simplificar el acceso y la utilidad de los datos desde la perspectiva de las personas–.
Existe una especie de relación entre el huevo y la gallina entre la malla de datos y la estructura de datos: se necesitan tecnologías de estructura de datos en constante avance para que la gestión de datos evolucione a la velocidad que necesita. Sin embargo, sin una evolución que acompañe a los procesos humanos y las estrategias organizativas, las personas no podrán aprovechar adecuadamente el avance de las tecnologías de estructura de datos.Del mismo modo que DOS e interfaces complejas dieron paso a los sistemas operativos informáticos más fluidos de los que disfrutamos hoy en día, las arquitecturas de malla de datos y estructura de datos están destinadas a crecer cada vez más sin problemas a medida que avanzan estos procesos y tecnologías.
SAP Insights Newsletter
Suscríbase hoy
Obtenga información estratégica clave suscribiéndose a nuestro newsletter.