O que é malha de dados?
A malha de dados é uma abordagem de gerenciamento de dados que usa um framework de arquitetura distribuída.
Visão geral da malha de dados
A malha de dados representa uma nova maneira de olhar para as informações. Ela nasceu do conceito em ascensão de que dados são, eles mesmos, produtos, ferramentas, meios para se alcançar um fim – não apenas algo que as empresas reúnem e analisam depois, tentando olhar para o passado e entender fatos que já aconteceram.
Definição de malha de dados
A malha de dados é uma abordagem de gerenciamento de dados que usa um framework de arquitetura distribuída. Ou seja, ela distribui a propriedade e a responsabilidade por conjuntos de dados específicos em toda a empresa aos usuários com a expertise certa para entender o que esses dados significam e como fazer o melhor uso deles.
A arquitetura de malha de dados conecta e extrai dados de várias fontes, como data lakes e data warehouses, e distribui os conjuntos de dados relevantes para os especialistas humanos e equipes de domínio apropriados em toda a empresa. Essencialmente, um enorme volume de dados em um data lake central é classificado e distribuído em porções gerenciáveis para aqueles mais adequados a entendê-los e aproveitá-los.
Princípios de malha de dados para os desafios de data lake
Quando falamos de data lakes e malha de dados, estamos falando essencialmente de Big Data. E o que faz esses dados serem “Big” não é simplesmente seu grande volume. Entre outros critérios, o Big Data também é definido por ser complexo, variável, gerado rapidamente e não estruturado.
Um banco de dados linear é como uma planilha: tem colunas, linhas e categorias imutáveis que devem servir para todos os componentes de dados. Alguns dos dados gerados a partir de máquinas, sensores e fontes industriais são estruturados e se encaixam perfeitamente em um banco de dados linear. Não importa o volume de dados com que você precisa lidar, se eles forem 100% estruturados, não atenderão aos critérios de Big Data e poderão ser armazenados em um banco de dados linear, simplificando os filtros e a extração dos dados.
No entanto, o Big Data moderno é cada vez mais não estruturado, composto por elementos visuais, texto aberto, e até vídeos e mídias interativas. Esses dados essenciais podem totalizar milhares de terabytes para muitas empresas, e não podem ser armazenados em um banco de dados linear convencional.
Insira o data lake. À medida que os volumes de Big Data cresceram, os data lakes foram desenvolvidos para armazenar e acessar dados complexos em seu formato bruto, a partir de um repositório central. Embora ofereçam uma excelente solução para o problema do Big Data, os data lakes apresentam algumas fraquezas. Eles carecem de certos recursos analíticos, tornando-se dependentes de outros serviços para recuperação, indexação, transformação, consultas e funcionalidades analíticas. Além disso, do ponto de vista da gestão empresarial, os data lakes enfrentam três desafios adicionais:
1. Propriedade complexa
A definição de propriedade em data lakes torna-se complicada quando muitos participantes estão envolvidos na geração e no acesso aos dados. Na ausência de funções e responsabilidades claramente definidas, o mesmo conjunto de dados pode ser gerenciado de modo diferente por diferentes partes, criando inconsistências que dificultam o uso. Da mesma forma, outros dados podem ser negligenciados quando não são gerenciados ativamente por aqueles que vão usá-los. A arquitetura de malha de dados assegura que a governança de dados seja claramente distribuída por domínio, permitindo que cada equipe ou especialista de domínio gerencie os dados que produz e utiliza. Para sustentar essa abordagem, as malhas de dados adotam uma estrutura de governança federada, que possibilita o controle central da modelagem de dados, além das políticas de segurança e compliance.
2. Qualidade de dados
Os data lakes podem não assegurar a qualidade dos dados quando o volume se torna excessivo ou quando os próprios gerentes de dados centrais não conseguem compreendê-los. A arquitetura de malha de dados considera os dados como um produto valioso, colocando a qualidade e a completude em primeiro plano no gerenciamento de dados. Presume-se que cada equipe conheça os critérios e as questões mais relevantes que deseja extrair dos dados que coleta. Ao integrar esses critérios e prioridades na arquitetura, a malha de dados pode assegurar a entrega contínua e priorizada de dados depurados, atualizados e completos, mesmo em conjuntos de dados maiores. Além disso, quando algoritmos de aprendizado de máquina são aplicados, esses critérios e os conjuntos de dados resultantes se tornam cada vez mais precisos e úteis ao longo do tempo.
3. Gargalos produtivos
Os data lakes podem gerar gargalos devido à sua arquitetura centralizada e aos processos e protocolos de recuperação de dados, que costumam ser complexos. Isso geralmente resulta no controle de uma grande quantidade de dados consolidados ficando a cargo de uma única equipe de TI ou de gerenciamento de dados. Com o aumento dos volumes de dados e da demanda por sua recuperação, essas equipes de TI acabam se sobrecarregando.
Além disso, os dados precisam ser revisados e estruturados corretamente para garantir o compliance e a adesão aos princípios de governança de dados. Quando há pressão excessiva, pode haver a tendência de apressar essas etapas de compliance, o que gera riscos potenciais e perdas para a empresa. Por outro lado, a arquitetura de malha de dados oferece acesso e controle a usuários especializados autorizados, que têm um interesse maior nos dados, tudo isso enquanto implementa protocolos de segurança rigorosos e integrados.
Os princípios da malha de dados surgiram em resposta direta a esses crescentes desafios com os data lakes. A arquitetura de gerenciamento de dados descentralizada e democratizada deixou as empresas mais inteligentes, ágeis e precisas, garantindo que os dados certos estejam imediatamente disponíveis para as pessoas certas, onde e quando precisarem. A malha de dados torna o conceito de dados como produto uma realidade, reduzindo barreiras e priorizando o valor da informação, permitindo que as equipes acessem dados essenciais de maneira mais rápida e desimpedida.
Arquitetura de malha de dados explicada
Vimos como a malha de dados representa uma forma descentralizada de arquitetura que trata os dados como uma ferramenta essencial para a gestão empresarial. É importante ressaltar que equipes independentes são responsáveis por gerenciar os dados em seus domínios de atuação e expertise, garantindo, ao mesmo tempo, o compliance com as práticas de gerenciamento de dados estabelecidas centralmente. Essa mudança de mentalidade está no cerne da malha de dados.
Para entender melhor como isso é feito, podemos ver a arquitetura de malha de dados como tendo três componentes principais:
1. Fontes de dados representam o repositório (como um data lake) alimentado pelos dados brutos primários. Quer sejam coletados de redes IIoT na nuvem, formulários de feedback de clientes ou extraídos da web, esses são os dados brutos de entrada que serão referenciados e processados conforme necessário pelos usuários em toda a rede. Enquanto uma abordagem de data lake concentraria todos esses dados em um único local central, a metodologia da malha de dados distribui a responsabilidade pela entrada, armazenamento, processamento e extração desses dados brutos entre vários domínios responsáveis.
2. Infraestrutura de malha de dados significa que essas informações não ficam isoladas em domínios departamentais individuais, mas podem ser compartilhadas livremente por toda a rede operacional da organização, mantendo o compliance com as diretrizes estabelecidas de governança de dados. Isso é resultado direto de dois dos principais pilares da malha de dados: uma plataforma de dados self-service e governança federada. A plataforma de dados self-service fornece as ferramentas e a infraestrutura necessárias para cada domínio ingerir, transformar, processar e oferecer universalmente seus dados. Enquanto isso, os princípios de governança federada garantem a padronização em toda a organização, permitindo interoperabilidade de dados entre todas as equipes do domínio.
3. Proprietários de dados são o componente final de uma malha de dados e são responsáveis pela aplicação dos protocolos de compliance, governança e categorização aos dados de seus departamentos. Por exemplo, os arquivos de RH devem ser armazenados seguindo determinados protocolos de segurança, com definições claras do uso que será feito e das pessoas que terão acesso a eles. Cada departamento terá categorias e tipos de dados exclusivos para suas necessidades ou objetivos. Em um sistema de data lake, as equipes de TI precisam lidar com esses diferentes protocolos e categorias de todos os diversos proprietários de dados que usam o data lake como repositório. Em contrapartida, a arquitetura da malha de dados confere aos proprietários de domínio total autoridade e controle sobre essas questões, pois, afinal, quem melhor do que os especialistas da área para gerenciar seus próprios dados e garantir que atendam aos padrões de qualidade?
Malha de dados na prática: quem usa e por quê
Para que as soluções de gerenciamento de dados evoluam e se tornem mais bem-sucedidas, é fundamental que sejam utilizáveis e relevantes para uma ampla variedade de aplicativos e operações. Com a melhoria da arquitetura de malha de dados e da facilidade de uso, estamos observando um aumento nas funções empresariais que podem ser aprimoradas por meio de uma abordagem segura e distribuída, tratando os dados como um produto e uma ferramenta.
Vamos ver alguns casos de uso empresarial comuns:
Vendas: para as equipes de vendas, o foco é adquirir, nutrir e fechar leads. Quanto mais tempo os membros da sua equipe gastam em tarefas administrativas em suas mesas, menos tempo têm para construir relacionamentos com novos clientes. Com a arquitetura de malha de dados, os usuários da equipe de vendas não precisam ser especialistas em recuperação e gerenciamento de dados para acessar conjuntos e combinações de dados poderosos e relevantes. Quando os departamentos de vendas dispõem de todos os dados adequados para análise, isso se traduz em mais insights e estratégias acionáveis.
Cadeia de suprimentos e logística: as cadeias de suprimentos de hoje estão vulneráveis a uma enorme variedade de disrupções. A vantagem competitiva vem quando as empresas conseguem se ajustar rapidamente e responder com agilidade tanto às ameaças quanto às oportunidades. Os dados da cadeia de suprimentos global estão chegando cada vez mais rápido e em grande volume – desde o feedback dos clientes até as redes IIoT e os gêmeos digitais. Quando gestores experientes e qualificados de cadeias de suprimentos conseguem analisar e explorar esses conjuntos de dados em tempo real, as empresas obtêm uma fonte valiosa de insights e expertise.
Produção: como parte da cadeia de suprimentos, as operações de produção de uma empresa também estão vulneráveis a mudanças rápidas no mercado e à demanda volátil dos clientes. No passado, as equipes de design e P&D dependiam de dados históricos de clientes fornecidos por outros departamentos. Hoje, a malha de dados oferece acesso em tempo real aos usuários que trabalham na mesa de desenho, nas equipes de P&D e testes, e até mesmo no chão de fábrica. O feedback instantâneo dos clientes pode orientar rapidamente o desenvolvimento de produtos, enquanto informações atualizadas das redes IIoT e simulações digitais ajudam as fábricas a operar de maneira mais segura, ágil e eficiente.
Marketing: hoje, as demandas e expectativas dos clientes estão moldando o futuro, mudando e crescendo em um ritmo sem precedentes. Uma única marca geralmente tem uma infinidade de pontos de contato com os consumidores, incluindo mídias sociais, anúncios digitais direcionados e portais de compras online e omnichannel. O mercado atual demonstra um crescente desejo por personalização rápida, ciclos de vida de produtos mais curtos e um grande nível de escolha e competição. Para entender e aproveitar essas tendências, os profissionais de marketing de hoje precisam ter acesso em tempo real e simultâneo a uma ampla variedade de conjuntos de dados. No passado, isso significava solicitar esses dados a outros departamentos e esperar pela resposta. Com uma configuração de malha de dados, no entanto, os profissionais de marketing podem selecionar e acessar esses dados imediatamente, conforme suas próprias necessidades.
Recursos humanos: as equipes de RH precisam gerenciar grandes quantidades de dados extremamente complexos e confidenciais. Com a tendência crescente dos ambientes de trabalho remotos e híbridos, esses dados estão se tornando cada vez mais complexos e diversificados geograficamente. E, ainda por cima, é preciso considerar as normativas de compliance e questões legais em constante mudança, que devem ser prioridade no radar das equipes de RH. Da contratação à aposentadoria, os líderes de RH precisam validar, avaliar e analisar alguns dos conjuntos de dados mais variados de uma organização. A arquitetura de malha de dados possibilita a implementação de protocolos de segurança adequados e um acesso rigorosamente controlado, ao mesmo tempo que permite que usuários de RH autorizados acessem dados e informações rapidamente, sem depender de protocolos internos complexos e da burocracia entre departamentos.
Finanças: assim como no RH, as equipes de finanças e contabilidade são responsáveis por dados extremamente críticos e sensíveis. Os sistemas de ERP estão revolucionando a área financeira, usando tecnologia de banco de dados in-memory para personalizar relatórios, análises e projeções em tempo real. No entanto, mesmo quando as equipes de finanças têm acesso aos melhores bancos de dados e ERPs, muitas vezes ainda enfrentam obstáculos devido a culturas rígidas e arraigadas, grandes silos e processos burocráticos antiquados. A arquitetura de malha de dados proporciona uma mudança fundamental na maneira como os dados financeiros são percebidos e gerenciados, podendo até desafiar o pensamento estagnado que ocorre quando as equipes têm a oportunidade de assumir e revisar seus próprios processos de dados ultrapassados.
É claro que a malha de dados não é apenas outra palavra da moda e é uma tendência da estratégia de dados que precisa ser levada a sério. Empresas de todos os tamanhos e setores estão adotando a malha de dados em busca de maneiras de usar os dados para gerar insights e valor.
Benefícios da malha de dados
No passado, bancos de dados legados e infraestruturas limitadas de gerenciamento de dados criaram a percepção de que os dados deveriam ser mantidos em um único local seguro, acessíveis apenas a alguns gerentes de dados. Atualmente, os dados são o combustível que impulsiona os negócios e devem ser disponibilizados livremente aos especialistas que sabem como usá-los para gerar resultados e lucros em um ambiente competitivo.
As principais vantagens da arquitetura de malha de dados podem ser resumidas assim:
Maior acessibilidade aos dados. A malha de dados assegura que as pessoas certas em sua organização tenham acesso aos dados necessários para realizar seus trabalhos da melhor forma possível.
Recursos aprimorados de funções analíticas. Quando os dados são encarados como um produto a ser usado diariamente, as equipes começam a adotar uma abordagem orientada por dados para o planejamento e a estratégia. Isso proporciona redução de erros e leva a uma abordagem mais objetiva e menos orientada por opiniões para o desenvolvimento de negócios.
Pipelines e processos de dados personalizáveis. Muitos dos projetos mais promissores e potencialmente lucrativos acabam sendo arquivados devido à grande dificuldade de integrar os conjuntos de dados únicos e personalizados necessários para alcançar o sucesso. Com uma malha de dados, as equipes podem acessar e testar rapidamente novos modelos de projeto, sem a perda de tempo e de recursos geralmente associada a esse processo.
Redução de gargalos. Esse é um ganho evidente tanto para equipes de TI quanto para proprietários de dados. Além disso, ao minimizar uma fonte de frustração, as empresas ajudam a eliminar os silos que impedem o desenvolvimento saudável dos negócios.
Redução da pressão sobre as equipes centrais de gerenciamento de dados. Isso significa não apenas reduzir o backlog e a frustração, mas também liberar horas valiosas para que suas talentosas equipes de TI se concentrem em atividades mais especializadas, interessantes e lucrativas.
Perguntas frequentes sobre malhas de dados
Soluções de dados e funções analíticas da SAP
Identifique, analise e transforme os dados mais relevantes em toda a empresa.
Ideias que você não encontrará em nenhum outro lugar
Inscreva-se para receber uma dose de Business Intelligence diretamente em sua caixa de entrada.