O que é malha de dados?
A malha de dados é uma abordagem de gerenciamento de dados que usa um framework de arquitetura distribuída.
default
{}
default
{}
primary
default
{}
secondary
Visão geral da malha de dados
A malha de dados (data mesh) representa uma nova maneira de analisar informações. Ela nasce do conceito cada vez mais em voga de que, na verdade, os dados são um produto, uma ferramenta, um meio para se alcançar um fim, não apenas algo que as empresas coletam e analisam depois, na tentativa de olhar para o passado e entender o que já aconteceu.
Definição de malha de dados
A malha de dados é uma abordagem de gerenciamento de dados que usa um framework de arquitetura distribuída. Ou seja, ela distribui a propriedade e a responsabilidade por conjuntos de dados específicos em toda a empresa aos usuários com a expertise certa para entender o que esses dados significam e como fazer o melhor uso deles.
A arquitetura de malha de dados conecta e extrai dados de várias fontes, como data lakes e data warehouses, e distribui os conjuntos de dados relevantes para os especialistas humanos e equipes de domínio pertinentes em toda a empresa. Essencialmente, um grande volume de dados em um data lake central é organizado e dividido em blocos gerenciáveis, que são então distribuídos para aqueles que estão mais aptos a entendê-los e usá-los.
Origens da malha de dados
A malha de dados surgiu por volta de 2009 em resposta aos desafios de escalabilidade das arquiteturas de dados em complexas organizações de grande porte. A ideia central por trás da malha de dados é descentralizar a propriedade e a arquitetura dos dados, tratando-os como um produto e atribuindo a responsabilidade às equipes responsáveis por domínios específicos do negócio. A malha de dados combina princípios de mentalidade de produto, design baseado em domínio e infraestrutura self-service, permitindo que as organizações expandam seus sistemas de dados sem criar gargalos monolíticos.
Os modelos centralizados de gerenciamento de dados costumam fracassar em grandes corporações devido aos seguintes fatores:
- Gargalos na entrega: uma única equipe central fica sobrecarregada, desacelerando o acesso a dados e funções analíticas.
- Lacunas de propriedade: a falta de responsabilidade clara pela qualidade dos dados em todos os domínios causa problemas de confiança e inconsistências nos padrões.
- Problemas de escalabilidade: à medida que o volume e a complexidade dos dados aumentam, surge a dificuldade de expandir sistemas centralizados sem causar sobrecarga excessiva.
- Pouco conhecimento de domínio: as equipes centrais não têm compreensão profunda dos domínios de negócios, o que leva a produtos de dados de baixa qualidade ou desalinhados.
- Agilidade limitada: mudanças que exigem coordenação por meio de uma única equipe diminuem a rapidez da resposta às necessidades de negócios em evolução.
Benefícios da malha de dados
Bancos de dados legados e infraestruturas limitadas de gerenciamento de dados criaram a percepção de que os dados deveriam ser mantidos em um único local seguro, acessíveis apenas a alguns gerentes de dados. Atualmente, os dados são o combustível que impulsiona os negócios e devem ser disponibilizados livremente aos especialistas que sabem como usá-los para gerar resultados e lucros em tempos de alta competitividade.
As principais vantagens da arquitetura de malha de dados podem ser resumidas em três categorias:
Agilidade e escalabilidade
Maior acessibilidade aos dados: a malha de dados assegura que as pessoas certas em sua organização tenham acesso aos dados necessários para desempenhar suas funções da melhor forma possível.
Pipelines e processos de dados personalizáveis: muitos dos projetos mais promissores e potencialmente lucrativos acabam sendo arquivados devido à grande dificuldade de integrar os conjuntos de dados únicos e personalizados necessários para alcançar o sucesso. Com uma malha de dados, as equipes podem acessar e testar rapidamente novos modelos de projeto, sem a perda de tempo e de recursos geralmente associada a esse processo.
Redução de gargalos: este é um ganho evidente tanto para equipes de TI quanto para proprietários de dados. Além disso, ao minimizar uma fonte de frustração, as empresas ajudam a eliminar os silos que impedem o desenvolvimento saudável dos negócios.
Qualidade e confiança
Recursos analíticos aprimorados: quando as organizações encaram os dados como um produto a ser usado diariamente, as equipes começam a adotar uma abordagem data-first para planejamento e estratégia. Isso leva à redução de erros e a uma abordagem de desenvolvimento de negócios mais objetiva e menos baseada em opiniões.
Colaboração e reutilização entre domínios
Redução da pressão sobre as equipes centrais de gerenciamento de dados: isso significa não apenas reduzir o backlog e a frustração, mas também liberar horas valiosas para que suas talentosas equipes de TI se concentrem em atividades mais especializadas, interessantes e lucrativas.
Ao descentralizar a propriedade e tratar os dados como um produto, a malha de dados capacita as organizações a avançar mais rápido, tornar os insights mais confiáveis e ter escalabilidade perfeita em todos os domínios.
Princípios fundamentais da malha de dados
Quando falamos de data lakes e malha de dados, estamos falando essencialmente de Big Data. E o que faz esses dados serem “Big” não é simplesmente seu grande volume. Entre outros critérios, o Big Data também é definido por ser complexo, variável, gerado rapidamente e não estruturado.
Um banco de dados linear é como uma planilha: tem colunas, linhas e categorias imutáveis que devem servir para todos os componentes de dados. Alguns dos dados gerados a partir de máquinas, sensores e fontes industriais são estruturados e se encaixam perfeitamente em um banco de dados linear. Não importa o volume de dados com que você precisa lidar, se eles forem 100% estruturados, não atenderão aos critérios de Big Data e poderão ser armazenados em um banco de dados linear, o que simplifica a filtragem e a extração dos dados.
No entanto, o Big Data moderno é cada vez mais não estruturado, composto por elementos visuais, texto aberto, e até vídeos e mídias interativas. Esses dados essenciais podem totalizar milhares de terabytes para muitas empresas, e não podem ser armazenados em um banco de dados linear convencional.
Entra em cena o data lake. Com o crescimento dos volumes de Big Data, os data lakes foram desenvolvidos como um repositório central para armazenar e acessar dados complexos em seu formato bruto. Embora representem uma excelente solução para o problema do Big Data, os data lakes apresentam algumas limitações – como falta de certos recursos analíticos – que os tornam dependentes de outros serviços para recuperação, indexação, transformação, consultas e funcionalidades analíticas.
Quatro princípios de malha de dados são empregados para enfrentar os desafios apresentados pelos data lakes:
1. Propriedade do domínio
A definição de propriedade em data lakes torna-se complicada quando muitos participantes estão envolvidos na geração dos dados e no acesso a eles. Na ausência de funções e responsabilidades claramente definidas, o mesmo conjunto de dados pode ser gerenciado de modo diferente por diferentes partes, criando inconsistências que dificultam o uso. Da mesma forma, outros dados acabam sendo negligenciados quando não são gerenciados ativamente por aqueles que vão usá-los.
A arquitetura de malha de dados resolve isso descentralizando a propriedade e assegurando que a governança de dados seja claramente distribuída por domínio, permitindo que cada equipe ou especialista de domínio gerencie os dados que produz e utiliza. Para sustentar essa abordagem, as malhas de dados adotam uma estrutura de governança federada, que possibilita o controle central da modelagem de dados, além das políticas de segurança e compliance. A propriedade da malha de dados cria responsabilidade e melhora a usabilidade dos dados.
2. Dados como produto
Os data lakes talvez não assegurem a qualidade dos dados quando o volume se torna excessivo ou quando os próprios gerentes de dados centrais não conseguem compreendê-los. A arquitetura de malha de dados considera os dados como um produto valioso, colocando a qualidade e a completude em primeiro plano no gerenciamento de dados. Presume-se que cada equipe conheça os critérios e as questões mais relevantes que deseja extrair dos dados que coleta. Ao integrar esses critérios e prioridades na arquitetura, a malha de dados pode assegurar a entrega contínua e priorizada de dados depurados, atualizados e completos, mesmo em conjuntos de dados maiores. Além disso, quando algoritmos de Machine Learning são aplicados, esses critérios e os conjuntos de dados resultantes se tornam cada vez mais precisos e úteis ao longo do tempo.
3. Plataforma de dados self-service
Os data lakes podem gerar gargalos devido à sua arquitetura centralizada e aos processos e protocolos de recuperação de dados, que costumam ser complexos. Desse modo, o controle de uma grande quantidade de dados consolidados geralmente fica a cargo de uma única equipe de TI ou de gerenciamento de dados. Com o aumento dos volumes de dados e da demanda por recuperá-los, essas equipes de TI acabam sobrecarregadas.
Além disso, os dados precisam ser revisados e estruturados corretamente para garantir o compliance e a adesão aos princípios de governança de dados. Sob pressão excessiva, pode haver uma tendência de apressar essas etapas de compliance, o que gera riscos e perdas potenciais para a empresa. Os princípios de malha de dados resolvem esse problema viabilizando uma plataforma de dados self-service para conceder acesso e controle aos usuários especializados autorizados que têm maior interesse nos dados – tudo regulado por rigorosos protocolos de segurança integrados –, reduzindo gargalos e acelerando a entrega de dados.
4. Governança federada
Embora a descentralização seja fundamental, as organizações não podem abandonar a governança. A malha de dados usa um modelo de governança federada para equilibrar autonomia e consistência. Desse modo, os domínios gerenciam seus próprios produtos de dados, mas devem seguir padrões compartilhados de segurança, compliance e interoperabilidade em toda a organização. Essa abordagem híbrida de governança da malha de dados garante agilidade sem sacrificar a confiança ou a adesão regulatória.
Embora existam desafios na criação de malhas de dados, a arquitetura de gerenciamento de dados descentralizada e democratizada tornou as empresas mais inteligentes, ágeis e precisas. Como? Garantindo que os dados certos estejam imediatamente disponíveis para as pessoas certas, onde e quando precisarem. A malha de dados torna o conceito de dados como produto uma realidade, reduzindo barreiras e priorizando o valor da informação, permitindo que as equipes acessem dados essenciais de maneira mais rápida e desimpedida.
Arquitetura e frameworks de malha de dados
Vimos como a malha de dados representa uma forma descentralizada de arquitetura de dados que os trata como uma ferramenta essencial para a gestão empresarial. É importante ressaltar que equipes independentes são responsáveis por gerenciar os dados em seus domínios de atuação e expertise, garantindo, ao mesmo tempo, o compliance com as práticas de gerenciamento de dados estabelecidas centralmente. Essa mudança de mentalidade está no cerne da malha de dados.
Visão panorâmica de uma arquitetura de malha de dados
Em uma malha de dados, os domínios são os principais produtores e consumidores de dados, cada qual responsável por seus próprios dados como produto, a fim de garantir qualidade e relevância. A plataforma self-service fornece a infraestrutura necessária para publicar, descobrir e consumir esses produtos de dados, além de recursos automatizados de segurança e compliance. A governança opera em um modelo federado, equilibrando padrões globais de interoperabilidade e segurança com a autonomia local para que os domínios possam inovar mantendo a confiança e a consistência em toda a organização.
Para entender melhor como a arquitetura de malha de dados funciona na prática, vamos explorar seus três principais componentes.
Fontes de dados
Representam o repositório – como um data lake – alimentado pelos dados brutos primários. Quer sejam coletados de redes IIoT na nuvem, formulários de feedback de clientes ou extraídos da web, esses são os dados brutos de entrada que os usuários consultarão e processarão conforme necessário em toda a rede. Enquanto uma abordagem de data lake concentraria todos esses dados em um único local central, a metodologia da malha de dados distribui a responsabilidade pela entrada, armazenamento, processamento e extração desses dados brutos entre vários domínios responsáveis.
Infraestrutura de malha de dados
As informações não ficam isoladas em domínios departamentais individuais, mas podem ser compartilhadas livremente por toda a rede operacional da organização, mantendo o compliance com as diretrizes estabelecidas de governança de dados. Isso é resultado direto de dois dos principais pilares da malha de dados: uma plataforma de dados self-service e governança federada. A plataforma de dados self-service fornece as ferramentas e a infraestrutura necessárias para cada domínio ingerir, transformar, processar e oferecer seus dados universalmente. Enquanto isso, os princípios de governança federada garantem a padronização em toda a organização, facilitando a interoperabilidade de dados entre todas as equipes de domínios.
Proprietários de dados
Como o componente final de uma malha de dados, os proprietários são responsáveis pela aplicação dos protocolos de compliance, governança e categorização aos dados de seus departamentos. Por exemplo, os arquivos de RH devem ser armazenados seguindo determinados protocolos de segurança, com definições claras do uso que será feito e das pessoas que terão acesso a eles. Cada departamento terá categorias e tipos de dados exclusivos para suas necessidades ou objetivos. Em um sistema de data lake, as equipes de TI precisam lidar com esses diferentes protocolos e categorias de todos os diversos proprietários de dados que usam o data lake como repositório. Em contrapartida, a arquitetura de malha de dados confere aos proprietários de domínio total autoridade e controle sobre essas questões, pois, afinal, quem melhor do que os especialistas da área para gerenciar seus próprios dados e garantir que atendam aos padrões de qualidade?
O modelo operacional de malha de dados
O modelo operacional de malha de dados reúne pessoas, processos e tecnologia para viabilizar o gerenciamento descentralizado de dados em larga escala. Essa colaboração garante que os dados fluam perfeitamente em toda a organização, promovendo confiança, agilidade e reutilização sem depender de uma única equipe centralizada. A malha de dados facilita a interoperabilidade e a descoberta, com aplicação de padrões compartilhados, uma plataforma comum, formatos e termos de pesquisa consistentes e regras de governança para publicação e consumo de produtos de dados. Com ferramentas de malha de dados, como registros e catálogos de dados, as equipes podem encontrar, acessar com segurança e usar produtos de dados em toda a organização.
Pense em uma malha de dados como uma cidade moderna: cada bairro (domínio) administra seus próprios serviços públicos – como água, eletricidade e coleta de lixo – porque conhece melhor suas necessidades locais. A cidade fornece infraestrutura compartilhada, como estradas e transporte público (plataforma self-service) e padrões de segurança (governança), para que os bairros possam se conectar, acessar recursos municipais e colaborar sem desordem. Desse modo, os recursos fluem livremente pela cidade, todos seguem regras comuns e a inovação prospera localmente, enquanto toda a cidade funciona sem problemas.
Malha de dados na prática: exemplos e casos de uso
Para que evoluam e alcancem maior sucesso, é fundamental que as soluções de gerenciamento de dados sejam utilizáveis e relevantes para uma ampla variedade de aplicativos e operações. Com a melhoria da arquitetura de malha de dados e da facilidade de uso, observamos um aumento no número de funções empresariais que podem ser aprimoradas por meio de uma abordagem segura e distribuída que trata os dados como produto e ferramenta.
Vamos explorar alguns casos de uso comuns de malha de dados em negócios.
Vendas
Para equipes de vendas, o foco está em captar, cultivar e fechar leads. Quanto mais tempo os membros da equipe de vendas passam sentados realizando tarefas administrativas, menos tempo lhes resta para desenvolver relacionamentos com novos clientes. Com a arquitetura de malha de dados, os usuários da equipe de vendas não precisam ser especialistas em recuperação e gerenciamento de dados para acessar os mais poderosos e relevantes conjuntos e combinações de dados. Quando os departamentos de vendas dispõem de todos os dados adequados para análise, isso se traduz em mais insights e estratégias acionáveis.
Exemplo de malha de dados de vendas: equipes de vendas regionais ou responsáveis por um produto específico podem ter seus próprios domínios de dados de CRM e pipeline que as capacitam a realizar previsões precisas e acessar dashboards em tempo real sem depender de uma equipe central de TI.
Cadeia de suprimentos e logística
As modernas cadeias de suprimentos são suscetíveis a uma enorme variedade de disrupções. A vantagem competitiva vem quando as empresas conseguem se ajustar rapidamente e responder com agilidade tanto às ameaças quanto às oportunidades. Os dados da cadeia de suprimentos global chegam cada vez mais rápido e em grande volume – do feedback de clientes a redes IIoT e gêmeos digitais. Quando gestores experientes e qualificados de cadeias de suprimentos conseguem organizar e explorar esses conjuntos de dados em tempo real, as empresas obtêm uma fonte valiosa de insights e expertise.
Exemplo de malha de dados da cadeia de suprimentos: a otimização da cadeia de suprimentos requer visibilidade em tempo real sobre os níveis de estoque, desempenho de fornecedores e dados de logística. A malha de dados dá a cada domínio – procurement, armazenamento, transporte – a propriedade de seus produtos de dados, permitindo a tomada de decisões mais rápidas e operações mais eficientes em termos de custos.
Produção
Como parte da cadeia de suprimentos, as operações de produção também estão vulneráveis a mudanças rápidas no mercado e à volatilidade da demanda dos clientes. No passado, as equipes de design e P&D dependiam de dados históricos de clientes fornecidos por outros departamentos. Hoje, a malha de dados oferece acesso em tempo real aos usuários que trabalham na mesa de desenho, nas equipes de P&D e testes, e até mesmo no chão de fábrica. O feedback instantâneo dos clientes pode orientar rapidamente o desenvolvimento de produtos, enquanto informações atualizadas das redes IIoT e simulações digitais ajudam as fábricas a operar de maneira mais segura, ágil e eficiente.
Exemplo de malha de dados de produção: as equipes de unidades fabris podem ser responsáveis pelos dados de sensores e de desempenho das máquinas, possibilitando a manutenção preditiva e reduzindo o tempo de inatividade por meio de funções analíticas descentralizadas.
Marketing
Hoje, as demandas e expectativas dos clientes estão moldando o futuro, mudando e crescendo em um ritmo sem precedentes. Uma única marca geralmente tem uma infinidade de pontos de contato com os consumidores, incluindo mídias sociais, anúncios digitais direcionados e portais de compras online e omnichannel. O mercado atual demonstra um crescente desejo por personalização rápida, ciclos de vida de produtos mais curtos e elevados níveis de variedade de escolha e competição. Para entender e se antecipar a essas tendências, os profissionais de marketing da atualidade precisam ter acesso simultâneo e em tempo real a uma ampla variedade de conjuntos de dados. No passado, isso significava solicitar esses dados a outros departamentos e esperar pela resposta. No entanto, a instalação de uma malha de dados permite aos profissionais de marketing selecionar e acessar esses dados imediatamente, conforme suas próprias necessidades.
Exemplo de malha de dados de marketing: criar uma visão de 360 graus do cliente requer a integração de dados de vários canais, como e-mail, mídias sociais e anúncios pagos. A malha de dados permite que cada canal tenha seu produto de dados, garantindo melhores experiências para os clientes e insights precisos e em tempo real para campanhas personalizadas.
Recursos humanos
As equipes de RH precisam gerenciar grandes volumes de dados extremamente complexos e confidenciais. Com a tendência crescente dos ambientes de trabalho remotos e híbridos, esses dados estão se tornando cada vez mais complexos e diversificados geograficamente, sem contar as intermináveis mudanças no conjunto de questões legais e de compliance que devem ser prioridade no radar das equipes de RH. Da contratação à aposentadoria, os líderes de RH precisam validar, avaliar e analisar alguns dos conjuntos de dados mais variados das organizações. A arquitetura de malha de dados possibilita a implementação de protocolos de segurança adequados e acesso rigorosamente controlado, ao mesmo tempo que habilita os usuários de RH autorizados a acessar dados e informações rapidamente, sem depender de protocolos internos complexos e da burocracia de vários departamentos.
Exemplo de malha de dados de RH: equipes de recrutamento, folha de pagamento e gestão de desempenho podem controlar seus próprios domínios de dados, melhorando o compliance e habilitando funções analíticas da força de trabalho em tempo real para a tomada de decisões estratégicas.
Finanças
Assim como no RH, as equipes de finanças e contabilidade são responsáveis por dados extremamente críticos e confidenciais. Os modernos sistemas ERP estão revolucionando a área financeira, usando tecnologia de banco de dados in-memory para personalizar relatórios, análises e projeções em tempo real. No entanto, mesmo quando as equipes de finanças têm acesso aos melhores bancos de dados e ERPs, elas muitas vezes ainda enfrentam obstáculos devido a culturas rígidas e arraigadas, grandes silos, além de processos burocráticos e antiquados. A arquitetura de malha de dados traz uma mudança fundamental na forma como os dados financeiros são percebidos e gerenciados, podendo até desafiar a mentalidade estagnada que pode surgir quando as organizações capacitam as equipes a assumirem a responsabilidade e revisarem seus próprios processos de dados ultrapassados.
Exemplo de malha de dados de finanças: as equipes de planejamento financeiro podem possuir domínios de dados de receita, despesas e investimentos, garantindo previsões precisas e agilidade na modelagem de cenários sem depender de uma única equipe central.
É claro que a malha de dados não é apenas outra palavra da moda e é uma tendência da estratégia de dados que precisa ser levada a sério. Empresas de todos os tamanhos e setores estão adotando a malha de dados em busca de maneiras de usar os dados para gerar insights e valor.
Alternativas à malha de dados
Embora ofereça uma abordagem descentralizada ao gerenciamento de dados, a malha de dados não é a única opção. Arquiteturas tradicionais, como data lakes e data warehouses, permanecem amplamente utilizadas para centralizar e armazenar grandes volumes de dados, muitas vezes emparelhados com data lakehouses que combinam recursos de dados estruturados e não estruturados. Outros modelos, como infraestrutura de dados, têm como foco a criação de uma camada unificada para integração e orquestração de dados em diversos sistemas. As alternativas tratam escalabilidade, governança e acessibilidade de maneiras distintas, e a escolha depende das necessidades e da maturidade da organização.
Vejamos as alternativas à malha de dados e como elas se comparam.
Malha de dados versus data lake/lakehouse
Malha de dados (data mesh) versus data warehouse
Malha de dados versus infraestrutura de dados
Implementação de malhas de dados
A implementação de malhas de dados requer uma abordagem estratégica que equilibre descentralização com padrões compartilhados. Estas são as principais etapas da implementação de malhas de dados:
- Identificar domínios-piloto: comece em pequena escala, selecionando dois ou três domínios com valor comercial evidente e sólida maturidade em dados. As equipes desses domínios atuarão como pioneiras, validando o modelo de malha de dados antes de estendê-lo a toda a organização.
- Estabelecer a plataforma: crie uma plataforma de dados self-service que forneça ferramentas comuns para publicar, descobrir e consumir produtos de dados, incluindo catálogos de dados, APIs e recursos de segurança automatizados a fim de reduzir o atrito para as equipes de domínio.
- Definir governança federada: crie políticas de governança que apliquem padrões globais de segurança, compliance e interoperabilidade, ao mesmo tempo que propiciam autonomia aos domínios. A governança deve incluir funções, definições de produtos de dados e expectativas de qualidade claras.
Antipadrões a evitar
Quando a malha de dados é implementada de maneira incorreta, sem seguir os padrões naturais da organização, ela pode gerar confusão e discórdia. Nas malhas de dados, antipadrões são práticas recorrentes que parecem úteis, mas acabam minando os princípios centrais da arquitetura. Os antipadrões a evitar incluem:
- Tratar a malha de dados como mais um data lake centralizado.
- Ignorar a mudança cultural – a tecnologia, por si só, não resolve questões de propriedade.
- Complicar (over-engineering) a plataforma antes de comprovar seu valor para os negócios.
- Falta de clareza quanto à responsabilidade pela qualidade dos dados.
- Ampliar a malha de dados rápido demais sem validar o modelo desta nos domínios-piloto.
Cinco melhores práticas para malha de dados
- Começar em pequena escala e iterar: use domínios-piloto para aprimorar os processos antes de expandi-los.
- Tratar os dados como um produto: defina a propriedade, os SLAs e os padrões de usabilidade para cada conjunto de dados.
- Investir em ferramentas compartilhadas: facilite a publicação e a descoberta para as equipes de domínios.
- Incorporar a governança desde o início: equilibre a autonomia com o compliance desde o início.
- Manter o foco nos resultados de negócios: alinhe os produtos de dados a valores mensuráveis, e não apenas a metas técnicas.
Ao combinar propriedade de domínio, plataforma robusta e governança federada, as organizações aumentam a agilidade, a confiança e a colaboração entre domínios, sem os gargalos dos tradicionais modelos centralizados.
Medição e métricas
A avaliação do sucesso requer métricas de malha de dados que equilibrem o desempenho técnico com os resultados de negócios. Essas métricas podem incluir:
-
SLOs/SLAs de qualidade dos produtos de dados: são elementos essenciais, mas as organizações devem adaptá-los ao contexto de cada domínio em vez de aplicá-los uniformemente. Os exemplos de KPIs de produto de dados incluem:
- Atualidade dos dados: porcentagem de produtos de dados atualizados dentro do período planejado – por exemplo, a cada hora ou diariamente
- Completude: porcentagem de campos obrigatórios preenchidos em todos os conjuntos de dados
- Disponibilidade: tempo produtivo de produtos de dados – por exemplo, 99,9%
-
Adoção e reutilização pelo consumidor: pode ser um forte indicador de valor, mas a precisão ao medir este quesito geralmente envolve rastrear padrões de uso e feedback entre as equipes. Os exemplos de KPIs de adoção e reutilização pelo consumidor incluem:
- Número de consumidores únicos por produto de dados
- Taxa de reutilização entre domínios: porcentagem de produtos de dados consumidos por vários domínios
- Índice de satisfação do consumidor obtido por meio de pesquisas ou feedback
-
Tempo para obtenção de insights e custo de serviço: destacam os ganhos de eficiência em comparação com os modelos centralizados, mas essas melhorias dependem da maturidade organizacional e dos processos de referência. Os exemplos de KPIs de tempo para obtenção de insights e custo de serviço incluem:
- Tempo médio da solicitação de dados à obtenção de insights aplicáveis
- Redução no custo operacional em comparação com o modelo centralizado
- Porcentagem de redução de atraso na resolução de solicitações de dados
-
Lacunas comuns na concorrência: concentre-se nas áreas em que os concorrentes enfrentam dificuldades e use os princípios de malha de dados para superá-los. Os exemplos de KPIs dessas lacunas incluem:
- Número de fragilidades identificadas na concorrência que podem ser resolvidas com o uso de recursos de produtos de dados – por exemplo, melhor capacidade de descoberta, acesso mais rápido aos dados
- Vantagem no tempo de colocação de novos produtos de dados no mercado em comparação com a concorrência
- Aumento na taxa de adoção de recursos self-service em comparação com as estimativas dos concorrentes
Em conjunto, essas métricas oferecem insights direcionados sobre se a malha de dados realmente entrega agilidade, confiabilidade e escalabilidade, sem assumir benchmarks padronizados para todos os casos.
Perguntas frequentes sobre malhas de dados
A interoperabilidade é definida como a capacidade que um sistema ou produto tem de trabalhar em conjunto com outros sistemas ou produtos, sem exigir esforço especial por parte do usuário. A Techtarget destaca que isso ajuda as organizações a alcançar maior eficiência e uma visão mais holística das informações e dos dados. Para informações mais detalhadas, esta lição do Open MOOC apresenta os fundamentos da interoperabilidade de dados, além dos diferentes tipos e camadas de interoperabilidade.
No contexto dos dados, a interoperabilidade vai além da mera conectividade e inclui capacidade de descoberta (facilitando, com catálogos ou registros, encontrar produtos de dados em todos os domínios); contratos (acordos claros e legíveis por máquina sobre esquemas de dados, APIs e SLAs para ajudar a garantir o consumo consistente); e padrões compartilhados (práticas comuns de governança, metadados e segurança para intercâmbio de dados sem atritos entre domínios).
A interoperabilidade ocorre quando, por exemplo, o domínio Cliente publica um produto de dados com perfis de clientes e o domínio Vendas consome esses dados para enriquecer as funções analíticas do pipeline. A interoperabilidade garante que a equipe de vendas possa descobrir o produto de dados do cliente em um catálogo, confiar no respectivo contrato quanto a esquemas e garantias de qualidade, e integrá-lo usando padrões compartilhados sem trabalho manual.
Malha de dados e infraestrutura de dados são diferentes abordagens arquitetônicas dentro da estratégia de gerenciamento de dados das empresas.
A malha de dados é uma abordagem tecnocêntrica que busca maneiras cada vez mais integradas de gerenciar metadados complexos e informações não estruturadas, combinando IA, Machine Learning e funções analíticas avançadas. A malha de dados, por outro lado, embora dependa de todos os avanços tecnológicos na infraestrutura de dados, concentra-se mais em integrar os processos de gerenciamento de dados com os usuários que dependem deles. Seu objetivo é simplificar o acesso e a utilidade dos dados sob a perspectiva das pessoas.
Na relação entre a malha de dados e a infraestrutura de dados, encontramos o paradoxo do ovo e da galinha: as tecnologias de infraestrutura de dados precisam estar sempre evoluindo para que o gerenciamento de dados evolua na velocidade necessária. No entanto, sem processos humanos e estratégias organizacionais que acompanhem essa evolução, não conseguiremos aproveitar adequadamente as tecnologias avançadas de infraestrutura de dados. Assim como o DOS e interfaces complexas deram lugar aos sistemas operacionais de computador mais sofisticados que conhecemos hoje, as arquiteturas de malha de dados estão destinadas a evoluir continuamente à medida que esses processos e tecnologias avançam.
PRODUTO SAP
Conecte os dados e impulsione a inovação
Saiba como o SAP Business Data Cloud acelera a obtenção de insights baseados em dados em toda a empresa.