flex-height
text-black

Mulher analisando dados em sua mesa de trabalho

O que é malha de dados?

A malha de dados é uma abordagem de gerenciamento de dados que usa um framework de arquitetura distribuída.

default

{}

default

{}

primary

default

{}

secondary

Visão geral da malha de dados

A malha de dados (data mesh) representa uma nova maneira de analisar informações. Ela nasce do conceito cada vez mais em voga de que, na verdade, os dados são um produto, uma ferramenta, um meio para se alcançar um fim, não apenas algo que as empresas coletam e analisam depois, na tentativa de olhar para o passado e entender o que já aconteceu.

Definição de malha de dados

A malha de dados é uma abordagem de gerenciamento de dados que usa um framework de arquitetura distribuída. Ou seja, ela distribui a propriedade e a responsabilidade por conjuntos de dados específicos em toda a empresa aos usuários com a expertise certa para entender o que esses dados significam e como fazer o melhor uso deles.

A arquitetura de malha de dados conecta e extrai dados de várias fontes, como data lakes e data warehouses, e distribui os conjuntos de dados relevantes para os especialistas humanos e equipes de domínio pertinentes em toda a empresa. Essencialmente, um grande volume de dados em um data lake central é organizado e dividido em blocos gerenciáveis, que são então distribuídos para aqueles que estão mais aptos a entendê-los e usá-los.

Origens da malha de dados

A malha de dados surgiu por volta de 2009 em resposta aos desafios de escalabilidade das arquiteturas de dados em complexas organizações de grande porte. A ideia central por trás da malha de dados é descentralizar a propriedade e a arquitetura dos dados, tratando-os como um produto e atribuindo a responsabilidade às equipes responsáveis por domínios específicos do negócio. A malha de dados combina princípios de mentalidade de produto, design baseado em domínio e infraestrutura self-service, permitindo que as organizações expandam seus sistemas de dados sem criar gargalos monolíticos.

Os modelos centralizados de gerenciamento de dados costumam fracassar em grandes corporações devido aos seguintes fatores:

Benefícios da malha de dados

Bancos de dados legados e infraestruturas limitadas de gerenciamento de dados criaram a percepção de que os dados deveriam ser mantidos em um único local seguro, acessíveis apenas a alguns gerentes de dados. Atualmente, os dados são o combustível que impulsiona os negócios e devem ser disponibilizados livremente aos especialistas que sabem como usá-los para gerar resultados e lucros em tempos de alta competitividade.

As principais vantagens da arquitetura de malha de dados podem ser resumidas em três categorias:

Agilidade e escalabilidade

Maior acessibilidade aos dados: a malha de dados assegura que as pessoas certas em sua organização tenham acesso aos dados necessários para desempenhar suas funções da melhor forma possível.

Pipelines e processos de dados personalizáveis: muitos dos projetos mais promissores e potencialmente lucrativos acabam sendo arquivados devido à grande dificuldade de integrar os conjuntos de dados únicos e personalizados necessários para alcançar o sucesso. Com uma malha de dados, as equipes podem acessar e testar rapidamente novos modelos de projeto, sem a perda de tempo e de recursos geralmente associada a esse processo.

Redução de gargalos: este é um ganho evidente tanto para equipes de TI quanto para proprietários de dados. Além disso, ao minimizar uma fonte de frustração, as empresas ajudam a eliminar os silos que impedem o desenvolvimento saudável dos negócios.

Qualidade e confiança

Recursos analíticos aprimorados: quando as organizações encaram os dados como um produto a ser usado diariamente, as equipes começam a adotar uma abordagem data-first para planejamento e estratégia. Isso leva à redução de erros e a uma abordagem de desenvolvimento de negócios mais objetiva e menos baseada em opiniões.

Colaboração e reutilização entre domínios

Redução da pressão sobre as equipes centrais de gerenciamento de dados: isso significa não apenas reduzir o backlog e a frustração, mas também liberar horas valiosas para que suas talentosas equipes de TI se concentrem em atividades mais especializadas, interessantes e lucrativas.

Ao descentralizar a propriedade e tratar os dados como um produto, a malha de dados capacita as organizações a avançar mais rápido, tornar os insights mais confiáveis e ter escalabilidade perfeita em todos os domínios.

Princípios fundamentais da malha de dados

Quando falamos de data lakes e malha de dados, estamos falando essencialmente de Big Data. E o que faz esses dados serem “Big” não é simplesmente seu grande volume. Entre outros critérios, o Big Data também é definido por ser complexo, variável, gerado rapidamente e não estruturado.

Um banco de dados linear é como uma planilha: tem colunas, linhas e categorias imutáveis que devem servir para todos os componentes de dados. Alguns dos dados gerados a partir de máquinas, sensores e fontes industriais são estruturados e se encaixam perfeitamente em um banco de dados linear. Não importa o volume de dados com que você precisa lidar, se eles forem 100% estruturados, não atenderão aos critérios de Big Data e poderão ser armazenados em um banco de dados linear, o que simplifica a filtragem e a extração dos dados.

No entanto, o Big Data moderno é cada vez mais não estruturado, composto por elementos visuais, texto aberto, e até vídeos e mídias interativas. Esses dados essenciais podem totalizar milhares de terabytes para muitas empresas, e não podem ser armazenados em um banco de dados linear convencional.

Entra em cena o data lake. Com o crescimento dos volumes de Big Data, os data lakes foram desenvolvidos como um repositório central para armazenar e acessar dados complexos em seu formato bruto. Embora representem uma excelente solução para o problema do Big Data, os data lakes apresentam algumas limitações – como falta de certos recursos analíticos – que os tornam dependentes de outros serviços para recuperação, indexação, transformação, consultas e funcionalidades analíticas.

Quatro princípios de malha de dados são empregados para enfrentar os desafios apresentados pelos data lakes:

1. Propriedade do domínio

A definição de propriedade em data lakes torna-se complicada quando muitos participantes estão envolvidos na geração dos dados e no acesso a eles. Na ausência de funções e responsabilidades claramente definidas, o mesmo conjunto de dados pode ser gerenciado de modo diferente por diferentes partes, criando inconsistências que dificultam o uso. Da mesma forma, outros dados acabam sendo negligenciados quando não são gerenciados ativamente por aqueles que vão usá-los.

A arquitetura de malha de dados resolve isso descentralizando a propriedade e assegurando que a governança de dados seja claramente distribuída por domínio, permitindo que cada equipe ou especialista de domínio gerencie os dados que produz e utiliza. Para sustentar essa abordagem, as malhas de dados adotam uma estrutura de governança federada, que possibilita o controle central da modelagem de dados, além das políticas de segurança e compliance. A propriedade da malha de dados cria responsabilidade e melhora a usabilidade dos dados.

2. Dados como produto

Os data lakes talvez não assegurem a qualidade dos dados quando o volume se torna excessivo ou quando os próprios gerentes de dados centrais não conseguem compreendê-los. A arquitetura de malha de dados considera os dados como um produto valioso, colocando a qualidade e a completude em primeiro plano no gerenciamento de dados. Presume-se que cada equipe conheça os critérios e as questões mais relevantes que deseja extrair dos dados que coleta. Ao integrar esses critérios e prioridades na arquitetura, a malha de dados pode assegurar a entrega contínua e priorizada de dados depurados, atualizados e completos, mesmo em conjuntos de dados maiores. Além disso, quando algoritmos de Machine Learning são aplicados, esses critérios e os conjuntos de dados resultantes se tornam cada vez mais precisos e úteis ao longo do tempo.

3. Plataforma de dados self-service

Os data lakes podem gerar gargalos devido à sua arquitetura centralizada e aos processos e protocolos de recuperação de dados, que costumam ser complexos. Desse modo, o controle de uma grande quantidade de dados consolidados geralmente fica a cargo de uma única equipe de TI ou de gerenciamento de dados. Com o aumento dos volumes de dados e da demanda por recuperá-los, essas equipes de TI acabam sobrecarregadas.

Além disso, os dados precisam ser revisados e estruturados corretamente para garantir o compliance e a adesão aos princípios de governança de dados. Sob pressão excessiva, pode haver uma tendência de apressar essas etapas de compliance, o que gera riscos e perdas potenciais para a empresa. Os princípios de malha de dados resolvem esse problema viabilizando uma plataforma de dados self-service para conceder acesso e controle aos usuários especializados autorizados que têm maior interesse nos dados – tudo regulado por rigorosos protocolos de segurança integrados –, reduzindo gargalos e acelerando a entrega de dados.

4. Governança federada

Embora a descentralização seja fundamental, as organizações não podem abandonar a governança. A malha de dados usa um modelo de governança federada para equilibrar autonomia e consistência. Desse modo, os domínios gerenciam seus próprios produtos de dados, mas devem seguir padrões compartilhados de segurança, compliance e interoperabilidade em toda a organização. Essa abordagem híbrida de governança da malha de dados garante agilidade sem sacrificar a confiança ou a adesão regulatória.

Embora existam desafios na criação de malhas de dados, a arquitetura de gerenciamento de dados descentralizada e democratizada tornou as empresas mais inteligentes, ágeis e precisas. Como? Garantindo que os dados certos estejam imediatamente disponíveis para as pessoas certas, onde e quando precisarem. A malha de dados torna o conceito de dados como produto uma realidade, reduzindo barreiras e priorizando o valor da informação, permitindo que as equipes acessem dados essenciais de maneira mais rápida e desimpedida.

Arquitetura e frameworks de malha de dados

Vimos como a malha de dados representa uma forma descentralizada de arquitetura de dados que os trata como uma ferramenta essencial para a gestão empresarial. É importante ressaltar que equipes independentes são responsáveis por gerenciar os dados em seus domínios de atuação e expertise, garantindo, ao mesmo tempo, o compliance com as práticas de gerenciamento de dados estabelecidas centralmente. Essa mudança de mentalidade está no cerne da malha de dados.

Visão panorâmica de uma arquitetura de malha de dados

Em uma malha de dados, os domínios são os principais produtores e consumidores de dados, cada qual responsável por seus próprios dados como produto, a fim de garantir qualidade e relevância. A plataforma self-service fornece a infraestrutura necessária para publicar, descobrir e consumir esses produtos de dados, além de recursos automatizados de segurança e compliance. A governança opera em um modelo federado, equilibrando padrões globais de interoperabilidade e segurança com a autonomia local para que os domínios possam inovar mantendo a confiança e a consistência em toda a organização.

Para entender melhor como a arquitetura de malha de dados funciona na prática, vamos explorar seus três principais componentes.

Fontes de dados

Representam o repositório – como um data lake – alimentado pelos dados brutos primários. Quer sejam coletados de redes IIoT na nuvem, formulários de feedback de clientes ou extraídos da web, esses são os dados brutos de entrada que os usuários consultarão e processarão conforme necessário em toda a rede. Enquanto uma abordagem de data lake concentraria todos esses dados em um único local central, a metodologia da malha de dados distribui a responsabilidade pela entrada, armazenamento, processamento e extração desses dados brutos entre vários domínios responsáveis.

Infraestrutura de malha de dados

As informações não ficam isoladas em domínios departamentais individuais, mas podem ser compartilhadas livremente por toda a rede operacional da organização, mantendo o compliance com as diretrizes estabelecidas de governança de dados. Isso é resultado direto de dois dos principais pilares da malha de dados: uma plataforma de dados self-service e governança federada. A plataforma de dados self-service fornece as ferramentas e a infraestrutura necessárias para cada domínio ingerir, transformar, processar e oferecer seus dados universalmente. Enquanto isso, os princípios de governança federada garantem a padronização em toda a organização, facilitando a interoperabilidade de dados entre todas as equipes de domínios.

Proprietários de dados

Como o componente final de uma malha de dados, os proprietários são responsáveis pela aplicação dos protocolos de compliance, governança e categorização aos dados de seus departamentos. Por exemplo, os arquivos de RH devem ser armazenados seguindo determinados protocolos de segurança, com definições claras do uso que será feito e das pessoas que terão acesso a eles. Cada departamento terá categorias e tipos de dados exclusivos para suas necessidades ou objetivos. Em um sistema de data lake, as equipes de TI precisam lidar com esses diferentes protocolos e categorias de todos os diversos proprietários de dados que usam o data lake como repositório. Em contrapartida, a arquitetura de malha de dados confere aos proprietários de domínio total autoridade e controle sobre essas questões, pois, afinal, quem melhor do que os especialistas da área para gerenciar seus próprios dados e garantir que atendam aos padrões de qualidade?

O modelo operacional de malha de dados

O modelo operacional de malha de dados reúne pessoas, processos e tecnologia para viabilizar o gerenciamento descentralizado de dados em larga escala. Essa colaboração garante que os dados fluam perfeitamente em toda a organização, promovendo confiança, agilidade e reutilização sem depender de uma única equipe centralizada. A malha de dados facilita a interoperabilidade e a descoberta, com aplicação de padrões compartilhados, uma plataforma comum, formatos e termos de pesquisa consistentes e regras de governança para publicação e consumo de produtos de dados. Com ferramentas de malha de dados, como registros e catálogos de dados, as equipes podem encontrar, acessar com segurança e usar produtos de dados em toda a organização.

Pense em uma malha de dados como uma cidade moderna: cada bairro (domínio) administra seus próprios serviços públicos – como água, eletricidade e coleta de lixo – porque conhece melhor suas necessidades locais. A cidade fornece infraestrutura compartilhada, como estradas e transporte público (plataforma self-service) e padrões de segurança (governança), para que os bairros possam se conectar, acessar recursos municipais e colaborar sem desordem. Desse modo, os recursos fluem livremente pela cidade, todos seguem regras comuns e a inovação prospera localmente, enquanto toda a cidade funciona sem problemas.

Malha de dados na prática: exemplos e casos de uso

Para que evoluam e alcancem maior sucesso, é fundamental que as soluções de gerenciamento de dados sejam utilizáveis e relevantes para uma ampla variedade de aplicativos e operações. Com a melhoria da arquitetura de malha de dados e da facilidade de uso, observamos um aumento no número de funções empresariais que podem ser aprimoradas por meio de uma abordagem segura e distribuída que trata os dados como produto e ferramenta.

Vamos explorar alguns casos de uso comuns de malha de dados em negócios.

Vendas

Para equipes de vendas, o foco está em captar, cultivar e fechar leads. Quanto mais tempo os membros da equipe de vendas passam sentados realizando tarefas administrativas, menos tempo lhes resta para desenvolver relacionamentos com novos clientes. Com a arquitetura de malha de dados, os usuários da equipe de vendas não precisam ser especialistas em recuperação e gerenciamento de dados para acessar os mais poderosos e relevantes conjuntos e combinações de dados. Quando os departamentos de vendas dispõem de todos os dados adequados para análise, isso se traduz em mais insights e estratégias acionáveis.

Exemplo de malha de dados de vendas: equipes de vendas regionais ou responsáveis por um produto específico podem ter seus próprios domínios de dados de CRM e pipeline que as capacitam a realizar previsões precisas e acessar dashboards em tempo real sem depender de uma equipe central de TI.

Cadeia de suprimentos e logística

As modernas cadeias de suprimentos são suscetíveis a uma enorme variedade de disrupções. A vantagem competitiva vem quando as empresas conseguem se ajustar rapidamente e responder com agilidade tanto às ameaças quanto às oportunidades. Os dados da cadeia de suprimentos global chegam cada vez mais rápido e em grande volume – do feedback de clientes a redes IIoT e gêmeos digitais. Quando gestores experientes e qualificados de cadeias de suprimentos conseguem organizar e explorar esses conjuntos de dados em tempo real, as empresas obtêm uma fonte valiosa de insights e expertise.

Exemplo de malha de dados da cadeia de suprimentos: a otimização da cadeia de suprimentos requer visibilidade em tempo real sobre os níveis de estoque, desempenho de fornecedores e dados de logística. A malha de dados dá a cada domínio – procurement, armazenamento, transporte – a propriedade de seus produtos de dados, permitindo a tomada de decisões mais rápidas e operações mais eficientes em termos de custos.

Produção

Como parte da cadeia de suprimentos, as operações de produção também estão vulneráveis a mudanças rápidas no mercado e à volatilidade da demanda dos clientes. No passado, as equipes de design e P&D dependiam de dados históricos de clientes fornecidos por outros departamentos. Hoje, a malha de dados oferece acesso em tempo real aos usuários que trabalham na mesa de desenho, nas equipes de P&D e testes, e até mesmo no chão de fábrica. O feedback instantâneo dos clientes pode orientar rapidamente o desenvolvimento de produtos, enquanto informações atualizadas das redes IIoT e simulações digitais ajudam as fábricas a operar de maneira mais segura, ágil e eficiente.

Exemplo de malha de dados de produção: as equipes de unidades fabris podem ser responsáveis pelos dados de sensores e de desempenho das máquinas, possibilitando a manutenção preditiva e reduzindo o tempo de inatividade por meio de funções analíticas descentralizadas.

Marketing

Hoje, as demandas e expectativas dos clientes estão moldando o futuro, mudando e crescendo em um ritmo sem precedentes. Uma única marca geralmente tem uma infinidade de pontos de contato com os consumidores, incluindo mídias sociais, anúncios digitais direcionados e portais de compras online e omnichannel. O mercado atual demonstra um crescente desejo por personalização rápida, ciclos de vida de produtos mais curtos e elevados níveis de variedade de escolha e competição. Para entender e se antecipar a essas tendências, os profissionais de marketing da atualidade precisam ter acesso simultâneo e em tempo real a uma ampla variedade de conjuntos de dados. No passado, isso significava solicitar esses dados a outros departamentos e esperar pela resposta. No entanto, a instalação de uma malha de dados permite aos profissionais de marketing selecionar e acessar esses dados imediatamente, conforme suas próprias necessidades.

Exemplo de malha de dados de marketing: criar uma visão de 360 graus do cliente requer a integração de dados de vários canais, como e-mail, mídias sociais e anúncios pagos. A malha de dados permite que cada canal tenha seu produto de dados, garantindo melhores experiências para os clientes e insights precisos e em tempo real para campanhas personalizadas.

Recursos humanos

As equipes de RH precisam gerenciar grandes volumes de dados extremamente complexos e confidenciais. Com a tendência crescente dos ambientes de trabalho remotos e híbridos, esses dados estão se tornando cada vez mais complexos e diversificados geograficamente, sem contar as intermináveis mudanças no conjunto de questões legais e de compliance que devem ser prioridade no radar das equipes de RH. Da contratação à aposentadoria, os líderes de RH precisam validar, avaliar e analisar alguns dos conjuntos de dados mais variados das organizações. A arquitetura de malha de dados possibilita a implementação de protocolos de segurança adequados e acesso rigorosamente controlado, ao mesmo tempo que habilita os usuários de RH autorizados a acessar dados e informações rapidamente, sem depender de protocolos internos complexos e da burocracia de vários departamentos.

Exemplo de malha de dados de RH: equipes de recrutamento, folha de pagamento e gestão de desempenho podem controlar seus próprios domínios de dados, melhorando o compliance e habilitando funções analíticas da força de trabalho em tempo real para a tomada de decisões estratégicas.

Finanças

Assim como no RH, as equipes de finanças e contabilidade são responsáveis por dados extremamente críticos e confidenciais. Os modernos sistemas ERP estão revolucionando a área financeira, usando tecnologia de banco de dados in-memory para personalizar relatórios, análises e projeções em tempo real. No entanto, mesmo quando as equipes de finanças têm acesso aos melhores bancos de dados e ERPs, elas muitas vezes ainda enfrentam obstáculos devido a culturas rígidas e arraigadas, grandes silos, além de processos burocráticos e antiquados. A arquitetura de malha de dados traz uma mudança fundamental na forma como os dados financeiros são percebidos e gerenciados, podendo até desafiar a mentalidade estagnada que pode surgir quando as organizações capacitam as equipes a assumirem a responsabilidade e revisarem seus próprios processos de dados ultrapassados.

Exemplo de malha de dados de finanças: as equipes de planejamento financeiro podem possuir domínios de dados de receita, despesas e investimentos, garantindo previsões precisas e agilidade na modelagem de cenários sem depender de uma única equipe central.

É claro que a malha de dados não é apenas outra palavra da moda e é uma tendência da estratégia de dados que precisa ser levada a sério. Empresas de todos os tamanhos e setores estão adotando a malha de dados em busca de maneiras de usar os dados para gerar insights e valor.

Alternativas à malha de dados

Embora ofereça uma abordagem descentralizada ao gerenciamento de dados, a malha de dados não é a única opção. Arquiteturas tradicionais, como data lakes e data warehouses, permanecem amplamente utilizadas para centralizar e armazenar grandes volumes de dados, muitas vezes emparelhados com data lakehouses que combinam recursos de dados estruturados e não estruturados. Outros modelos, como infraestrutura de dados, têm como foco a criação de uma camada unificada para integração e orquestração de dados em diversos sistemas. As alternativas tratam escalabilidade, governança e acessibilidade de maneiras distintas, e a escolha depende das necessidades e da maturidade da organização.

Vejamos as alternativas à malha de dados e como elas se comparam.

Malha de dados versus data lake/lakehouse

Malha de dados
Data lake/data lakehouse
Conceito fundamental
Arquitetura descentralizada com governança federada
Repositório centralizado para dados brutos ou semiestruturados
Foco
Propriedade, governança e descoberta
Armazenamento e processamento de dados em larga escala
Ideal para
Organizações que enfrentam problemas de escalabilidade e gargalos
Empresas que precisam de uma única fonte para as cargas de trabalho de funções analíticas e de ML
Quando escolher
Quando a qualidade dos dados, a autonomia e a colaboração entre domínios são mais importantes
Quando o armazenamento econômico e a execução de funções analíticas em lote são a prioridade

Malha de dados (data mesh) versus data warehouse

Malha de dados
Data warehouse
Conceito fundamental
Produtos de dados distribuídos gerenciados por domínios
Repositório centralizado e estruturado para funções analíticas
Foco
Escalabilidade, agilidade e governança descentralizada
Alto desempenho em consultas e relatórios de BI
Ideal para
Organizações complexas com necessidades de dados heterogêneas e em constante mudança
Empresas com relatórios padronizados e dados estruturados
Quando escolher
Quando flexibilidade, propriedade de domínio e interoperabilidade são cruciais
Quando consistência, relatórios históricos e compliance são prioridades máximas

Malha de dados versus infraestrutura de dados

Malha de dados
Infraestrutura de dados
Conceito fundamental
Propriedade de dados descentralizada e orientada por domínio
Camada de integração centralizada para acesso aos dados
Foco
Modelo organizacional em prol de escalabilidade e autonomia
Conectividade e automação impulsionadas por tecnologia
Ideal para
Grandes corporações com complexas estruturas de domínios
Empresas que precisam de acesso unificado em todos os silos
Quando escolher
Quando agilidade, responsabilidade pelo domínio e dados como produto são prioridades
Quando a integração e a automação perfeitas em ambientes híbridos são o principal objetivo

Implementação de malhas de dados

A implementação de malhas de dados requer uma abordagem estratégica que equilibre descentralização com padrões compartilhados. Estas são as principais etapas da implementação de malhas de dados:

  1. Identificar domínios-piloto: comece em pequena escala, selecionando dois ou três domínios com valor comercial evidente e sólida maturidade em dados. As equipes desses domínios atuarão como pioneiras, validando o modelo de malha de dados antes de estendê-lo a toda a organização.
  2. Estabelecer a plataforma: crie uma plataforma de dados self-service que forneça ferramentas comuns para publicar, descobrir e consumir produtos de dados, incluindo catálogos de dados, APIs e recursos de segurança automatizados a fim de reduzir o atrito para as equipes de domínio.
  3. Definir governança federada: crie políticas de governança que apliquem padrões globais de segurança, compliance e interoperabilidade, ao mesmo tempo que propiciam autonomia aos domínios. A governança deve incluir funções, definições de produtos de dados e expectativas de qualidade claras.

Antipadrões a evitar

Quando a malha de dados é implementada de maneira incorreta, sem seguir os padrões naturais da organização, ela pode gerar confusão e discórdia. Nas malhas de dados, antipadrões são práticas recorrentes que parecem úteis, mas acabam minando os princípios centrais da arquitetura. Os antipadrões a evitar incluem:

Cinco melhores práticas para malha de dados

  1. Começar em pequena escala e iterar: use domínios-piloto para aprimorar os processos antes de expandi-los.
  2. Tratar os dados como um produto: defina a propriedade, os SLAs e os padrões de usabilidade para cada conjunto de dados.
  3. Investir em ferramentas compartilhadas: facilite a publicação e a descoberta para as equipes de domínios.
  4. Incorporar a governança desde o início: equilibre a autonomia com o compliance desde o início.
  5. Manter o foco nos resultados de negócios: alinhe os produtos de dados a valores mensuráveis, e não apenas a metas técnicas.

Ao combinar propriedade de domínio, plataforma robusta e governança federada, as organizações aumentam a agilidade, a confiança e a colaboração entre domínios, sem os gargalos dos tradicionais modelos centralizados.

Medição e métricas

A avaliação do sucesso requer métricas de malha de dados que equilibrem o desempenho técnico com os resultados de negócios. Essas métricas podem incluir:

Em conjunto, essas métricas oferecem insights direcionados sobre se a malha de dados realmente entrega agilidade, confiabilidade e escalabilidade, sem assumir benchmarks padronizados para todos os casos.

Perguntas frequentes sobre malhas de dados

O que é democratização dos dados?
Em sua essência, a democratização dos dados trata de resolver os desafios relacionados aos dados que as pessoas enfrentam em seu trabalho diário. A malha de dados ajuda a resolver essa questão, descentralizando a propriedade dos domínios de negócios – delegando o gerenciamento dos dados aos que estão próximos do contexto destes – e fornecendo uma plataforma self-service que facilita a publicação, a descoberta e o uso de produtos de dados. Mais detalhes sobre a definição, os princípios e como ajudar os colaboradores a se sentirem à vontade para fazer perguntas relacionadas a dados e obter respostas estão listados neste blog.
O que é interoperabilidade?

A interoperabilidade é definida como a capacidade que um sistema ou produto tem de trabalhar em conjunto com outros sistemas ou produtos, sem exigir esforço especial por parte do usuário. A Techtarget destaca que isso ajuda as organizações a alcançar maior eficiência e uma visão mais holística das informações e dos dados. Para informações mais detalhadas, esta lição do Open MOOC apresenta os fundamentos da interoperabilidade de dados, além dos diferentes tipos e camadas de interoperabilidade.

No contexto dos dados, a interoperabilidade vai além da mera conectividade e inclui capacidade de descoberta (facilitando, com catálogos ou registros, encontrar produtos de dados em todos os domínios); contratos (acordos claros e legíveis por máquina sobre esquemas de dados, APIs e SLAs para ajudar a garantir o consumo consistente); e padrões compartilhados (práticas comuns de governança, metadados e segurança para intercâmbio de dados sem atritos entre domínios).

A interoperabilidade ocorre quando, por exemplo, o domínio Cliente publica um produto de dados com perfis de clientes e o domínio Vendas consome esses dados para enriquecer as funções analíticas do pipeline. A interoperabilidade garante que a equipe de vendas possa descobrir o produto de dados do cliente em um catálogo, confiar no respectivo contrato quanto a esquemas e garantias de qualidade, e integrá-lo usando padrões compartilhados sem trabalho manual.

Qual é a diferença entre malha de dados e infraestrutura de dados?

Malha de dados e infraestrutura de dados são diferentes abordagens arquitetônicas dentro da estratégia de gerenciamento de dados das empresas.

A malha de dados é uma abordagem tecnocêntrica que busca maneiras cada vez mais integradas de gerenciar metadados complexos e informações não estruturadas, combinando IA, Machine Learning e funções analíticas avançadas. A malha de dados, por outro lado, embora dependa de todos os avanços tecnológicos na infraestrutura de dados, concentra-se mais em integrar os processos de gerenciamento de dados com os usuários que dependem deles. Seu objetivo é simplificar o acesso e a utilidade dos dados sob a perspectiva das pessoas.

Na relação entre a malha de dados e a infraestrutura de dados, encontramos o paradoxo do ovo e da galinha: as tecnologias de infraestrutura de dados precisam estar sempre evoluindo para que o gerenciamento de dados evolua na velocidade necessária. No entanto, sem processos humanos e estratégias organizacionais que acompanhem essa evolução, não conseguiremos aproveitar adequadamente as tecnologias avançadas de infraestrutura de dados. Assim como o DOS e interfaces complexas deram lugar aos sistemas operacionais de computador mais sofisticados que conhecemos hoje, as arquiteturas de malha de dados estão destinadas a evoluir continuamente à medida que esses processos e tecnologias avançam.

Qual problema a malha de dados resolve?
A malha de dados resolve o problema dos gargalos criados por equipes de dados centralizadas, acelera a obtenção de insights e viabiliza a escalabilidade. Os modelos tradicionais concentram a propriedade e o processamento de dados em uma única equipe, causando atrasos e desacelerando a função. Para resolver essa questão, a malha de dados aplica quatro princípios: propriedade de domínio, dados como produto, plataforma de dados self-service e governança federada. Juntos, esses princípios descentralizam a responsabilidade, melhoram a acessibilidade e aceleram a tomada de decisões.
A malha de dados é uma tecnologia ou um modelo operacional?
A malha de dados é um modelo operacional, não uma tecnologia ou ferramenta específica. É uma forma de organizar como as equipes trabalham com os dados, descentralizando a propriedade para os domínios de negócios e tratando os dados como um produto. O modelo de malha de dados é suportado por recursos de plataforma compartilhados – como infraestrutura self-service, catálogos de dados e ferramentas de governança – que ajudam as equipes a publicar, compartilhar e governar dados com eficiência. Em vez de substituir as tecnologias existentes, a malha de dados fornece um framework para ampliar o uso de dados em toda a organização sem criar gargalos em equipes centralizadas.