Visão geral do data mesh

Data mesh representa uma nova forma de encarar a informação. Surge do conceito crescente de que os dados são, na verdade, um produto, uma ferramenta, um meio para um fim—e não simplesmente algo que as empresas recolhem e analisam mais tarde numa tentativa retrospetiva de compreender acontecimentos que já ocorreram.

Definição de data mesh

Data mesh é uma abordagem de gestão de dados que utiliza uma estrutura arquitetónica distribuída. Por outras palavras, distribui a propriedade e a responsabilidade por conjuntos de dados específicos em toda a organização, atribuindo-as a utilizadores com a experiência especializada para compreender o significado desses dados e como os utilizar da melhor forma.

A arquitetura de data mesh liga e extrai dados de várias fontes, como lakes de dados e armazéns de dados. Em seguida, distribui os conjuntos de dados relevantes aos especialistas humanos e equipas de domínio apropriados em toda a empresa. Essencialmente, um amontoado volumoso de dados num data lake central é organizado e distribuído em partes geríveis para aqueles que estão mais aptos a compreendê-los e a aproveitá-los.

Origens do data mesh

O data mesh teve origem por volta de 2009, em resposta aos desafios de escalar arquiteturas de dados em organizações grandes e complexas. A ideia central por detrás do data mesh é descentralizar a propriedade e a arquitetura dos dados, tratando os dados como um produto e atribuindo a responsabilidade às equipas orientadas por domínio. A malha de dados combina princípios de design orientado por domínios, pensamento de produto e infraestrutura self-service, permitindo que as organizações escalem os sistemas de dados sem criar estrangulamentos monolíticos.

Os modelos de gestão centralizada de dados falham frequentemente em grandes organizações devido a:

• Gargalos na entrega: Uma única equipa central fica sobrecarregada, atrasando o acesso a dados e a análise.
• Lacunas de responsabilidade: A ausência de uma responsabilidade clara pela qualidade dos dados entre domínios causa padrões inconsistentes e problemas de confiança.
• Problemas de escalabilidade: À medida que o volume e a complexidade dos dados aumentam, os sistemas centralizados têm dificuldade em escalar sem um enorme custo adicional.
• Conhecimento insuficiente do domínio: As equipas centrais não têm um entendimento profundo dos domínios de negócio, o que resulta em produtos de dados de baixa qualidade ou desalinhados.
• Agilidade limitada: As alterações que exigem coordenação através de uma única equipa reduzem a capacidade de resposta às necessidades de negócio em evolução.

Vantagens do data mesh

Bases de dados legadas e infraestruturas de gestão de dados limitadas contribuíram para a perceção de que os dados devem ser guardados num único cofre e distribuídos à discrição de alguns gestores de dados. Agora, os dados são o combustível que impulsiona o seu negócio; devem ser disponibilizados livremente aos especialistas que melhor sabem como utilizá-los e gerar lucro em tempos de concorrência.

As principais vantagens da arquitetura data mesh podem ser resumidas em três categorias:

Escalabilidade e agilidade

Acessibilidade de dados aumentada: O data mesh garante que todas as pessoas certas na sua organização possam aceder aos dados de que precisam—para serem absolutamente excelentes nas suas funções.

Pipelines e processos de dados personalizáveis: Muitos dos melhores e potencialmente mais rentáveis projetos são arquivados devido ao enorme trabalho envolvido na curadoria dos conjuntos de dados únicos e personalizados necessários para alcançar o sucesso. Com uma data mesh, as equipas podem aceder e testar rapidamente novos modelos de projeto sem a tradicional perda de tempo ou recursos.

Redução de pontos de estrangulamento: Isto é uma vantagem óbvia para ambas as equipas de TI e os responsáveis pelos dados. Além disso, ao reduzir uma fonte de frustração e irritação, as empresas podem ajudar a eliminar silos que impedem o desenvolvimento saudável do negócio.

Qualidade e confiança

Capacidades analíticas melhoradas: Quando as organizações encaram os dados como um produto a ser utilizado diariamente, as equipas começam a adotar uma abordagem orientada pelos dados no planeamento e na estratégia. Isto leva a uma redução de erros e a uma abordagem mais objetiva e menos baseada em opiniões no desenvolvimento do negócio.

Colaboração e reutilização entre domínios

Redução da pressão sobre as equipas centrais de gestão de dados: Isto significa não só reduzir atrasos e frustrações, mas também libertar inúmeras horas para que as suas talentosas equipas de TI se possam dedicar a tarefas mais especializadas, interessantes e rentáveis.

Ao descentralizar a propriedade e tratar os dados como um produto, o data mesh permite que as organizações avancem mais rapidamente, construam confiança nas informações e escalem de forma fluida entre domínios.

Princípios fundamentais do data mesh

Quando falamos de data lakes e data mesh, estamos essencialmente a falar de big data. O que torna os dados “massivos” não é apenas o seu enorme volume. Entre outros critérios, os big data também se definem por serem complexos, variáveis, gerados rapidamente e não estruturados.

Uma base de dados linear é como uma folha de cálculo: tem colunas e linhas e categorias imutáveis nas quais todos os componentes de dados devem encaixar. Alguns dos dados gerados por máquinas, sensores e fontes industriais são estruturados e encaixam-se perfeitamente numa base de dados linear. Não importa o volume de dados com que tem de lidar, se forem 100% estruturados não cumprem os critérios de big data e podem ser armazenados numa base de dados linear, tornando relativamente simples filtrar e extrair.

Mas, cada vez mais, os dados modernos em grande escala são não estruturados e consistem em componentes visuais, texto aberto e até vídeo e conteúdos multimédia avançados. Estes dados cruciais podem compreender milhares de terabytes de informação para muitas empresas, e simplesmente não podem ser armazenados numa base de dados linear padrão.

Aceda ao lago de dados. À medida que os volumes de big data começaram a aumentar, foram desenvolvidos data lakes como um local onde dados complexos podiam ser armazenados e acedidos a partir de um repositório central no seu formato bruto. Embora os data lakes representem uma excelente solução para o problema dos big data, ainda assim apresentam algumas fraquezas. Os data lakes não possuem certas funcionalidades analíticas, tornando-os dependentes de outros serviços para recuperação, indexação, transformação, consulta e funcionalidades de análise.

Quatro princípios do data mesh abordam os desafios apresentados pelos data lakes:

1. Propriedade do domínio

A definição de propriedade em data lakes é complexa quando há demasiados intervenientes a gerar e aceder a dados. Na ausência de funções e responsabilidades claramente definidas, o mesmo conjunto de dados pode ser gerido de forma diferente por diferentes partes, criando inconsistências que dificultam a sua utilização. Da mesma forma, outros dados acabam por ser negligenciados quando não são geridos ativamente por quem, em última análise, os irá utilizar.

A arquitetura de data mesh resolve isto ao descentralizar a propriedade. Garante que a governação de dados seja claramente distribuída por domínio, para que cada equipa ou especialista de domínio governe os dados que produz e utiliza. Para apoiar isto, as malhas de dados também utilizam uma estrutura de governação federada para permitir igualmente o controlo central de modelação de dados, políticas de segurança e conformidade. A responsabilidade pela propriedade do data mesh cria responsabilização e melhora a usabilidade dos dados.

2. Dados como um produto

Os data lakes podem falhar em garantir a qualidade dos dados quando o volume de dados se torna demasiado grande ou quando os gestores centrais de dados não os compreendem. A arquitetura de data mesh trata fundamentalmente os dados como um produto valioso, colocando a qualidade e a completude dos dados na vanguarda da gestão de dados. Presumivelmente, cada equipa conhece os critérios e questões mais importantes que deseja extrapolar dos dados que está a recolher. Ao integrar estes critérios e prioridades na arquitetura, a malha de dados pode ajudar a garantir a entrega contínua e prioritária de dados limpos, frescos e completos, mesmo quando estão envolvidos conjuntos de dados maiores. E, claro, quando os algoritmos de aprendizagem automática são aplicados, estes critérios e os conjuntos de dados resultantes tornam-se cada vez mais precisos e úteis ao longo do tempo.

3. Plataforma de dados self-service

Os data lakes podem criar pontos de estrangulamento devido à sua arquitetura centralizada e aos processos e protocolos de recuperação de dados tradicionalmente difíceis. Isto normalmente significa que o controlo de uma grande quantidade de dados consolidados fica a cargo de uma única equipa de TI ou de gestão de dados. E, à medida que os volumes de dados (e a procura pela sua recuperação) aumentam, estas equipas de TI ficam sobrecarregadas.

Além disso, os dados devem ser revistos e estruturados corretamente para garantir a conformidade e o cumprimento dos princípios de governação de dados. Quando se enfrenta uma pressão indevida, pode haver uma tendência para apressar estas etapas de conformidade, o que gera risco potencial e prejuízo para a empresa. Os princípios do data mesh abordam esta questão ao possibilitar uma plataforma de dados self-service. Dá acesso e controlo a utilizadores especializados autorizados que têm um maior interesse nos dados—tudo isto enquanto utiliza protocolos de segurança rigorosos e integrados. Isto reduz os estrangulamentos e acelera a entrega de dados.

4. Governação federada

Embora a descentralização seja fundamental, as organizações não podem abandonar a governação. O data mesh utiliza um modelo de governação federada para equilibrar a autonomia com a consistência. Isto significa que os domínios gerem os seus próprios produtos de dados, mas devem cumprir normas partilhadas de segurança, conformidade e interoperabilidade em toda a organização. Esta abordagem híbrida de governação de data mesh garante agilidade sem sacrificar a confiança ou o cumprimento das normas regulamentares.

Embora existam desafios na implementação do data mesh, a arquitetura descentralizada e democratizada de gestão de dados tornou as empresas mais inteligentes, ágeis e precisas. Como? Ao garantir que os dados certos estão imediatamente disponíveis para as pessoas certas, onde e quando precisarem deles. O data mesh torna o conceito de dados-como-produto uma realidade, reduzindo barreiras e priorizando o valor da informação para que as equipas possam obter acesso mais rápido e desimpedido aos dados essenciais.

Arquitetura e frameworks de data mesh

Discutimos como o data mesh é uma forma descentralizada de arquitetura de dados que trata os dados como uma ferramenta essencial de gestão empresarial. E, de forma importante, como as equipas independentes são responsáveis por gerir os dados dentro dos seus domínios de trabalho e especialização, garantindo ao mesmo tempo o cumprimento das práticas de gestão de dados determinadas centralmente. Esta mudança de mentalidade está no cerne do data mesh.

Uma visão panorâmica de uma arquitetura de data mesh

Numa data mesh, os domínios são os principais produtores e consumidores de dados, cada um sendo responsável pelos seus dados como um produto para garantir qualidade e relevância. A plataforma de autoatendimento fornece a infraestrutura para publicar, descobrir e consumir estes produtos de dados, juntamente com funcionalidades automatizadas de segurança e conformidade. A governação funciona num modelo federado, equilibrando normas globais para interoperabilidade e segurança com autonomia local, permitindo que os domínios inovem enquanto mantêm a confiança e a consistência em toda a organização.

Para compreender melhor como a arquitetura de data mesh se integra, vamos analisar os seus três principais componentes.

Fontes de dados

Estes representam o repositório—como um data lake—no qual os dados brutos principais estão a ser inseridos. Quer seja recolhido de redes IIoT na cloud, formulários de feedback de clientes ou dados extraídos da web, estes são os dados brutos de entrada que os utilizadores irão consultar e processar conforme necessário em toda a rede. Enquanto a abordagem de data lake canalizaria todos estes dados para um local central, a metodologia de data mesh distribui, em vez disso, a responsabilidade pela recolha, armazenamento, processamento e extração destes dados brutos por uma série de domínios responsáveis.

Infraestrutura de data mesh

A informação não está isolada apenas nos domínios departamentais individuais, podendo também ser partilhada livremente através da rede operacional da organização, mantendo-se em conformidade com as diretrizes estabelecidas de governação de dados. Este é um resultado direto de dois dos pilares fundamentais do data mesh: Uma plataforma de dados self-service e uma governação federada. A plataforma de dados self-service fornece as ferramentas e a infraestrutura necessárias para que cada domínio possa ingerir, transformar, processar e disponibilizar os seus dados de forma universal. Entretanto, os princípios de governação federada garantem a normalização em toda a organização, permitindo uma interoperabilidade de dados sem esforço entre todas as equipas de domínio.

Proprietários dos dados

Como componente final de uma malha de dados, os proprietários dos dados são responsáveis por aplicar os protocolos de conformidade, governação e categorização aos dados dos seus departamentos. Por exemplo, os ficheiros de RH devem ser armazenados utilizando determinados protocolos de segurança, não devem ser utilizados para este ou aquele fim, e só devem ser disponibilizados a determinadas pessoas. Claro que cada departamento terá categorias e tipos de dados únicos do seu departamento ou das suas finalidades. Num sistema de data lake, as equipas de TI têm de lidar com todos estes diferentes protocolos e categorias para todos os diferentes proprietários de dados que depositaram informações no lago. Enquanto a arquitetura data mesh dá aos responsáveis pelos domínios total autoridade e controlo sobre estas questões, porque, mais uma vez, quem melhor do que os especialistas na matéria para gerir os seus próprios dados e garantir que cumprem os padrões de qualidade?

O modelo operacional de data mesh

O modelo operacional de data mesh reúne pessoas, processos e tecnologia para permitir a gestão descentralizada de dados em grande escala. Esta colaboração garante que os dados fluam de forma contínua por toda a organização, promovendo confiança, agilidade e reutilização sem depender de uma única equipa centralizada. A malha de dados permite a interoperabilidade e a descoberta ao impor padrões partilhados e fornecer uma plataforma comum, formatos consistentes e termos de pesquisa, bem como regras de governação para a publicação e consumo de produtos de dados. Ferramentas de data mesh, como catálogos e registos de dados, permitem que as equipas encontrem rapidamente, acedam de forma segura e utilizem produtos de dados em toda a organização.

Pense numa malha de dados como uma cidade moderna: cada bairro (domínio) gere os seus próprios serviços e utilidades—como água, eletricidade e resíduos—porque conhece melhor as suas necessidades locais. A cidade fornece infraestruturas partilhadas, como estradas e transportes públicos (plataforma de autoatendimento) e normas de segurança (governação), para que os bairros possam conectar-se, aceder aos recursos da cidade e colaborar sem caos. Desta forma, os recursos circulam livremente pela cidade, todos seguem regras comuns e a inovação prospera localmente, enquanto toda a cidade funciona de forma harmoniosa.

Data mesh na prática: Exemplos e casos de uso

Para que as soluções de gestão de dados evoluam e se tornem mais bem-sucedidas, têm de ser utilizáveis e relevantes para uma vasta gama de aplicações e operações. À medida que a arquitetura de data mesh e a facilidade de utilização melhoram, observamos um aumento na variedade de funções empresariais que as organizações podem aprimorar com uma abordagem segura e distribuída dos dados como produto e ferramenta.

Vamos explorar alguns casos de uso empresariais comuns de data mesh.

Vendas

Para as equipas de vendas, tudo se resume a adquirir, nutrir e fechar leads. Quanto mais tempo os membros da sua equipa de vendas passam nas suas secretárias a realizar tarefas administrativas, menos tempo têm para criar relações com novos clientes. Com a arquitetura data mesh, os utilizadores da equipa de vendas não precisam de ser especialistas em gestão e recuperação de dados para terem ao seu dispor os conjuntos de dados e combinações mais poderosos e relevantes. Quando os departamentos de vendas têm todos os dados certos para analisar, isso traduz-se em mais informações acionáveis e estratégias.

Exemplo de malha de dados de vendas: As equipas de vendas regionais ou específicas de produtos podem ser responsáveis pelos seus próprios domínios de dados de CRM e pipeline, permitindo previsões precisas e painéis em tempo real sem depender de uma equipa central de TI.

Cadeia de abastecimento e logística

As cadeias de abastecimento modernas são vulneráveis a uma enorme variedade de perturbações. Uma vantagem competitiva surge quando as empresas conseguem adaptar-se rapidamente e responder tanto a ameaças como a oportunidades com igual agilidade. Os dados da cadeia de abastecimento global de hoje estão a chegar em grande quantidade e rapidamente—desde o feedback dos clientes, às redes IIoT e gémeos digitais. Quando gestores de cadeia de abastecimento experientes e perspicazes conseguem eles próprios selecionar e analisar qualquer um desses conjuntos de dados em tempo real, as empresas obtêm uma poderosa fonte de conhecimento e discernimento.

Exemplo de malha de dados na cadeia de abastecimento: A otimização da cadeia de abastecimento requer visibilidade em tempo real dos níveis de inventário, desempenho dos fornecedores e dados logísticos. A malha de dados dá a cada domínio—aprovisionamento, armazenagem, transporte—a propriedade dos seus produtos de dados, permitindo decisões mais rápidas e operações mais eficientes em termos de custos.

Fabrico

Como parte da cadeia de abastecimento, as operações de fabrico de uma empresa são igualmente vulneráveis a mudanças rápidas no mercado e a exigências voláteis dos clientes. No passado, as equipas de design e de I&D tinham de depender de dados históricos de clientes, fornecidos por outros departamentos. Hoje, a malha de dados proporciona acesso em tempo real aos dados para utilizadores que trabalham na mesa de desenho, nas equipas de I&D e de testes, e até ao chão de fábrica. O feedback dos clientes em tempo real pode informar o desenvolvimento de produtos de forma instantânea, e informações atualizadas de redes IIoT e simulações digitais podem ajudar as fábricas a operar de forma mais segura, rápida e eficiente.

Fabricação exemplo de data mesh: As equipas ao nível da fábrica podem ser responsáveis pelos dados dos sensores e do desempenho das máquinas, permitindo a manutenção preditiva e reduzindo o tempo de inatividade através de análises descentralizadas.

Marketing

Atualmente, as exigências e expectativas dos clientes estão a moldar o futuro e a mudar e crescer a um ritmo sem precedentes. Uma única marca tem, normalmente, inúmeros pontos de contacto com o consumidor através das redes sociais, anúncios digitais direcionados e portais de compras online e omnicanal. O mercado atual observa um desejo crescente por personalização rápida, ciclos de vida de produtos mais curtos e níveis enormes de escolha e concorrência. Para compreender e antecipar estas tendências, os profissionais de marketing modernos precisam de acesso em tempo real e simultâneo a uma grande variedade de conjuntos de dados. No passado, isto significava solicitar (e esperar por) estes dados a outros departamentos. Com uma configuração de data mesh, no entanto, os profissionais de marketing podem selecionar e aceder a estes dados no momento, nos seus próprios termos.

Exemplo de malha de dados de marketing: Construir uma visão 360 do cliente requer a integração de dados de vários canais, como email, redes sociais e anúncios pagos. A malha de dados permite que cada canal seja responsável pelo seu produto de dados, garantindo informações precisas e em tempo real para campanhas personalizadas e melhores experiências para os clientes.

Recursos humanos

As equipas de RH têm de gerir grandes quantidades de dados extremamente complexos e sensíveis. E com a crescente tendência para ambientes de trabalho remotos e híbridos, esses dados estão a tornar-se mais complexos e geograficamente diversos a cada dia. Sem mencionar o conjunto sempre em mudança de questões de conformidade e legais que as equipas de RH devem acompanhar com tanta urgência. Desde a contratação até à reforma, os líderes de RH devem ser capazes de validar, avaliar e analisar alguns dos conjuntos de dados mais amplamente díspares em qualquer organização. A arquitetura de data mesh permite a implementação dos protocolos de segurança adequados e o acesso rigorosamente restrito. Ao mesmo tempo, permite que utilizadores autorizados de RH acedam a dados e informações de forma rápida e sem dependência de protocolos internos complexos e burocracia entre vários departamentos.

Exemplo de data mesh em RH: As equipas de recrutamento, processamento salarial e gestão de desempenho podem gerir os seus próprios domínios de dados, melhorando a conformidade e permitindo análises em tempo real da força de trabalho para uma tomada de decisões estratégica.

Finanças

Tal como acontece com os Recursos Humanos, as equipas de finanças e contabilidade também são responsáveis por dados extremamente cruciais e sensíveis. Os sistemas ERP modernos estão a revolucionar as finanças, utilizando tecnologia de base de dados em memória para personalizar relatórios, análises e projeções em tempo real. No entanto, mesmo quando as equipas financeiras utilizam as melhores bases de dados e ERPs, muitas vezes continuam a enfrentar obstáculos devido a culturas antigas e rígidas, silos pesados e processos burocráticos e antiquados. A arquitetura de data mesh traz uma mudança fundamental na forma como os dados financeiros são vistos e geridos. Pode até abalar formas de pensar estagnadas que podem surgir quando as organizações dão poder às equipas para assumirem e reverem os seus próprios processos de dados envelhecidos.

Exemplo de malha de dados financeiros: As equipas de planeamento financeiro podem ser responsáveis pelos domínios de dados de receitas, despesas e investimentos, garantindo previsões precisas e uma modelação ágil de cenários sem depender de uma única equipa central.

É claro que data mesh não é apenas mais uma palavra da moda e é uma estratégia de dados que deve ser levada a sério. Empresas de todas as dimensões e setores estão a utilizar data mesh, procurando formas de usar os dados para criar insights e valor.

Alternativas ao data mesh

Embora o data mesh ofereça uma abordagem descentralizada à gestão de dados, não é a única opção. Arquiteturas tradicionais, como data lakes e data warehouses, continuam a ser amplamente utilizadas para centralizar e armazenar grandes volumes de dados, frequentemente combinadas com data lakehouses que unem capacidades de dados estruturados e não estruturados. Outros modelos, como data fabric, concentram-se na criação de uma camada unificada para integração e orquestração de dados entre sistemas diversos. Cada alternativa aborda a escalabilidade, a governação e a acessibilidade de forma diferente, tornando a escolha dependente das necessidades e maturidade da organização.

Vamos analisar as alternativas ao data mesh e como se comparam.

Data mesh vs. data lake/lakehouse

Data mesh vs. data warehouse

Malha de dados vs. tecido de dados

Implementação de data mesh

Implementar uma malha de dados requer uma abordagem estratégica que equilibre a descentralização com padrões partilhados. Aqui estão as principais etapas do data mesh:

1. Identifique domínios piloto: Comece de forma modesta, selecionando dois ou três domínios com valor comercial claro e forte maturidade de dados. Estas equipas serão as primeiras a adotar, comprovando o modelo de data mesh antes de o expandir por toda a organização.
2. Estabeleça a plataforma: Construa uma plataforma de dados self-service que forneça ferramentas comuns para publicar, descobrir e consumir produtos de dados. Isto inclui catálogos de dados, APIs e funcionalidades de segurança automatizadas para reduzir obstáculos para as equipas de domínio.
3. Defina governação federada: Crie políticas de governação que imponham normas globais de segurança, conformidade e interoperabilidade, permitindo ao mesmo tempo autonomia aos domínios. A governação deve incluir funções claras, definições de produtos de dados e expectativas de qualidade.

Antipadrões a evitar

Quando a abordagem de data mesh é feita de forma incorreta, sem seguir os padrões organizacionais naturais, pode causar confusão e discórdia. Um antipadrão em data mesh é uma abordagem ou prática recorrente que parece útil, mas que, em última análise, compromete os princípios fundamentais da arquitetura. Padrões a evitar incluem:

• Tratar a malha de dados como apenas outro lago de dados centralizado.
• Ignorar a mudança cultural—só a tecnologia não resolverá as questões de propriedade.
• Sobrecarregar a plataforma com engenharia excessiva antes de provar o valor para o negócio.
• Falta de responsabilidade clara pela qualidade dos dados.
• Escalar demasiado rapidamente sem validar o modelo de data mesh nos domínios piloto.

Cinco melhores práticas para data mesh

1. Comece em pequeno e vá iterando: Utilize domínios piloto para aperfeiçoar os processos antes de expandir.
2. Trate os dados como um produto: Defina a propriedade, SLAs e padrões de usabilidade para cada conjunto de dados.
3. Invista em ferramentas partilhadas: Facilite a publicação e a descoberta para as equipas de domínio.
4. Incorpore a governação desde o início: Equilibre a autonomia com a conformidade desde o princípio.
5. Foque nos resultados empresariais: Alinhe os produtos de dados com valor mensurável, e não apenas com objetivos técnicos.

Ao combinar a propriedade de domínios, uma plataforma robusta e uma governação federada, as organizações podem melhorar a agilidade, a confiança e a colaboração entre domínios—sem os bloqueios dos modelos centralizados tradicionais.

Medição e métricas

Avaliar o sucesso requer métricas de data mesh que equilibrem o desempenho técnico com os resultados de negócio. Estes indicadores podem incluir:

• SLOs/SLAs de qualidade de produtos de dados: Essenciais, mas devem ser adaptados ao contexto de cada domínio em vez de serem aplicados de forma uniforme. Os exemplos de KPIs de produtos de dados são:

  • Atualização dos dados: Percentagem de produtos de dados atualizados dentro do prazo acordado—por exemplo, de hora a hora ou diariamente
  • Completude: Percentagem de campos obrigatórios preenchidos nos conjuntos de dados
  • Disponibilidade: Tempo de atividade dos produtos de dados—por exemplo, 99,9%

• Adoção e reutilização por parte dos consumidores: Pode ser um forte indicador de valor, mas medi-lo com precisão geralmente envolve acompanhar padrões de utilização e feedback entre equipas. Exemplos de KPIs de adoção e reutilização por parte do consumidor são:

  • Número de consumidores únicos por produto de dados
  • Taxa de reutilização entre domínios: Percentagem de produtos de dados consumidos por vários domínios
  • Pontuação de satisfação do consumidor a partir de inquéritos ou feedback

• Tempo para obter insights e custo de serviço: Realce os ganhos de eficiência em comparação com modelos centralizados, mas estas melhorias dependem da maturidade organizacional e dos processos de base. Exemplos de KPIs de tempo para obter insights e custo de serviço são:

  • Tempo médio desde o pedido de dados até à obtenção de insights acionáveis
  • Redução dos custos operacionais em comparação com o modelo centralizado
  • Percentagem de redução do atraso nos pedidos de dados

• Lacuna comum dos concorrentes a aproveitar: Foque nas áreas onde os concorrentes têm dificuldades e utilize princípios de data mesh para superá-los. Exemplos de lacunas em relação à concorrência a captar nos KPIs são:

  • Número de fraquezas dos concorrentes identificadas e abordadas através das capacidades do produto de dados—por exemplo, melhor capacidade de descoberta, acesso mais rápido aos dados
  • Vantagem de tempo de lançamento no mercado para novos produtos de dados em relação aos concorrentes
  • Aumento na taxa de adoção do self-service em comparação com as estimativas dos concorrentes

Em conjunto, estes indicadores fornecem uma visão orientadora sobre se o data mesh está a proporcionar agilidade, confiança e escalabilidade, sem assumir referências universais.

Perguntas Frequentes sobre Data Mesh