O que é gestão de dados?
A gestão de dados é a prática de recolher, organizar, gerir e aceder a dados para apoiar a produtividade, a eficiência e a tomada de decisões.
Visão geral da gestão de dados
Os dados são essenciais para a forma como uma empresa opera e funciona. As empresas têm de compreender os dados e encontrar relevância no ruído criado pelos diversos sistemas e tecnologias que sustentam as atuais economias digitais globais altamente conectadas. Neste aspeto, os dados ocupam um lugar de destaque. Por si só, os dados são inúteis – as empresas precisam de ter uma estratégia eficaz, governance e um modelo de gestão de dados, para tirarem partido de todas as formas de dados e poderem utilizá-los de forma prática e eficiente em cadeias logísticas, redes de colaboradores, ecossistemas de clientes e parceiros... e muito mais.
Definição e processo de gestão de dados
A gestão de dados é a prática de recolher, organizar, gerir e aceder a dados para apoiar a produtividade, a eficiência e a tomada de decisões. Devido ao papel fundamental que os dados desempenham atualmente nos negócios, é essencial que todas as empresas tenham uma estratégia empresarial eficaz e uma plataforma moderna de gestão de dados – independentemente do tamanho ou setor de atividade. A gestão de dados é importante para diversos casos de utilização baseados em dados, que incluem execução de processos de ponta a ponta, conformidade com regulamentos, funções analíticas e IA exatas, migração de dados e transformação digital.
O processo de gestão de dados inclui um vasto conjunto de tarefas e procedimentos, como:
Recolha, processamento e validação de dados
Integração de diferentes tipos de dados de diversas fontes, incluindo dados estruturados e não estruturados
Gestão da qualidade dos dados para cumprir padrões empresariais
Fornecimento de self-service, colaboração e acesso a dados
Proteção e segurança dos dados e garantia de privacidade dos dados
Gestão do ciclo de vida dos dados, desde a criação até à eliminação
Garantia de elevada disponibilidade dos dados e de recuperação de desastres
Os elementos essenciais da gestão de dados
Por que é importante a gestão de dados?
Cada aplicação, solução de funções analíticas e algoritmo utilizado numa empresa (as regras e os processos associados que permitem à tecnologia resolver problemas e realizar tarefas) depende de um acesso fluido a dados de alta qualidade. Essencialmente, um sistema de gestão de dados ajuda a garantir que os dados estão seguros, disponíveis e que são exatos. Mas os benefícios da gestão de dados não se esgotam aqui.
Transformar dados num ativo empresarial de alto valor
Demasiados dados podem representar uma sobrecarga – e uma inutilidade – se não forem corretamente geridos. Se a isso somarmos os crescente níveis de diversidade, distribuição e exigência de dados, é fácil compreender como as organizações podem ter dificuldades para tirarem partido dos dados como um ativo para satisfazerem as suas necessidades de empresa digital. No entanto, com as ferramentas certas, os dados podem ser dominados para capacitar as empresas com insights mais aprofundados do que nunca, com previsões mais exatas e processos empresariais inovadores. Pode permitir que as empresas compreendam melhor o que os clientes querem e ajudá-las a proporcionarem experiências de cliente excecionais, com base nas informações fornecidas pelos dados. Também pode ajudar a promover novos modelos de negócio baseados em dados – como ofertas de apoio ao cliente baseadas em dados em IA generativa – que não seriam exatos sem uma base sólida de dados de elevada qualidade para treinar os modelos.
"Ser baseado em dados significa utilizar dados e o que for necessário para lidar com a complexidade do estado, armazenamento, acesso, qualidade e contexto, para permitir que as organizações concretizem as suas aspirações baseadas em dados e que estão no centro do sucesso da empresa digital."
Gartner "Data Management Solutions Primer for 2023." Adam Ronthal, Ehtisham Zaidi, 14 de fevereiro de 2023
Não é segredo que as organizações baseadas em dados têm uma importante vantagem competitiva. Com ferramentas avançadas, as empresas conseguem gerir e aceder a mais dados provenientes de mais fontes do que nunca. Também conseguem tirar partido de muitos tipos diferentes de dados, estruturados e não estruturados, em tempo real – incluindo dados de dispositivos com Internet of Things (IoT), ficheiros de vídeo e áudio, dados de sequências de cliques da Internet e comentários em redes sociais – proporcionando mais oportunidades para monetizar os dados e utilizá-los como um ativo.
Estabelecer uma base sólida de dados para a transformação digital
Diz-se muitas vezes que os dados são vitais para a transformação digital – e é verdade. Os líderes de dados e funções analíticas (D&A) têm de conseguir lidar com as exigências dos negócios digitais e com a crescente complexidade da estrutura de dados (incluindo o impacto da Cloud). IA, machine learning, Indústria 4.0, funções analíticas avançadas, IoT e automatização inteligente - tudo isto exige grandes volumes de dados oportunos, exatos e seguros para funcionarem ao melhor nível.
O machine learning e a IA generativa, por exemplo, necessitam de conjuntos de dados muito grandes e diversos para "aprenderem", identificarem padrões complexos, resolverem problemas e manter os modelos e algoritmos atualizados e a funcionar corretamente. As funções analíticas avançadas (que costumam tirar partido de machine learning e IA) também dependem de vastas quantidades de dados de alta qualidade, para produzirem insights relevantes e úteis que sirvam de base a medidas tomadas com confiança. Os cenários de IoT e de IoT Industrial dependem de um fluxo constante de dados de máquinas e sensores, fornecidos a velocidades extremamente altas.
O denominador comum de qualquer projeto de transformação digital são os dados. Para que as empresas consigam transformar processos, tirar partido de novas tecnologias e tornarem-se empresas inteligentes, precisam de uma base sólida de dados. Em resumo, precisam de um sistema de gestão de dados moderno.
"A sobrevivência de qualquer empresa dependerá de uma arquitetura ágil e centrada em dados, capaz de reagir ao ritmo constante da mudança."
Donald Feinberg, Vice-presidente da Gartner
Garantir a conformidade com as leis de privacidade de dados
Uma boa gestão de dados também é essencial para garantir a conformidade com legislação nacional e internacional sobre a privacidade dos dados – como o Regime Geral de Proteção de Dados (RGPD) e o California Consumer Privacy Act nos Estados Unidos da América – tal como são os requisitos de privacidade e segurança específicos de cada setor de atividade. E quando for necessário comprovar ou auditar essas proteções, é crucial ter políticas e procedimentos estabelecidos para uma robusta gestão de dados.
Abordagens à gestão de dados
Tanto infraestrutura de dados como malha de dados, tornaram-se nos últimos anos elementos populares da terminologia de gestão de dados, com muitas organizações a adotarem-nos para as suas arquiteturas de gestão de dados. O estilo de arquitetura da infraestrutura de dados serve para criar uma camada de ligação para diversas fontes de dados, facilitando o self-service, o acesso a dados e o fornecimento de dados em toda a empresa. Uma arquitetura de malha de dados serve para tornar abstratas as diferentes localizações onde armazena os seus dados, na perspetiva do utilizador final, apresentando uma única visão unificada que pode ser utilizada como tal, mesmo quando a arquitetura subjacente é altamente distribuída.
Malha de dados
Malha de dados é uma abordagem à gestão de dados que utiliza um enquadramento arquitetural distribuído. Por outras palavras, distribui propriedade e responsabilidade de conjuntos de dados específicos por toda a empresa, aos utilizadores que têm os conhecimentos especializados para compreenderem o que os dados significam e como podem ser mais bem utilizados. Uma arquitetura de malha de dados interliga e obtém dados a partir de várias fontes, como data lakes e data warehouses, e distribui os conjuntos de dados relevantes pelos especialistas humanos e equipas de domínio adequados existentes na empresa. Essencialmente, um enorme emaranhado de dados num data lake central é ordenado e distribuído em conjuntos mais fáceis de gerir, por quem é mais capacitado para os compreender e tirar partido deles.
Infraestrutura de dados
Uma infraestrutura de dados é uma combinação de arquitetura de dados e soluções de software dedicadas que centralizam, ligam, gerem e administram dados em diferentes sistemas e aplicações. As soluções de infraestrutura de dados permitem-lhe ligar e gerir dados em tempo real, em diferentes sistemas e aplicações. Isso torna possível criar uma única fonte fidedigna e utilizar e aceder a esses dados a qualquer momento e em qualquer lugar que sejam necessários – democratizando e automatizando os processos de gestão de dados. Uma infraestrutura de dados também simplifica os dados, especialmente em arquiteturas distribuídas complexas, disponibilizando-os para serem utilizados em aplicações de funções analíticas, IA e machine learning, através da respetiva unificação, limpeza, enriquecimento e segurança. A arquitetura e as soluções de infraestrutura de dados permitem às empresas tirarem partido dos seus dados e adaptarem a escala dos seus sistemas, ao mesmo tempo que se adaptam à rápida mudança dos mercados.
Gestão de dados mestre (MDM)
A gestão de dados mestre é a disciplina de criação de uma referência principal de confiança (uma única versão fidedigna) para todos os dados empresariais importantes, como dados de produto, dados de cliente, dados de ativos e dados financeiros, entre outros. A MDM ajuda a garantir que as empresas não utilizam várias versões de dados, potencialmente inconsistentes, em diferentes partes dos negócios, incluindo processos, operações, funções analíticas e relatórios. Os três pilares essenciais de uma MDM eficaz incluem: consolidação de dados, governance de dados e gestão da qualidade dos dados.
"Uma disciplina dotada de tecnologia em que a empresa e a organização de TI trabalham juntas para garantirem a uniformidade, exatidão, administração, consistência semântica e responsabilização dos ativos de dados oficiais e partilhados da empresa."
Definição de MDM da Gartner
Integração de dados
Integração de dados é a prática de consumir, transformar, combinar e aprovisionar dados, onde e quando é necessário. Essa integração ocorre na empresa e fora dela – em parceiros e em fontes de dados e casos de utilização de terceiros – para satisfazer as necessidades de consumo de dados de todas as aplicações e processos empresariais. As técnicas utilizadas incluem movimento de dados em massa/lote, extração, transformação, carregamento (ETL), captação de alterações de dados, replicação de dados, virtualização de dados, integração de dados de transmissão em fluxo, orquestração de dados e muito mais.
Descoberta e catalogação de dados
A descoberta de dados e a catalogação de dados permitem-lhe perceber que dados possui e determinar como estão relacionados. A descoberta é frequentemente fornecida como par da criação de perfis de dados (que existe para gerar uma visão ampla dos seus dados em termos da respetiva estrutura, conteúdo, etc.) e indica a localização e as relações existentes entre diferentes conjuntos de dados, seja no interior ou de forma transversal em várias fontes de dados (heterogéneas). De um modo geral, é uma ferramenta fundamental para compreender a sua estrutura de dados. A descoberta de dados sensíveis é uma subcategoria particularmente relacionada com a localização e classificação de dados pessoais ou sensíveis dentro da sua organização, para que possam ser adequadamente protegidos em nome da privacidade, segurança e conformidade regulatória dos dados.
A descoberta de dados também se utiliza para criar catálogos de dados, em conjunto com outras técnicas de automatização mais avançadas, como IA e machine learning. Os catálogos de dados constituem em repositório de informações (conhecidas como metadados) sobre os seus ativos de dados: que dados são detidos, onde se encontram, em que formato existem e em que domínio são relevantes. O máximo possível dessas informações deve ser recolhido automaticamente e pode ser ainda classificado por geografia, tempo, controlo de acesso e por aí adiante. Os catálogos são indexados e pesquisáveis e são compatíveis com self-service e colaboração. Catálogos mais abrangentes consomem mais metadados provenientes de diversas fontes derivadas, como relatórios e dashboards analíticos, além das fontes físicas dos seus dados. Habitualmente, os catálogos são utilizados em conjunto com ferramentas de preparação de dados, e são importantes para apoiar o governance de dados e o acesso a dados colaborativo e baseado em self-service.
Governance, segurança e conformidade dos dados
Governance de dados é um conjunto de regras e responsabilidades para garantir a disponibilidade, qualidade, conformidade e segurança dos dados em toda a organização. O governance de dados estabelece a infraestrutura e os nomes (ou posições) dos indivíduos que, numa organização, têm autoridade e a responsabilidade de tratar e salvaguardar géneros e tipos específicos de dados. O governance de dados é uma parte essencial da conformidade. Os sistemas tratarão da mecânica da segurança, do armazenamento e do acesso, bem como da eliminação e retenção corretas. O governance de dados também ajuda a garantir que os dados são exatos à partida e que cumprem padrões empresariais antes de serem introduzidos no sistema, enquanto são utilizados e quando são obtidos no sistema para utilização ou armazenamento noutro lugar. Do ponto de vista organizacional, o governance especifica a forma como os indivíduos responsáveis utilizam processos e tecnologias para gerirem e protegerem dados.
A segurança dos dados é atualmente uma grande preocupação a nível mundial, devido aos hackers, vírus, ciberataques e violações de dados. Ainda que a segurança esteja incorporada nos sistemas e nas aplicações, o governance de dados existe para garantir que esses sistemas são corretamente configurados e administrados para protegerem os dados, e que são impostos procedimentos e responsabilidades para proteger os dados fora dos sistemas e da base de dados.
O que é uma estratégia de dados empresarial e por que deve ter uma?
Atualmente, as estratégias empresariais dependem de dados para automatizarem processos, personalizarem experiências de cliente e colaborador, promoverem o crescimento através de novos mercados ou de aquisições, e para inovarem. Assim, o sucesso empresarial depende cada vez mais do alinhamento da sua estratégia de dados com a sua estratégia empresarial. Uma estratégia de dados deve ser compreendida em todos os níveis da organização. Tem de ter significado e contexto para a empresa.
Uma empresa precisa de uma estratégia de dados para priorizar o seu trabalho. Todos sabemos que a quantidade de dados que uma empresa gera e utiliza está a aumentar significativamente. Existirão sempre mais problemas e requisitos de dados do que recursos. As empresas têm de ter uma forma de priorizar as atividades de dados baseada no que realizará mais valor através da estratégia de dados. A estratégia tem de ser um "organismo vivo", estar totalmente alinhada com as prioridades empresariais e, ainda assim, ser suficientemente flexível para mudar à medida que a empresa se transforma e amadurece. Não podem se apenas palavras num documento, mas antes imbuir "vida" na organização.
Uma estratégia de dados descreve todas as capacidades de dados que têm de ser criadas para se atingir o resultado empresarial. Isso inclui, não apenas capacidades e ferramentas de gestão de dados, mas também capacidades empresariais como estrutura organizacional, estratégia de aquisição de dados e rede de dados, conformidade e capacidades éticas. Estabelece um roadmap para o desenvolvimento de capacidades ao longo de vários anos, definindo expetativas sobre o que pode ser fornecido, em que intervalo de tempo, com que custo e qual o apoio executivo que é necessário.
A evolução da gestão de dados
Uma gestão de dados eficaz tem sido crucial para o sucesso empresarial há bem mais de 50 anos, tendo ajudado as empresas a melhorarem a exatidão e informação dos relatórios, a detetarem tendências e a tomarem melhores decisões, e tendo ainda impulsionado a transformação digital e potenciado novas tecnologias e modelos de negócio da atualidade. Os dados transformaram-se numa nova forma de capital e as organizações com visão de futuro estão sempre atentas a novas e melhores formas de utilizarem os dados em seu proveito. Eis algumas das mais recentes tendências da gestão de dados moderna, que são importantes para descobrir e explorar a respetiva relevância para a sua empresa e setor de atividade:
Infraestrutura de dados: Atualmente, a maioria das organizações tem diversos tipos de dados implementados na Cloud e localmente – e recorre a vários sistemas de gestão de bases de dados, tecnologias de processamento e ferramentas. Uma infraestrutura de dados, que é uma combinação personalizada de arquitetura e tecnologia, utiliza metadados, integração e orquestração dinâmicas de dados para permitir fluidez no acesso e partilha de dados num ambiente distribuído.
Gestão de dados na Cloud: Muitas empresas estão a mudar para a Cloud uma parte ou a totalidade das suas plataformas de gestão de dados. A gestão de dados na Cloud tira partido de todos os benefícios que a Cloud oferece, incluindo escalabilidade, segurança de dados avançada, automatização de cópias de segurança e recuperação de desastres, poupança de custos e muito mais. Bases de dados na Cloud e soluções de base de dados como um serviço (DBaaS),data warehouses na Cloud e data lakes na Cloud - todos estão a ganhar popularidade.
Dados como um produto: O conceito de dados como um produto refere-se à prática de tratar os seus dados internos como um produto de primeira ordem, cabendo à(s) sua(s) equipa(s) de dados – e, por conseguinte, ao seu Diretor de Dados (CDO) ou executivo equivalente – fornecer ao resto da sua organização os dados certos de que precisa, no momento certo e com o nível certo de qualidade. A meta consiste em permitir uma maior utilização dos seus dados de um modo geral, como sejam insights mais oportunos e exatos, por exemplo.
Gestão de dados aumentada: Uma das mais recentes tendências dá pelo nome de "gestão de dados aumentada". A gestão de dados aumentada utiliza IA e machine learning para tornar auto-configuráveis e auto-ajustáveis os processos de gestão de dados. A gestão de dados aumentada automatiza tudo, desde a qualidade dos dados e a gestão de dados mestre até à integração de dados, libertando os técnicos especializados para se concentrarem em atividades de maior valor.
Funções analíticas aumentadas: As funções analíticas aumentadas utilizam tecnologias de inteligência artificial (IA), machine learning e processamento de linguagem natural (NLP), não só para encontrar automaticamente as informações mais importantes, mas também para democratizar o acesso a funções analíticas, para que todos (e não apenas os cientistas de dados) possam inquirir os seus dados e obter respostas de forma natural, em jeito de conversa.
Resumo
Nós sabemos que a informação deriva de dados. E, se a informação é poder, então a gestão eficaz e a capitalização dos seus dados pode muito bem ser o super-poder da sua empresa. Assim, as responsabilidades de gestão de dados e a função do diretor de dados (e funções analíticas) estão a evoluir para se tornarem agentes essenciais na organização - na promoção da adesão à Cloud, do aproveitamento de novas tendências e tecnologias e do fornecimento de valor estratégico à empresa.
Soluções de gestão de dados e bases de dados
A SAP pode ajudá-lo a gerir, administrar e integrar os seus dados empresariais.
Ideias que não encontrará noutro lugar
Inscreva-se para receber uma dose de business intelligence entregue diretamente na sua caixa de entrada.