O que é gestão de dados?
Os dados são essenciais para a forma como uma empresa opera e funciona. As empresas têm de compreender os dados e encontrar relevância no ruído criado pelos diversos sistemas e tecnologias que sustentam as atuais economias altamente globalizadas. Neste aspeto, os dados ocupam um lugar de destaque. Por si só, os dados são inúteis – as empresas precisam de ter uma estratégia eficaz, governance e um modelo de gestão de dados, para tirarem partido de todas as formas de dados e poderem utilizá-los de forma prática e eficiente em cadeias logísticas, redes de colaboradores, ecossistemas de clientes e parceiros... e muito mais.
O que é então a gestão de dados? Gestão de dados é a prática de recolher, organizar e aceder a dados para apoiar a produtividade, eficiência e tomada de decisões. Devido ao papel fundamental que os dados desempenham atualmente nos negócios, é essencial que todas as empresas tenham uma estratégia sólida de gestão de dados e um sistema moderno de gestão de dados – independentemente do tamanho ou setor de atividade.
Os elementos essenciais da gestão de dados
O processo de gestão de dados inclui um vasto conjunto de tarefas e procedimentos, como:
- Recolha, processamento, validação e armazenamento de dados
- Integração de diferentes tipos de dados de diversas fontes, incluindo dados estruturados e não estruturados
- Garantia de elevada disponibilidade dos dados e de recuperação de desastres
- Governance da forma como os dados são utilizados e acedidos por pessoas e aplicações
- Proteção e segurança dos dados e garantia de privacidade dos dados
Por que é importante a gestão de dados?
Cada aplicação, solução de funções analíticas e algoritmo utilizado numa empresa (as regras e o processo associado que permitem aos computadores resolverem problemas e realizarem tarefas) depende de um acesso fluido a dados. Essencialmente, um sistema de gestão de dados ajuda a garantir que os dados estão seguros, disponíveis e que são exatos. Mas os benefícios da gestão de dados não se esgotam aqui.
Transformar Big Data num ativo empresarial de alto valor
Demasiados dados podem representar uma sobrecarga – e uma inutilidade – se não forem corretamente geridos. No entanto, com as ferramentas certas, o Big Data pode ser dominado para capacitar as empresas com informações mais aprofundadas do que nunca e com previsões mais exatas. Pode permitir que as empresas compreendam melhor o que os clientes querem e ajudá-las a proporcionarem experiências de cliente excecionais, com base nas informações fornecidas pelos dados. Também pode ajudar a promover novos modelos de negócio baseados em dados – como ofertas de apoio ao cliente baseadas em dados em tempo real provenientes da Internet of Things (IoT) e de sensores – que não seriam evidentes ou óbvios sem a capacidade de analisar e interpretar Big Data.
Big Data é composto por conjuntos de dados extremamente grandes, frequentemente caracterizados pelos cinco V: o grande volume de dados recolhido, a variedade de tipos de dados, a velocidade a que os dados são gerados, a veracidade dos dados e o respetivo valor .
Não é segredo que as organizações baseadas em dados têm uma importante vantagem competitiva. Com ferramentas avançadas, as empresas conseguem gerir mais dados provenientes de mais fontes do que nunca. Também conseguem tirar partido de muitos tipos diferentes de dados, estruturados e não estruturados, em tempo real – incluindo dados de dispositivos com IoT, ficheiros de vídeo e áudio, dados de sequências de cliques da Internet e comentários em redes sociais – proporcionando mais oportunidades para monetizar os dados e utilizá-los como um ativo.
Estabelecer uma base sólida de dados para a transformação digital
Diz-se muitas vezes que os dados são vitais para a transformação digital – e é verdade. Inteligência artificial (IA), machine learning, Indústria 4.0, funções analíticas avançadas, a Internet of Things e automatização inteligente - todos precisam de muitíssimos dados no momento certo, exatos e seguros para funcionarem bem.
A importância dos dados e das tecnologias baseadas em dados não tem parado de aumentar desde o início da pandemia de COVID-19. Muitas empresas estão a sentir uma pressão intensa para utilizarem melhor os seus dados – e usarem-nos para preverem eventos, para se adaptarem rapidamente e para incorporarem resiliência nos seus planos e modelos de negócio.
O machine learning, por exemplo, necessita de conjuntos de dados muito grandes e diversos para "aprender", identificar padrões complexos, resolver problemas e manter os seus modelos e algoritmos atualizados e a funcionar corretamente. As funções analíticas (que costumam tirar partido de machine learning) também dependem de vastas quantidades de dados de alta qualidade, para produzirem informações relevantes e úteis que sirvam de base a medidas tomadas com confiança. A IoT e a Industrial IoT funcionam com base num fluxo estável de dados de máquinas e sensores, que fluem a mais de um milhão de quilómetros por minuto.
O denominador comum de qualquer projeto de transformação digital são os dados. Para que as empresas consigam transformar processos, tirar partido de novas tecnologias e tornarem-se empresas inteligentes, precisam de uma base sólida de dados. Em resumo, precisam de um sistema de gestão de dados moderno.
A sobrevivência de qualquer empresa dependerá de uma arquitetura ágil e centrada em dados, capaz de reagir ao ritmo constante da mudança.
Donald Feinberg, vice-presidente da Gartner
Garantir a conformidade com as leis de privacidade de dados
Uma boa gestão de dados também é essencial para garantir a conformidade com legislação nacional e internacional sobre a privacidade dos dados – como o Regime Geral de Proteção de Dados (RGPD) e o California Consumer Privacy Act – tal como são os requisitos de privacidade e segurança específicos de cada setor de atividade. E quando for necessário comprovar ou auditar essas proteções, é crucial ter políticas e procedimentos estabelecidos para uma robusta gestão de dados.
Sistemas e componentes de gestão de dados
Os sistemas de gestão de dados são criados em plataformas de gestão de dados e incluem vários componentes e processos que funcionam em conjunto, para o ajudarem a extrair valor dos seus dados. Podem ser sistemas de gestão de bases de dados, data warehouses e data lakes, ferramentas de integração de dados, funções analíticas, entre outros.
Sistemas de gestão de bases de dados (DBMS)
Existem muitos tipos diferentes de sistemas de gestão de bases de dados. Entre os mais comuns incluem-se os sistemas de gestão de bases de dados relacionais (RDBMS), sistemas de gestão de bases de dados orientadas para objetos (OODMBS), bases de dados in-memory e bases de dados em colunas.
Diversos sistemas de gestão de dados
- Sistema de gestão de bases de dados relacionais (RDBMS): Um RDBMS é um sistema de gestão de bases de dados que contém definições de dados para que os programas e os sistemas de recuperação consigam referenciar itens de dados por nome, em vez de terem sempre de descrever a estrutura e a localização dos dados. Baseados no modelo relacional, os RDBMS também mantêm relações entre os itens de dados que melhoram o acesso e evitam a duplicação. A definição básica e as caraterísticas de um item, por exemplo, são armazenadas uma vez e ligadas a linhas de detalhe de encomendas de cliente e tabelas de preços.
- Sistema de gestão de bases de dados orientadas para objetos (OODMBS): Um OODBMS representa uma abordagem diferente à definição e ao armazenamento de dados, desenvolvida e utilizada por programadores de sistemas de programação orientada para objetos (OOPS). Os dados são armazenados como objetos, entidades autocontidas e autodocumentadas, em vez de em tabelas, como num RDBMS.
- Base de dados in-memory: Uma base de dados in-memory (IMDB) armazena dados na memória principal (RAM) de um computador, em vez numa unidade de disco. A obtenção a partir da memória é muito mais rápida do que a partir de um sistema baseado em disco, pelo que as bases de dados in-memory são vulgarmente utilizadas por aplicações que exigem tempos de reação rápidos. Por exemplo, o que outrora demorava dias a compilar num relatório, pode agora ser acedido e analisado em minutos, se não mesmo em segundos.
- Base de dados em colunas: Uma base de dados em colunas armazena grupos de dados relacionados (uma "coluna" de informações) para um acesso rápido. É utilizada nas aplicações empresariais in-memory modernas e para muitas aplicações independentes de data warehouse, em que a velocidade de obtenção (de um conjunto limitado de dados) é importante.
Data warehouses e data lakes
- Data warehouse: Um data warehouse é um repositório central de dados acumulados a partir de muitas fontes diferentes, para serem utilizados em relatórios e análises.
- Data lake: Um data lake é um vasto conjunto de dados armazenados em formato bruto ou natural. Tipicamente, os data lakes são utilizados para armazenar Big Data, incluindo dados estruturados, não estruturados e semiestruturados.
Gestão de dados mestre (MDM)
A gestão de dados mestre é a disciplina de criação de uma referência principal de confiança (uma única versão fidedigna) para todos os dados empresariais importantes, como dados de produto, dados de cliente, dados de ativos e dados financeiros, entre outros. A MDM ajuda a garantir que as empresas não utilizam várias versões de dados, potencialmente inconsistentes, em diferentes partes dos negócios, incluindo processos, operações, funções analíticas e relatórios. Os três pilares essenciais de uma MDM eficaz incluem: consolidação de dados, governance de dados e gestão da qualidade dos dados.
Uma disciplina dotada de tecnologia em que a empresa e a organização de TI trabalham juntas para garantirem a uniformidade, exatidão, administração, consistência semântica e responsabilização dos ativos de dados oficiais e partilhados da empresa.
Definição de MDM da Gartner
Gestão de Big Data
Foram desenvolvidos novos tipos de bases de dados e ferramentas para gerir Big Data – enormes volumes de dados estruturados, não estruturados e semiestruturados que atualmente abundam nas empresas. Além de técnicas de processamento altamente eficientes e instalações baseadas na Cloud para lidar com o volume e a velocidade, foram criadas novas abordagens à interpretação e gestão da variedade dos dados. Para que as ferramentas de gestão de dados consigam compreender e trabalhar com diferentes tipos de dados não estruturados, por exemplo, são utilizados novos processos de pré-processamento para identificar e classificar itens de dados, de modo a facilitar o armazenamento e a obtenção.
Integração de dados
Integração de dados é a prática de consumir, transformar, combinar e aprovisionar dados, onde e quando é necessário. Essa integração ocorre na empresa e fora dela – em parceiros e em fontes de dados e casos de utilização de terceiros – para satisfazer as necessidades de consumo de dados de todas as aplicações e processos empresariais. As técnicas utilizadas incluem movimento de dados em massa/lote, extração, transformação, carregamento (ETL), captação de alterações de dados, replicação de dados, virtualização de dados, integração de dados de transmissão em fluxo, orquestração de dados e muito mais.
Governance, segurança e conformidade dos dados
Governance de dados é um conjunto de regras e responsabilidades para garantir a disponibilidade, qualidade, conformidade e segurança dos dados em toda a organização. O governance de dados estabelece a infraestrutura e os nomes (ou posições) dos indivíduos que, numa organização, têm autoridade e a responsabilidade de tratar e salvaguardar géneros e tipos específicos de dados. O governance de dados é uma parte essencial da conformidade. Os sistemas tratarão da mecânica do armazenamento, tratamento e segurança – é o lado das pessoas, do governance, que garante que os dados são exatos à partida e que são adequadamente tratados e protegidos antes de serem introduzidos no sistema, enquanto são utilizados e quando são obtidos no sistema para utilização ou armazenamento noutro lugar. O governance especifica a forma como os indivíduos responsáveis utilizam processos e tecnologias para gerirem e protegerem dados.
Como é óbvio, a segurança dos dados é atualmente uma grande preocupação a nível mundial, devido aos hackers, vírus, ciberataques e violações de dados. Ainda que a segurança esteja incorporada nos sistemas e nas aplicações, o governance de dados existe para garantir que esses sistemas são corretamente configurados e administrados para protegerem os dados, e que são impostos procedimentos e responsabilidades para proteger os dados fora dos sistemas e da base de dados.
Business Intelligence e funções analíticas
A maioria, se não mesmo a totalidade, dos sistemas de gestão de dados inclui ferramentas básicas de obtenção e relatórios de dados, e muitas incorporam ou compõem pacotes de potentes aplicações de obtenção, análise e relatório. As aplicações de relatório e funções analíticas também são disponibilizadas por programadores externos e certamente estarão incluídas no pacote de aplicações sob a forma de uma função padrão ou de um módulo de add-on opcional para funcionalidade mais avançada.
O poder dos atuais sistemas de gestão de dados reside, em grande medida, nas ferramentas de obtenção ad-hoc, que permitem aos utilizadores com um mínimo de formação criarem as suas próprias obtenções de dados no ecrã e relatórios impressos, com surpreendente flexibilidade de formatação, cálculo, ordenação e resumo. Além disso, os profissionais podem utilizar essas mesmas ferramentas ou conjuntos de ferramentas sofisticadas de funções analíticas para fazerem ainda mais relativamente a cálculos, comparações, matemática avançada e formatação. Novas aplicações de funções analíticas conseguem criar pontes entre bases de dados tradicionais, data warehouses e data lakes, para permitir a incorporação de Big Data com dados de aplicações empresariais para melhorar as previsões, as análises e o planeamento.
O que é uma estratégia de dados empresarial e por que deve ter uma?
Muitas empresas têm adotado uma postura passiva na sua abordagem à estratégia de dados: limitam-se a aceitar o que o seu fornecedor de aplicações empresariais incorporou nos seus sistemas. No entanto, agora isso já não é suficiente. Com a atual explosão de dados e a respetiva importância para o funcionamento de todas as empresas, é cada vez mais necessário adotar uma abordagem mais proativa e abrangente à gestão de dados. O que isso significa, na prática, é preparação através da definição de uma estratégia de dados que:
- Identifica e especifica os tipos de dados de que a sua empresa precisará e utilizará,
- Atribui responsabilidade por cada tipo de dados, e
- Estabelece procedimentos para regular a aquisição, recolha e processamento desses dados.
Um dos principais benefícios de uma estratégia e infraestrutura empresarial de gestão de dados é que une a organização, coordenando todas as atividades e decisões para o apoio à finalidade da empresa, que consiste em fornecer produtos e serviços de qualidade aos clientes, com eficácia e eficiência. A existência de uma estratégia de dados totalmente abrangente e de uma integração de dados perfeita, elimina silos de informação. Isso permite que cada departamento, gestor e colaborador veja e compreenda o seu contributo individual para o sucesso da empresa, e mantenha as suas decisões e ações alinhadas com essas metas.
Desenvolva uma estratégia de dados para a sua empresa
Veja módulos da nossa master class sobre estratégia de dados orientada para resultados – gratuitamente e online.
A evolução da gestão de dados
Uma gestão de dados eficaz tem sido crucial para o sucesso empresarial há bem mais de 50 anos, tendo ajudado as empresas a melhorarem a exatidão e informação dos relatórios, a detetarem tendências e a tomarem melhores decisões, e tendo ainda impulsionado a transformação digital e potenciado novas tecnologias e modelos de negócio da atualidade. Os dados transformaram-se numa nova forma de capital e as organizações com visão de futuro estão sempre atentas a novas e melhores formas de utilizarem os dados em seu proveito. Eis algumas das mais recentes tendências da gestão de dados moderna, que são importantes para descobrir e explorar a respetiva relevância para a sua empresa e setor de atividade:
- Infraestrutura de dados: Atualmente, a maioria das organizações tem diversos tipos de dados implementados localmente e na Cloud – e recorre a vários sistemas de gestão de bases de dados, tecnologias de processamento e ferramentas. Uma infraestrutura de dados, que é uma combinação personalizada de arquitetura e tecnologia, utiliza integração e orquestração dinâmicas de dados para permitir fluidez no acesso e partilha de dados num ambiente distribuído.
- Gestão de dados na Cloud: Muitas empresas estão a mudar para a Cloud uma parte ou a totalidade das suas plataformas de gestão de dados. A gestão de dados na Cloud tira partido de todos os benefícios que a Cloud oferece, incluindo escalabilidade, segurança de dados avançada, automatização de cópias de segurança e recuperação de desastres, poupança de custos e muito mais. Bases de dados na Cloud e soluções de base de dados como um serviço (DBaaS), data warehouses na Cloud e data lakes na Cloud - todos estão a ganhar popularidade.
- Gestão de dados aumentada: Uma das mais recentes tendências dá pelo nome de "gestão de dados aumentada". Identificada pela Gartner como tendo um significativo potencial de disrupção em 2022, a gestão de dados aumentada utiliza IA e machine learning para tornar auto-configuráveis e auto-ajustáveis os processos de gestão de dados. A gestão de dados aumentada está a automatizar tudo, desde a qualidade dos dados e a gestão de dados mestre até à integração de dados, libertando os técnicos especializados para se concentrarem em tarefas de maior valor.
Durante 2022, as tarefas manuais de gestão de dados serão reduzidas em 45% através da adição de machine learning e gestão automatizada do nível de serviço.
- Funções analíticas aumentadas: Esta é outra tendência tecnológica de topo identificada pela Gartner e que já se instalou. As funções analíticas aumentadas utilizam inteligência artificial, machine learning e processamento de linguagem natural (NLP), não só para encontrar automaticamente as informações mais importantes, mas também para democratizar o acesso a funções analíticas, para que todos (e não apenas os cientistas de dados) possam inquirir os seus dados e obter respostas de forma natural, em jeito de conversa.
Resumo
Nós sabemos que a informação deriva de dados. E, se a informação é poder, então a gestão eficaz e a capitalização dos seus dados pode muito bem ser o super-poder da sua empresa. Assim, as responsabilidades de gestão de dados e a função dos analistas de base de dados (DBAs) estão a evoluir para se tornarem agentes de promoção da adesão à Cloud, de aproveitamento de novas tendências e tecnologias e de fornecimento de valor estratégico à empresa.
Soluções de gestão de dados e bases de dados
A SAP pode ajudá-lo a gerir, administrar, integrar os seus dados empresariais.
Outros recursos nesta série
Newsletter do SAP Insights
Subscreva agora
Subscreva a nossa newsletter para obter informações chave.