Ir para o conteúdo
Mulher a observar dados

O que é um data warehouse?

Um data warehouse (DW) é um sistema de armazenamento digital que liga e harmoniza grandes quantidades de dados provenientes de muitas fontes diferentes. A sua finalidade consiste em alimentar Business Intelligence (BI), relatórios e funções analíticas, bem como apoiar requisitos de regulamentos, para que as empresas consigam transformar os seus dados em informação e tomar decisões inteligentes e baseadas em dados. Os data warehouses armazenam dados atuais e históricos num único lugar e funcionam como a única fonte fidedigna de uma organização.

 

Os dados fluem para um data warehouse a partir de sistemas operacionais (como ERP e CRM), bases de dados e fontes externas como sistemas de parceiros, dispositivos com Internet of Things (IoT), aplicações de meteorologia e redes sociais – habitualmente a um ritmo regular. O surgimento do Cloud computing provocou uma mudança na estrutura. Nos últimos anos, os locais de armazenamento de dados passaram da tradicional infraestrutura local (on-premise) para vários locais, que incluem instalação local, Cloud privada e Cloud pública.

 

Os data warehouses modernos são concebidos para lidarem com dados estruturados e não estruturados, como vídeos, ficheiros de imagem e dados de sensores. Alguns tiram partido de funções analíticas integradas e tecnologia de base de dados in-memory (que detém o conjunto de dados na memória do computador, em vez de os armazenar em disco), para permitir acesso em tempo real a dados fiáveis e promover a tomada de decisões com confiança. Sem o armazenamento de dados em data warehouses, é muito difícil combinar dados provenientes de fontes heterogéneas, garantir que estão no formato certo para as funções analíticas e obter uma visão de curto e de longo prazo dos dados ao longo do tempo.

O que é um data warehouse?

O que é um data warehouse?

Benefícios dos data warehouses

Um data warehouse bem concebido é a base de qualquer programa de BI ou de funções analíticas bem-sucedido. A sua principal tarefa consiste em potenciar os relatórios, dashboards e ferramentas analíticas que se tornaram indispensáveis às empresas atuais. Um data warehouse fornece as informações para as suas decisões baseadas em dados e ajuda-o a tomar a decisão certa sobre tudo, desde o desenvolvimento de novos produtos até aos níveis de inventário. Um data warehouse tem muitos benefícios. Eis apenas alguns: 

  • Melhores funções analíticas: Com data warehouses, os decisores têm acesso a dados provenientes de várias fontes e já não precisam de tomar decisões com base em informações incompletas.  
  • Consultas mais rápidas: Os data warehouses são especificamente criados para que exista rapidez na obtenção e análise de dados. Com um DW, pode consultar muito rapidamente grandes quantidades de dados consolidados com pouco ou nenhum apoio de departamento de TI.  
  • Melhoria da qualidade dos dados: Antes de serem carregados para o DW, o sistema cria casos de depuração de dados, que são introduzidos numa lista de trabalho para mais processamento, garantindo que os dados são transformados num formato consistente para apoiar funções analíticas – e decisões – baseadas em dados exatos e de alta qualidade.
  • Informação histórica: Ao armazenar dados históricos ricos, um data warehouse permite que os decisores aprendam com tendências e desafios anteriores, façam previsões e promovam a melhoria contínua da empresa.
placeholder

Captura de ecrã de um data warehouse que mostra a proveniência dos dados.

O que pode ser armazenado num data warehouse?

Quando os data warehouses se tornaram populares, no fim da década de 1980, eram concebidos para armazenarem informações sobre pessoas, produtos e transações. Estes dados – denominados dados estruturados – eram cuidadosamente organizados e formatados para um acesso fácil. No entanto, rapidamente as empresas começaram a querer armazenar, obter e analisar dados não estruturados – como documentos, imagens, vídeos, e-mails, publicações em redes sociais e dados brutos provenientes de sensores de máquinas.

 

Um data warehouse moderno consegue acomodar dados estruturados e não estruturados. Ao intercalarem estes tipos de dados e eliminarem os silos entre os dois, as empresas podem obter um panorama completo das informações mais valiosas.

Alguns termos essenciais

Existem muitos termos que ajudam a dar sentido ao mundo do DW. Eis alguns dos mais importantes. Descubra outros termos e perguntas frequentes no nosso glossário.

 

Data warehouse versus base de dados

 

Bases de dados e data warehouses são ambos sistemas de armazenamento de dados; no entanto, têm finalidades diferentes.  Uma base de dados armazena dados, habitualmente para uma área empresarial específica. Um data warehouse armazena dados atuais e históricos de toda a empresa e alimenta BI e funções analíticas. Os data warehouses utilizam um servidor de base de dados para extrair dados das bases de dados de uma organização e têm funcionalidades adicionais para modelação de dados, gestão do ciclo de vida dos dados, integração de fontes de dados e muito mais.

 

Data warehouse versus data lake

 

Tanto os data warehouses como os data lakes são utilizados para armazenar Big Data, mas são sistemas de armazenamento muito diferentes. Um data warehouse armazena dados que foram formatados para um efeito específico, enquanto um data lake armazena dados no seu estado bruto e não processado, cuja finalidade ainda não foi definida. Frequentemente, os data warehouses e os data lakes complementam-se. Por exemplo, quando dados brutos armazenados num data lake são necessários para responder a uma pergunta de negócios, podem ser extraídos, limpos, transformados e utilizados num data warehouse, para análise. O volume de dados, o desempenho da base de dados e o preço do armazenamento desempenham um papel importante na sua decisão quanto à solução de armazenamento certa.

Data warehouse versus data lake

Diagrama de um data warehouse em comparação com um data lake.

Data warehouse versus data mart 

 

Um data mart é uma subsecção de um data warehouse, especificamente particionada para um departamento ou linha de negócio – como vendas, marketing ou finanças. Alguns data marts também são criados para finalidades operacionais. Enquanto um data warehouse funciona como armazém de dados central para a totalidade de uma empresa, um data mart disponibiliza dados relevantes a um grupo selecionado de utilizadores. Isto simplifica o acesso aos dados, acelera a análise e permite-lhes controlarem os seus próprios dados. Muitas vezes, são implementados vários data marts dentro de um data warehouse.

Data warehouse versus data mart

Diagrama de um data mart e como funciona.

Quais são os componentes essenciais de um data warehouse?

Um data warehouse típico tem quatro componentes principais: uma base de dados central, ferramentas de ETL (extrair, transformar, carregar), metadados e ferramentas de acesso. Todos estes componentes são otimizados para velocidade, para lhe permitir obter resultados com rapidez e analisar dados imediatamente.

Componentes de um data warehouse

Diagrama que mostra os componentes de um data warehouse.

  1. Base de dados central: Uma base de dados funciona como a fundação do seu data warehouse. Tradicionalmente, são bases de dados relacionais executadas localmente ou na Cloud. Mas devido ao Big Data, a necessidade de verdadeiro desempenho em tempo real e a redução drástica do custo da RAM, as bases de dados in-memory estão a ganhar popularidade rapidamente.
  2. Integração de dados: Os dados são obtidos em sistemas de origem e modificados para alinhar a informação para um rápido consumo analítico, utilizando várias abordagens de integração de dados, como ETL (extrair, transformar, carregar) e ELT, bem como replicação de dados em tempo real, processamento de carregamento em massa, transformação de dados e serviços de qualidade e enriquecimento de dados.
  3. Metadados: Metadados são dados sobre os seus dados. Especificam a origem, utilização, valores e outras caraterísticas dos conjuntos de dados no seu data warehouse. Existem metadados empresariais, que adicionam contexto aos seus dados, e metadados técnicos, que descrevem a forma como se acede aos dados, incluindo o local onde se encontram e como estão estruturados.
  4. Ferramentas de acesso a data warehouse: As ferramentas de acesso permitem aos utilizadores interagirem com os dados no seu data warehouse. Exemplos de ferramentas de acesso incluem: ferramentas de consulta e relatório, ferramentas de desenvolvimento de aplicações, ferramentas de extração de dados e ferramentas OLAP.

Arquitetura de data warehouse

No passado, os data warehouses funcionavam em camadas que correspondiam ao fluxo dos dados empresariais.

Diagrama da arquitetura de data warehouse

Diagrama da arquitetura de data warehouse. Um data warehouse típico inclui as três camadas separadas apresentadas acima. Atualmente, os data warehouses modernos combinam OLTP e OLAP num único sistema.

 

  • Camada de dados: Os dados são extraídos das suas fontes e depois transformados e carregados na camada inferior através de ferramentas de ETL. A camada inferior consiste no seu servidor de base de dados, data marts e data lakes. Os metadados são criados nesta camada e as ferramentas de integração, como a virtualização de dados, são utilizadas para combinar e agregar dados de forma fluida.
  • Camada semântica: Na camada do meio, os servidores de processamento analítico online (OLAP) e de processamento transacional online (OLTP) reestruturam os dados para consultas e funções analíticas rápidas e complexas.
  • Camada analítica: A camada superior é a camada do cliente de front-end. Inclui as ferramentas de acesso ao data warehouse que permitem aos utilizadores interagirem com os dados, criarem dashboards e relatórios, monitorizarem KPIs, extraírem e analisarem dados, criarem aplicações e muito mais. Frequentemente, esta camada inclui um workbench ou ambiente de teste (sandbox) para exploração de dados e desenvolvimento de novos modelos de dados.

 

Os data warehouses têm sido concebidos para apoiarem a tomada de decisões e têm sido principalmente criados e mantidos por equipas de TI; no entanto, nos anos mais recentes, têm evoluído para capacitarem os utilizadores empresariais, reduzindo a sua dependência de TI para terem acesso aos dados e derivarem informações úteis. Eis algumas capacidades de armazenamento de dados que têm vindo a aumentar as capacidades dos utilizadores empresariais:

  1. A camada semântica ou empresarial que disponibiliza frases em linguagem natural e permite que todos compreendam os dados imediatamente, também permite definir relações entre elementos do modelo de dados e enriquecer campos de dados com novas informações empresariais.
  2. As áreas de trabalho virtuais permitem às equipas reunirem, num único local seguro e regulado, modelos de dados e ligações que permitem uma melhor colaboração com colegas através de uma área comum e de um conjunto de dados comum.
  3. A Cloud melhorou ainda mais a tomada de decisões, capacitando globalmente os colaboradores com um conjunto variado de ferramentas e funções, para executarem facilmente tarefas de análise de dados. Podem ligar novas aplicações e fontes de dados sem muito apoio de TI.
    placeholder

    Comece já

    Experimente hoje mesmo o nosso data warehouse na Cloud.

    Os sete maiores benefícios de um data warehouse na Cloud

    Os data warehouses baseados na Cloud são cada vez mais populares e há um bom motivo para isso. Estes armazéns modernos apresentam várias vantagens relativamente às tradicionais versões locais . Eis os sete maiores benefícios de um data warehouse na Cloud:  

    1. Implementação rápida: Com data warehouses na Cloud, pode comprar poder de computação e armazenamento de dados quase ilimitados, com apenas alguns cliques – e pode criar o seu próprio data warehouse, data marts e áreas de teste em qualquer lugar, em minutos.
    2. Baixo custo total de propriedade (TCO): Os modelos de preços de data warehouse como um serviço (DWaaS) estão configurados de modo a só ter de pagar os recursos de que precisa, quando são precisos. Não tem de prever as suas necessidades a longo prazo nem pagar mais por poder de computação anual do que o necessário. Também pode evitar elevados custos iniciais como hardware, salas de servidores e pessoal de manutenção. A separação do preço do armazenamento e do preço da computação também lhe proporcionam uma forma de reduzir os custos.
    3. Elasticidade: Com um data warehouse na Cloud, pode adaptar a escala de forma dinâmica , conforme as necessidades. A Cloud proporciona um ambiente virtualizado e altamente distribuído que consegue gerir enormes volumes de dados cuja escala pode ser ajustada para cima e para baixo.
    4. Segurança e recuperação de desastres: Em muitos casos, os data warehouses na Cloud acabam por fornecer segurança de dados e encriptação mais robustas do que os data warehouses locais. Os dados também são duplicados e colocados em cópias de segurança de forma dinâmica, para minimizar o risco de perda de dados.
    5. Tecnologias em tempo real: Os data warehouses na Cloud criados com tecnologia de base de dados in-memory possibilitam altíssimas velocidades de processamento de dados para fornecerem dados em tempo real para uma consciência situacional imediata.
    6. Novas tecnologias: Os data warehouses na Cloud permitem-lhe integrar facilmente novas tecnologias, como machine learning, que conseguem proporcionar uma experiência guiada aos utilizadores empresariais e apoio à decisão, sob a forma de perguntas que devem ser feitas, por exemplo.
    7. Capacitação de utilizadores empresariais: Os data warehouses na Cloud capacitam todos os colaboradores da mesma forma e globalmente, com uma única visão de dados de inúmeras fontes e com um conjunto variado de ferramentas e funções para realizar facilmente tarefas de análise de dados. Conseguem ligar novas aplicações e fontes de dados sem recorrerem ao departamento de TI.
    placeholder

    O armazenamento de dados em data warehouses suporta funções analíticas abrangentes das despesas da empresa, por departamento, fornecedor, região e estado, para indicar apenas algumas possibilidades.

    Melhores práticas de armazenamento de dados

    Quando se cria um novo data warehouse ou se adicionam novas aplicações a um data warehouse existente, existem etapas comprovadas para atingir as suas metas e, simultaneamente, poupar tempo e dinheiro. Algumas focam-se na sua utilização empresarial e outras práticas fazem parte do seu programa global de TI. A lista que se segue constitui um bom ponto de partida e poderá descobrir mais melhores práticas à medida que vai trabalhando com os seus parceiros tecnológicos e de serviços. 

    Melhores práticas empresariais

    • Defina a informação de que precisa. Quando conhecer bem as suas necessidades iniciais, poderá encontrar as fontes de dados para as satisfazer. Frequentemente, grupos comerciais, clientes e fornecedores terão recomendações de dados para si. 
    • Documente a localização, estrutura e qualidade dos seus dados atuais. Depois, poderá identificar lacunas de dados e regras empresariais para a transformação dos dados e satisfazer as suas necessidades de armazenamento de dados.
    • Crie uma equipa. Isso inclui os patrocinadores executivos, gestores e colaboradores que vão utilizar e fornecer a informação. Identifique, por exemplo, os relatórios padrão e os indicadores-chave de desempenho de que precisam para fazerem o seu trabalho.
    • Priorize as suas aplicações de data warehouse. Escolha um ou dois projetos-piloto que tenham requisitos razoáveis e bom valor de negócio. 
    • Escolha um robusto parceiro de tecnologia de data warehouse. Tem de ter os serviços de implementação e a experiência necessários para os seus projetos. Certifique-se de que suportam as suas necessidades de implementação, incluindo serviços na Cloud e opções locais (on-premise). 
    • Desenvolva um bom plano de projeto. Trabalhe com a sua equipa num plano e calendário realista que suporte comunicações e relatórios de status. 

    Melhores práticas de TI

    • Monitorize o desempenho e a segurança. As informações que residem no seu data warehouse são valiosas, mas têm de estar imediatamente acessíveis para fornecerem valor à organização. Monitorize cuidadosamente a utilização do sistema para garantir que os níveis de desempenho são elevados. 
    • Mantenha padrões de qualidade de dados, metadados, estrutura e governance. Começa a ser rotineiro o surgimento de novas fontes de dados valiosos, mas necessitam de uma gestão consistente como parte de um data warehouse. Siga procedimentos de limpeza de dados, definição de metadados e cumprimento de padrões de governance.
    • Forneça uma arquitetura ágil. À medida que aumenta a utilização empresarial e das unidades empresariais, vai descobrir um grande conjunto de necessidades de data mart e data warehouse. Uma plataforma flexível conseguirá apoiá-las muito melhor do que um produto limitado e restritivo. 
    • Automatize processos como a manutenção. Além de acrescentar valor ao Business Intelligence, o machine learning pode automatizar funções de gestão técnica do data warehouse para manter a velocidade e reduzir os custos operacionais. 
    • Utilize a Cloud de forma estratégica. Unidades empresariais e departamentos têm necessidades de implementação diferentes. Quando necessário, utilize sistemas locais (on-premise) e capitalize  data warehouses na Cloud para escalabilidade, redução de custos e acesso através de telemóvel e tablet.  

    Em resumo

    Os data warehouses modernos, e cada vez mais os data warehouses na Cloud, serão uma parte essencial de qualquer iniciativa de transformação digital para as empresas-mãe e respetivas unidades empresariais. Capitalizam os sistemas empresariais atuais, particularmente quando se combinam dados de vários sistemas internos com informações novas e importantes de organizações externas. 

     

    Dashboards, KPIs, alertas e relatórios apoiam as necessidades executivas, de gestão e dos colaboradores, bem como importantes necessidades de clientes e fornecedores. Os data warehouses também possibilitam extração de dados e funções analíticas rápidas e complexas, e não perturbam o desempenho de outros sistemas empresariais. 

     

    Dada a flexibilidade de começar com pouco e expandir à medida das necessidades, tanto as sedes como as unidades empresariais podem melhorar a tomada de decisões e o desempenho dos resultados líquidos com tecnologia moderna de data warehouse.

    placeholder

    Descubra a solução de data warehouse da SAP

    Obtenha dados unificados e funções analíticas para a tomada de decisões de fiáveis na Cloud.

    Outros recursos nesta série

    Glossário de data warehouse

    Um data lake é um local para armazenar todos os tipos de Big Data, quer sejam dados estruturados de aplicações empresariais ou dados não estruturados de aplicações móveis, redes sociais ou de dispositivos com Internet of Things (IoT) . Uma vez que os dados são armazenados no seu formato natural – estruturados, não estruturados, semiestruturados ou binários – pode ser necessária conversão, normalização ou outro processamento, para permitir a execução de funções analíticas com vários tipos de dados. A maioria dos data lakes são baseados na Cloud devido aos grandes volumes de dados que armazenam, à necessidade de ligações de alta velocidade a fontes distribuídas e à necessidade de escalabilidade.

    ETL significa extrair, transformar, carregar (extract, transform e load). Em conjunto, estas atividades compõem o processo utilizado para retirar dados da fonte e convertê-los num formato utilizável – para depois os mover para um data warehouse ou outro armazém de dados. O ETL é especialmente útil para dados transacionais, mas outras ferramentas mais avançadas também conseguem gerir diversos tipos de dados não estruturados.

    Um data mart é um segmento particionado de um data warehouse que é orientado para uma área empresarial ou equipa específica, como as finanças ou o marketing. Os data marts tornam mais fácil para os departamentos acederem rapidamente aos dados e informações que são relevantes para eles, e também controlarem os seus próprios conjuntos de dados dentro do armazém de dados de maior dimensão.

    Os modelos de dados são um elemento fundamental do desenvolvimento de software e das funções analíticas. Um modelo de dados é uma descrição de como os dados estão estruturados e da forma como os dados serão armazenados na base de dados. Um modelo de dados fornece um enquadramento das relações entre elementos de dados dentro de uma base de dados, bem como um guia para a utilização dos dados.

     

    A modelação de dados é o processo de criação de modelos de dados. Quando cria uma estrutura de base de dados ou de data warehouse, o designer começa com um diagrama da forma como os dados vão fluir para dentro e para fora da base de dados ou do data warehouse. Este fluxograma é utilizado para definir as características dos formatos de dados, estruturas e funções de processamento da base de dados, para apoiar eficientemente as necessidades de fluxo de dados. A modelação proporciona um método padronizado para a definição e formatação de conteúdo de base de dados de forma consistente em vários sistemas, o que permite que várias aplicações partilhem os mesmos dados. 

    Um data warehouse empresarial (EDW) armazena todos os dados empresariais atuais e históricos num único local – a materialização de gestão de dados mestre, armazenamento de dados e a estratégia de dados, com base numa abordagem global à gestão de dados. Os EDW proporcionam um ambiente propício para software de funções analíticas e a manutenção de indicadores-chave de desempenho e relatórios exatos e que abrangem toda a empresa . Muitos EDW estão baseados na Cloud devido à escalabilidade, acesso e facilidade de utilização.

    Newsletter do SAP Insights

    placeholder
    Subscreva agora

    Subscreva a nossa newsletter para obter informações chave.

    Outras leituras

    Voltar ao início