Ir para o conteúdo
Mulher analisando dados em data warehouse

O que é um data warehouse?

Um data warehouse (DW) é um sistema de armazenamento digital que conecta e harmoniza grandes volumes de dados de várias fontes diferentes. Seu objetivo é alimentar relatórios, funções analíticas e business intelligence (BI) e dar suporte às exigências regulatórias para que as empresas transformem seus dados em insights e tomem decisões inteligentes e baseadas em dados. Os data warehouses armazenam dados atuais e históricos em um só local e atuam como a única fonte da verdade para as organizações.

 

Os dados fluem para um data warehouse a partir de sistemas operacionais (como ERP e CRM), bancos de dados e fontes externas, como sistemas de parceiros, dispositivos com Internet das Coisas (IoT), aplicativos meteorológicos e mídias sociais – geralmente em uma cadência regular. O surgimento da computação em nuvem mudou o cenário. Nos últimos anos, os locais de armazenamento de dados migraram da infraestrutura tradicional on premise para vários locais, incluindo on premise, nuvem privada e nuvem pública.

 

Os data warehouses modernos são projetados para gerenciar dados estruturados e não estruturados, como vídeos, arquivos de imagem e dados de sensores. Alguns aproveitam as funções analíticas integradas e a tecnologia de banco de dados in-memory (que mantém o conjunto de dados na memória do computador em vez de armazená-los em disco) para dar acesso em tempo real a dados confiáveis e impulsionar decisões mais seguras. Sem o armazenamento de dados, é muito difícil combinar dados de fontes heterogêneas, garantir o formato certo para análises e obter uma visão atual e ampla dos dados ao longo do tempo.

O que é um data warehouse

O que é um data warehouse?

Benefícios do armazenamento de dados

Um data warehouse bem projetado é a base para o sucesso de BI ou programas de análise. Seu principal trabalho é potencializar os relatórios, dashboards e ferramentas analíticas que hoje são indispensáveis para os negócios. Um data warehouse fornece as informações para suas decisões baseadas em dados e ajuda você a fazer a chamada certa sobre tudo, desde o desenvolvimento de novos produtos até os níveis de estoque. Há muitos benefícios em um data warehouse. Aqui estão alguns: 

  • Melhor análise dos negócios: com o armazenamento de dados, os responsáveis por decisões têm acesso a dados de várias fontes e não precisam mais tomar decisões com base em informações incompletas.  
  • Consultas mais rápidas: os data warehouses são criados especificamente para a rápida recuperação e análise de dados. Com um DW, você pode consultar rapidamente grandes volumes de dados consolidados com pouco ou nenhum suporte de TI.  
  • Melhor qualidade de dados: antes de serem carregados no DW, os casos de depuração de dados são criados pelo sistema e inseridos em uma lista de trabalho para processamento posterior, garantindo a transformação dos dados em um formato consistente para dar suporte a análises e decisões, com base em dados precisos e de alta qualidade.
  • Insights históricos: um data warehouse armazena dados históricos avançados e os responsáveis por decisões podem aprender com tendências e desafios passados, fazer previsões e promover a melhoria contínua dos negócios.
placeholder

Captura de tela do data warehouse mostrando a linhagem de dados.

O que um data warehouse pode armazenar?

Quando os data warehouses se tornaram populares no final da década de 1980, foram projetados para armazenar informações sobre pessoas, produtos e transações. Esses dados, denominados dados estruturados , eram organizados e formatados para facilitar o acesso. Mas logo as empresas queriam armazenar, recuperar e analisar dados não estruturados  como documentos, imagens, vídeos, e-mails, publicações em mídias sociais e dados brutos de sensores de máquina.

 

Data warehouses modernos podem acomodar dados estruturados e não estruturados. Combinando esses tipos de dados e eliminando silos entre eles, as empresas podem ter um quadro completo e abrangente e os insights mais valiosos.

Alguns termos principais

Há muitos termos para decifrar no mundo do DW. Eis alguns dos mais importantes. Explore outros termos e perguntas frequentes em nosso glossário.

 

Data warehouse vs. banco de dados

 

Bancos de dados e data warehouses são sistemas de armazenamento de dados com finalidades diferentes.  Um banco de dados armazena dados geralmente de uma determinada área de negócio. Um data warehouse armazena dados atuais e históricos de toda a empresa e alimenta o BI e as funções analíticas. Ele usa um servidor de banco de dados para extrair dados dos bancos de dados de uma organização e ter funcionalidades adicionais para modelagem de dados, gerenciamento do ciclo de vida dos dados, integração de fontes de dados e muito mais.

 

Data warehouse vs. data lake

 

Tanto os data warehouses quanto os data lakes são usados para armazenar Big Data, mas são sistemas de armazenamento muito diferentes. Um data warehouse armazena dados que foram formatados para uma finalidade específica, enquanto o data lake armazena dados em seu estado bruto não processado, cuja finalidade ainda não foi definida. Data warehouses e data lakes geralmente se complementam. Por exemplo, quando os dados brutos armazenados em um data lake são necessários para responder a uma questão de negócio, eles podem ser extraídos, limpos, transformados e usados em um data warehouse para análise. O volume de dados, o desempenho do banco de dados e a determinação de preços de armazenamento desempenham um papel importante para ajudar você a escolher a solução de armazenamento certa.

Data warehouse vs. data lake

Diagrama de um data warehouse comparado com um data lake.

Data warehouse vs. data mart 

 

Data mart é a subseção de um data warehouse, particionada especificamente para um departamento ou linha de negócios, como vendas, marketing ou finanças. Alguns data marts também são criados para fins operacionais independentes. Enquanto um data warehouse serve como armazenamento de dados central para uma empresa inteira, um data mart serve dados relevantes para um grupo seleto de usuários. Isso simplifica o acesso aos dados, acelera a análise e dá a eles controle sobre seus próprios dados. Vários data marts são geralmente implementados em um data warehouse.

Data warehouse vs. data mart

Diagrama de um data mart e como ele funciona.

Quais são os principais componentes de um data warehouse?

Um data warehouse típico tem quatro componentes principais: um banco de dados central, ferramentas ETL (extração, transformação, carregamento), metadados e ferramentas de acesso. Todos esses componentes são projetados para ter velocidade, de modo que você possa obter resultados com rapidez e analisar os dados imediatamente.

Componentes do data warehouse

Diagrama mostrando os componentes de um data warehouse.

  1. Banco de dados central: um banco de dados serve como base para seu data warehouse. Tradicionalmente, têm sido os bancos de dados relacionais padrão executados on premise ou na nuvem. Mas, devido ao Big Data, à necessidade de um desempenho real em tempo real e a uma redução drástica no custo de RAM, os bancos de dados in-memory estão rapidamente ganhando popularidade.
  2. Integração de dados: os dados são extraídos dos sistemas de origem e modificados para alinhar as informações para um rápido consumo analítico, usando uma variedade de abordagens de integração de dados, como ETL (extração, transformação, carregamento), ELT, replicação de dados em tempo real, processamento de carga em massa, transformação de dados e serviços de qualidade e enriquecimento de dados.
  3. Metadados: metadados são dados sobre seus dados. Eles especificam a fonte, o uso, os valores e outros recursos dos conjuntos de dados no data warehouse. Existem metadados empresariais, que adicionam contexto aos dados, e metadados técnicos, que descrevem como acessar os dados, inclusive onde eles residem e como são estruturados.
  4. Ferramentas de acesso ao data warehouse: as ferramentas de acesso permitem que os usuários interajam com os dados no data warehouse. Exemplos de ferramentas de acesso: ferramentas de consulta e geração de relatórios, de desenvolvimento de aplicativos, de mineração de dados e ferramentas OLAP.

Arquitetura de data warehouse

No passado, os data warehouses operavam em camadas que correspondiam ao fluxo dos dados de negócios.

Diagrama da arquitetura de data warehouse

Diagrama da arquitetura de data warehouse. Um data warehouse típico inclui as três camadas separadas acima. Os data warehouses modernos de hoje combinam OLTP e OLAP em um único sistema.

 

  • Camada de dados:  os dados são extraídos de suas fontes e transformados e carregados na camada inferior usando ferramentas ETL. A camada inferior consiste no servidor de banco de dados, data marts e data lakes. Os metadados são criados nessa camada, e as ferramentas de integração de dados, como a virtualização de dados, são usadas para combinar e agregar dados com perfeição.
  • Camada semântica:  na camada intermediária, os servidores de processamento analítico online (OLAP) e de processamento transacional online (OLTP) reestruturam os dados para consultas e análises rápidas e complexas.
  • Camada de análise:  a camada superior é a camada cliente de front-end. Ela contém as ferramentas de acesso ao data warehouse com as quais os usuários podem interagir com os dados, criar dashboards e relatórios, monitorar KPIs, minerar e analisar dados, criar aplicativos e muito mais. Essa camada em geral inclui um workbench ou área de sandbox para exploração de dados e desenvolvimento de novos modelos de dados.

 

Os data warehouses foram projetados para dar suporte ao processo decisório e foram desenvolvidos e mantidos principalmente pelas equipes de TI, mas nos últimos anos eles evoluíram para empoderar os usuários de negócios, dependendo menos da TI para ter acesso aos dados e obter insights práticos. Alguns dos principais recursos de armazenamento de dados que empoderaram os usuários de negócios são:

  1. A camada semântica ou de negócios que fornece frases de linguagem natural e permite que todos entendam os dados instantaneamente, definam relacionamentos entre elementos no modelo de dados e enriqueçam campos de dados com novas informações de negócios.
  2. Os espaços de trabalho virtuais permitem que as equipes reúnam modelos de dados e conexões em um só local seguro e controlado, dando suporte a melhor colaboração com os colegas por meio de um espaço comum e um conjunto de dados comum.
  3. A nuvem aprimorou ainda mais a tomada de decisões empoderando globalmente os colaboradores com um conjunto completo de ferramentas e recursos para executar as tarefas de análise de dados com facilidade. Eles podem conectar novos aplicativos e fontes de dados sem muito suporte de TI.
    placeholder

    Dê os primeiros passos

    Experimente nosso data warehouse na nuvem agora.

    Sete principais benefícios de um data warehouse na nuvem

    Os data warehouses baseados em nuvem estão crescendo em popularidade e por um bom motivo. Esses data warehouses modernos oferecem várias vantagens em relação às versões tradicionais on premise. Estes são os sete principais benefícios de um data warehouse na nuvem:  

    1. Rápida implementação: com o armazenamento de dados em nuvem, você pode comprar poder computacional e armazenamento de dados quase ilimitados com apenas alguns cliques – e criar seu próprio data warehouse, data marts e sandboxes de qualquer lugar, em minutos.
    2. Baixo custo total de propriedade (TCO): os modelos de preços de data warehouse como serviço (DWaaS) são configurados para que você pague apenas os recursos necessários, quando precisar. Não é preciso prever necessidades de longo prazo ou pagar por mais computação do que o necessário ao longo do ano. Você também pode evitar custos iniciais, como hardware caro, salas de servidor e equipe de manutenção. Separar os preços de armazenamento dos preços computacionais também é uma forma de reduzir custos.
    3. Elasticidade: com um data warehouse na nuvem, você pode aumentar ou diminuir dinamicamente a escala, conforme necessário. A nuvem nos oferece um ambiente virtualizado e altamente distribuído que pode gerenciar enormes volumes de dados de uma forma altamente escalável.
    4. Segurança e recuperação de desastres: em muitos casos, os data warehouses na nuvem realmente fornecem maior segurança de dados e criptografia do que os DWs on premise . Os dados são também duplicados e armazenados em backup automaticamente, para minimizar o risco de perda.
    5. Tecnologias em tempo real: os data warehouses na nuvem, baseados na tecnologia de banco de dados in-memory, podem proporcionar velocidades de processamento de dados extremamente altas e fornecer dados em tempo real para a conscientização instantânea da situação.
    6. Novas tecnologias: os data warehouses na nuvem permitem que você integre facilmente novas tecnologias, como Machine Learning, que podem proporcionar experiências guiadas aos usuários e suporte a decisões na forma de perguntas recomendadas a serem feitas, por exemplo.
    7. Empodere os usuários de negócios: os data warehouses na nuvem empoderam os colaboradores de maneira igualitária e global com uma visão única dos dados de várias fontes e um conjunto completo de ferramentas e recursos para executar facilmente as tarefas de análise de dados. Eles conseguem conectar novos aplicativos e fontes de dados sem a TI.
    placeholder

    O data warehousing oferece suporte a análises abrangentes das despesas da empresa por departamento, fornecedores, região e status, para citar alguns.

    Melhores práticas de data warehouse

    Quando você cria um novo data warehouse ou adiciona novos aplicativos a um data warehouse existente, há etapas comprovadas para alcançar seus objetivos e, ao mesmo tempo, economizar tempo e dinheiro. Algumas práticas estão focadas no uso empresarial e outras fazem parte do programa geral de TI. A lista a seguir é um bom ponto de partida e você escolherá melhores práticas adicionais à medida que trabalha com seus parceiros de tecnologia e serviços. 

    Melhores práticas de negócios

    • Defina as informações necessárias. Depois de entender bem suas necessidades iniciais, encontre as fontes de dados para atendê-las. Muitas vezes, grupos comerciais, clientes e fornecedores terão recomendações de dados para você. 
    • Documente a localização, a estrutura e a qualidade dos dados atuais. Em seguida, identifique lacunas de dados e regras de negócios para transformar os dados de acordo com suas necessidades de data warehouse.
    • Forme uma equipe. Isso inclui patrocinadores executivos, gerentes e pessoal que vão usar e fornecer as informações. Por exemplo, identifique os relatórios padrão e os KPIs necessários para eles realizarem seus trabalhos.
    • Priorize seus aplicativos de data warehouse. Escolha um ou dois projetos-piloto que tenham requisitos razoáveis e bom valor comercial. 
    • Escolha um parceiro forte em tecnologia de data warehouse. Eles devem ter a experiência e os serviços de implementação necessários aos seus projetos. Certifique-se de que eles atendam às suas necessidades de implementação, incluindo opções de serviços na nuvem e on premise. 
    • Desenvolva um bom plano de projeto. Trabalhe com sua equipe em um plano e cronograma realistas que ofereçam suporte a comunicações e relatórios de status. 

    Melhores práticas de TI

    • Monitore desempenho e segurança. As informações no data warehouse são valiosas, embora devam ser prontamente acessíveis para agregar valor à organização. Monitore o uso do sistema com atenção para garantir níveis altos de desempenho. 
    • Mantenha os padrões de qualidade de dados, metadados, estrutura e governança. Novas fontes de dados valiosos estão ficando disponíveis regularmente, mas precisam ser gerenciados de modo consistente como parte de um data warehouse. Siga os procedimentos de limpeza de dados, definição de metadados e cumprimento de padrões de governança.
    • Forneça uma arquitetura ágil. À medida que aumenta o uso corporativo e da unidade de negócios, você descobrirá uma ampla gama de necessidades de data mart e data warehouse. Uma plataforma flexível dará um suporte muito melhor do que um produto limitado e restritivo. 
    • Automatize processos, por exemplo, manutenção. Além de agregar valor a Business Intelligence, o Machine Learning pode automatizar as funções de gestão técnica do data warehouse para manter a velocidade e reduzir os custos operacionais. 
    • Use a nuvem com estratégia. As unidades de negócio e os departamentos têm necessidades de implementação diferentes. Use sistemas on premise quando necessário e aproveite os data warehouses na nuvem para ter escalabilidade, custo reduzido e acesso por telefone e tablet.  

    Em suma

    Os data warehouses modernos e, cada vez mais, os data warehouses na nuvem, serão parte fundamental de qualquer iniciativa de transformação digital para as empresas principais e suas unidades de negócios. Eles aproveitam os sistemas empresariais atuais, principalmente quando você combina dados de vários sistemas internos com novas informações importantes de organizações externas. 

     

    Dashboards, KPIs, alertas e relatórios dão suporte às necessidades de executivos, gerentes e equipes, bem como às importantes necessidades de clientes e fornecedores. Os data warehouses também fornecem funções analíticas e data mining rápidos e complexos e não interferem no desempenho de outros sistemas empresariais. 

     

    Dada a flexibilidade de começar com o básico e expandir conforme necessário, tanto os escritórios corporativos como as unidades de negócios podem melhorar a tomada de decisões e o desempenho do resultado com a moderna tecnologia de data warehouse.

    placeholder

    Explore a solução de data warehouse da SAP

    Obtenha funções analíticas e dados unificados para tomar decisões confiáveis na nuvem.

    Outros destaques desta série

    Glossário do data warehouse

    Data lake é um local para armazenar todos os tipos de Big Data, sejam dados estruturados de aplicativos de negócios ou dados não estruturados de aplicativos móveis, mídias sociais ou dispositivos com Internet das Coisas (IoT). Como os dados são armazenados no formato natural – estruturado, não estruturado, semiestruturado ou binário – a conversão, a normalização ou outros processamentos podem ser necessários para permitir análises em vários tipos de dados. A maioria dos data lakes são baseados em nuvem devido aos grandes volumes de dados que armazenam, à necessidade de conexões de alta velocidade com as fontes distribuídas e à necessidade de escalabilidade.

    ETL significa “extrair, transformar e carregar”. Juntas, essas atividades compõem o processo usado para obter dados da fonte, convertê-los em formato utilizável e movê-los para um data warehouse ou outro armazenamento de dados. O ETL é especialmente útil em dados transacionais, mas, ferramentas mais avançadas também podem gerenciar uma variedade de tipos de dados não estruturados.

     Data mart é um segmento particionado de um data warehouse orientado a uma área de negócios ou equipe específicas, como finanças ou marketing. Os data marts facilitam para os departamentos o acesso rápido a dados e insights relevantes para eles, além de controlar seus próprios conjuntos de dados no armazenamento de dados maior.

    Os modelos de dados são um elemento fundamental do desenvolvimento de software e das funções analíticas. Um modelo de dados é uma descrição de como os dados são estruturados e a forma como os dados serão armazenados no banco de dados. Um modelo de dados fornece uma estrutura de relações entre elementos de dados dentro de um banco de dados, bem como um guia para uso dos dados.

     

    Modelagem de dados é o processo de criação de modelos de dados. Na criação de uma estrutura de banco de dados ou data warehouse, o designer começa com um diagrama de como os dados vão fluir para dentro e para fora do banco de dados ou do data warehouse. Este fluxograma é usado para definir as características dos formatos de dados, estruturas e funções de processamento de banco de dados para atender com eficiência os requisitos do fluxo de dados. A modelagem fornece um método padronizado para definir e formatar conteúdos do banco de dados de modo consistente em todos os sistemas, permitindo que diferentes aplicativos compartilhem os mesmos dados. 

    Um data warehouse empresarial (EDW) armazena todos os dados de negócios atuais e históricos em um só local – a incorporação do gerenciamento de dados mestres, armazenamento de dados e uma estratégia de dados baseada em uma abordagem holística ao gerenciamento de dados. Os EDWs oferecem um ambiente acolhedor para o software de análise e a manutenção de KPIs e relatórios precisos em toda a empresa. Muitos EDWs são baseados em nuvem para oferecer escalabilidade, acesso e facilidade de uso.

    Newsletter do SAP Insights

    placeholder
    Assine ainda hoje

    Receba insights importantes assinando nossa newsletter.

    Leitura adicional

    Voltar ao início