Naar inhoud gaan
Vrouw die naar data kijkt

Wat is een datawarehouse?

Een datawarehouse (DW) is een digitaal opslagsysteem dat grote hoeveelheden data uit verschillende bronnen verbindt en harmoniseert. Lees meer over de voordelen van een datawarehouse en hoe een datawarehouse werkt.

Een datawarehouse (DW) is een digitaal opslagsysteem dat grote hoeveelheden data uit verschillende bronnen verbindt en harmoniseert. Het doel is om ze te gebruiken voor business intelligence (BI), rapportage en analyses en om wettelijke vereisten te ondersteunen zodat bedrijven hun data kunnen omzetten in inzicht en slimme, onderbouwde beslissingen kunnen nemen. In datawarehouses worden actuele en historische data op één plek opgeslagen en ze fungeren als enige bron van de waarheid voor een organisatie.

 

Gegevens stromen naar een datawarehouse vanuit operationele systemen (zoals ERP en CRM), databases en externe bronnen zoals partnersystemen, IoT-apparaten (Internet of Things), weerapps en social media, meestal op regelmatige basis. De opkomst van cloud computing heeft een verschuiving in het landschap veroorzaakt. Sinds een aantal jaren zijn dataopslaglocaties niet langer te vinden in een traditionele on-premise infrastructuur, maar op meerdere locaties, waaronder on-premise, private cloud en public cloud.

 

Moderne datawarehouses zijn ontworpen om zowel gestructureerde als ongestructureerde data te verwerken, zoals video's, afbeeldingsbestanden en sensordata. Sommige maken gebruik van geïntegreerde analyses en in-memory databasetechnologie (waarbij de dataset in het computergeheugen wordt bewaard in plaats van in de schijfopslag) om realtime toegang te bieden tot betrouwbare data en goed onderbouwde besluitvorming mogelijk te maken. Zonder datawarehousing is het erg moeilijk om data uit heterogene bronnen te combineren, ervoor te zorgen dat ze de juiste indeling hebben voor analyses en om zowel een actueel als een langetermijnbeeld van data te krijgen.

Wat is een datawarehouse

Wat is een datawarehouse?

Voordelen van datawarehousing

Een goed ontworpen datawarehouse vormt de basis voor een succesvol BI- of analyseprogramma. De belangrijkste taak is het bieden van krachtige rapporten, dashboards en analytische tools die inmiddels onmisbaar zijn geworden voor bedrijven. Een datawarehouse biedt de informatie voor uw datagedreven beslissingen en helpt u op alle vlakken de juiste keuze te maken, van de ontwikkeling van nieuwe producten tot voorraadniveaus. Een datawarehouse heeft veel voordelen. Hieronder vindt u er een paar: 

  • Betere bedrijfsanalyses: met datawarehousing hebben besluitvormers toegang tot data uit meerdere bronnen en hoeven ze geen beslissingen meer te nemen op basis van onvolledige informatie.  
  • Sneller data opvragen: datawarehouses worden specifiek gebouwd voor het snel ophalen en analyseren van gegevens. Met een DW kunt u razendsnel grote hoeveelheden geconsolideerde data opvragen, zonder ondersteuning van IT.  
  • Verbeterde datakwaliteit: voordat gegevens in het DW worden geladen, worden er dataopschoningen door het systeem gecreëerd en in een werkvoorraad ingevoerd voor verdere verwerking. Zo worden data omgezet in een consistente indeling om analyses en beslissingen te ondersteunen op basis van hoogwaardige, accurate gegevens.
  • Historisch inzicht: door uitgebreide historische data op te slaan, kunnen besluitvormers in een datawarehouse leren van eerdere trends en uitdagingen, voorspellingen doen en streven naar continue verbeteringen van de bedrijfsvoering.
placeholder

Screenshot van datawarehouse waarin de herkomst van data wordt belicht.

Wat kan een datawarehouse opslaan?

Toen datawarehouses eind jaren tachtig voor het eerst populair werden, werden ze ontworpen om informatie over mensen, producten en transacties op te slaan. Deze data, ook wel gestructureerde data genoemd, waren netjes georganiseerd en eenvoudig toegankelijk. Bedrijven wilden echter al snel ongestructureerde data opslaan, ophalen en analyseren, zoals documenten, afbeeldingen, video's, e-mails, socialmediaberichten en ruwe data van machinesensoren.

 

Een modern datawarehouse kan zowel gestructureerde als ongestructureerde data verwerken. Door deze datatypen samen te voegen en silo's tussen deze groepen af te breken, kunnen bedrijven een compleet beeld krijgen van de meest waardevolle inzichten.

Belangrijke begrippen

Er zijn veel begrippen die aan bod komen in de wereld van DW. Hier worden de belangrijkste besproken. Andere termen en veelgestelde vragen vindt u in onze woordenlijst.

 

Datawarehouse vs. database

 

Databases en datawarehouses zijn allebei systemen voor gegevensopslag, maar ze hebben verschillende doelen. Een database slaat doorgaans data op voor een bepaald bedrijfsgebied. Een datawarehouse slaat actuele en historische data op voor het hele bedrijf en gebruikt ze voor BI en analyses. Datawarehouses gebruiken een databaseserver om gegevens uit de databases van een organisatie op te halen en beschikken over aanvullende functies voor bijvoorbeeld datamodellering, beheer van de datalevenscyclus en databronintegratie.

 

Datawarehouse vs. datalake

 

Zowel datawarehouses als datalakes worden gebruikt om Big Data op te slaan, maar ze zijn heel verschillend. Een datawarehouse slaat gegevens op die zijn opgemaakt voor een specifiek doel, terwijl een datalake gegevens opslaat in ruwe, onverwerkte status, waarbij het doel nog niet is bepaald. Datawarehouses en datalakes vullen elkaar meestal aan. Wanneer bijvoorbeeld ruwe gegevens die zijn opgeslagen in een datalake nodig zijn om een vraag te beantwoorden, kunnen deze worden geëxtraheerd, opgeschoond, getransformeerd en gebruikt in een datawarehouse voor analyse. Het volume van data, databaseprestaties en opslagprijzen spelen een belangrijke rol bij het kiezen van de juiste opslagoplossing.

Datawarehouse vs. datalake

Diagram van een datawarehouse in vergelijking tot een datalake.

Datawarehouse vs. datamart 

 

Een datamart is een onderdeel van een datawarehouse dat specifiek is gepartitioneerd voor een afdeling of een bedrijfsonderdeel, zoals sales, marketing of finance. Sommige datamarts worden ook gemaakt voor zelfstandige operationele doeleinden. Een datawarehouse fungeert als de centrale dataopslag voor een heel bedrijf, maar een datamart levert relevante data aan een selecte groep gebruikers. Hiermee wordt de toegang tot gegevens vereenvoudigd, worden analyses sneller uitgevoerd en krijgen gebruikers controle over hun eigen data. Er worden vaak meerdere datamarts geïmplementeerd binnen een datawarehouse.

Datawarehouse vs. datamart

Diagram van een datamart en hoe deze werkt.

Wat zijn de belangrijkste componenten van een datawarehouse?

Een typisch datawarehouse heeft vier hoofdcomponenten: een centrale database, ETL-tools (extraheren, transformeren, laden), metadata en toegangstools. Al deze componenten zijn ontworpen voor snelheid, zodat u direct resultaten kunt zien en data in een handomdraai kunt analyseren.

Componenten van datawarehouse

Diagram met de componenten van een datawarehouse.

  1. Centrale database: een database dient als basis voor uw datawarehouse. Dit zijn oorspronkelijk relationele standaarddatabases die on-premise of in de cloud worden uitgevoerd. Maar door Big Data, de behoefte aan echte, realtime prestaties en een drastische verlaging van de kosten van RAM, winnen in-memory databases snel aan populariteit.
  2. Data-integratie: data worden uit bronsystemen gehaald en gewijzigd om de informatie af te stemmen voor snel analytisch gebruik met behulp van diverse data-integratiemethoden, zoals ETL (extraheren, transformeren, laden) en ELT, evenals realtime datareplicatie, bulkloadverwerking, datatransformatie en service voor datakwaliteit en dataverrijking.
  3. Metadata: metadata zijn data over uw data. Hiermee worden de bron, het gebruik, de waarden en andere functies van de datasets in uw datawarehouse gespecificeerd. Er zijn bedrijfsmetadata, die context toevoegen aan uw gegevens, en technische metadata, die beschrijven hoe toegang tot gegevens kan worden verkregen, waar ze zich bevinden en hoe ze zijn gestructureerd.
  4. Tools voor toegang tot datawarehouses: toegangstools stellen gebruikers in staat om te werken met de data in uw datawarehouse. Voorbeelden van toegangstools zijn query- en rapportagetools, tools voor applicatieontwikkeling, tools voor datamining en OLAP-tools.

Architectuur van datawarehouses

In het verleden werden datawarehouses beheerd in lagen die overeenkwamen met de stroom van de bedrijfsdata.

Diagram van de architectuur van datawarehouses

Diagram van de architectuur van datawarehouses. Een typisch datawarehouse omvat de drie lagen die hierboven zijn aangegeven. Tegenwoordig combineren moderne datawarehouses OLTP en OLAP in één systeem.

 

  • Datalaag: gegevens worden geëxtraheerd uit uw bronnen en vervolgens getransformeerd en geladen in de onderste laag met behulp van ETL-tools. De onderste laag bestaat uit uw databaseserver, datamarts en datalakes. In deze laag worden metadata gecreëerd, en met tools voor data-integratie, zoals datavirtualisatie, kunnen data naadloos worden gecombineerd en geaggregeerd.
  • Semantische laag: in de middelste laag herstructureren OLAP-servers (Online Analytical Processing) en OLTP-servers (Online Transactional Processing) de data voor snelle, complexe query's en analyses.
  • Analyselaag: de toplaag is de frontend cliëntlaag. Deze bevat de toegangstools voor het datawarehouse waarmee gebruikers met data kunnen werken, dashboards en rapporten kunnen maken, KPI's kunnen bewaken, gegevens kunnen analyseren en apps kunnen bouwen. De laag beschikt vaak over een workbench of sandboxgebied voor dataverkenning en voor de ontwikkeling van nieuwe datamodellen.

 

Datawarehouses zijn ontworpen ter ondersteuning van de besluitvorming en werden oorspronkelijk gebouwd en onderhouden door IT-teams. In de afgelopen jaren zijn ze echter steeds meer toegespitst op zakelijke gebruikers, waardoor zij minder afhankelijk zijn van IT om toegang te krijgen tot de data en bruikbare inzichten te verkrijgen. Enkele belangrijke functies voor datawarehousing voor zakelijke gebruikers op een rij:

  1. De semantische of bedrijfslaag die tekst in natuurlijke taal biedt en iedereen in staat stelt data direct te begrijpen, relaties tussen elementen in het datamodel te definiëren en datavelden te verrijken met nieuwe bedrijfsinformatie.
  2. Met virtuele werkruimten kunnen teams datamodellen en verbindingen op één beveiligde en beheerde plaats onderbrengen. Dit om een betere samenwerking met collega's te ondersteunen via één gemeenschappelijke ruimte en één gemeenschappelijke dataset.
  3. De cloud heeft de besluitvorming verder verbeterd door werknemers wereldwijd te voorzien van een uitgebreide set tools en functies om data-analysetaken eenvoudig uit te voeren. Ze kunnen nieuwe apps en databronnen verbinden met minimale IT-ondersteuning.
    placeholder

    Aan de slag

    Probeer vandaag nog ons datawarehouse in de cloud.

    Zeven grootste voordelen van een datawarehouse in de cloud

    Datawarehouses in de cloud worden steeds populairder, en dat is terecht. Deze moderne warehouses bieden verschillende voordelen ten opzichte van traditionele, on-premise versies. Dit zijn de zeven belangrijkste voordelen van een datawarehouse in de cloud:  

    1. Snel te implementeren: met datawarehousing in de cloud kunt u bijna onbeperkt rekencapaciteit en dataopslag aanschaffen in slechts enkele muisklikken en kunt u in een mum van tijd uw eigen datawarehouse, datamarts en sandboxen bouwen, waar en wanneer u maar wilt.
    2. Lage exploitatiekosten (TCO): dankzij de prijsmodellen voor datawarehouse-as-a-service (DWaaS) betaalt u alleen voor de resources die u nodig hebt, wanneer u ze nodig hebt. U hoeft uw langetermijnbehoeften niet te voorspellen en niet voor meer rekencapaciteit te betalen dan u daadwerkelijk nodig hebt. Daarnaast kunt u kosten voor bijvoorbeeld dure hardware, serverruimten en onderhoudspersoneel vooraf vermijden. Tot slot heeft u lagere kosten als u de opslagprijzen scheidt van de rekenprijzen.
    3. Elasticiteit: met een datawarehouse in de cloud kunt u waar nodig dynamisch op- en afschalen. De cloud biedt een gevirtualiseerde, sterk gedistribueerde omgeving voor het beheer van enorme hoeveelheden data die op en af kunnen schalen.
    4. Beveiliging en noodherstel: in veel gevallen bieden datawarehouses in de cloud een betere databeveiliging en -encryptie dan on-premise DW's. Gegevens worden ook automatisch gedupliceerd en er wordt een back-up van gemaakt, zodat de kans op dataverlies minimaal wordt.
    5. Realtime technologieën: datawarehouses in de cloud die zijn gebouwd op in-memory databasetechnologie kunnen extreem hoge dataverwerkingssnelheden bereiken om realtime data te leveren voor direct situationeel bewustzijn.
    6. Nieuwe technologieën: met datawarehouses in de cloud kunt u eenvoudig nieuwe technologieën integreren, zoals machine learning, die gebruikers een begeleide ervaring en ondersteuning bij beslissingen kunnen bieden in de vorm van bijvoorbeeld aanbevolen vragen.
    7. Geef gebruikers meer mogelijkheden: datawarehouses in de cloud bieden werknemers overal ter wereld hetzelfde uniforme overzicht van data uit verschillende bronnen en een uitgebreide set tools en functies waarmee ze eenvoudig data-analysetaken kunnen uitvoeren. Ze kunnen nieuwe apps en databronnen met elkaar verbinden zonder hulp van IT.
    placeholder

    Datawarehousing ondersteunt uitgebreide analyses van bedrijfskosten per afdeling, leverancier, regio en status, om er maar een paar te noemen.

    Best practices voor datawarehousing

    Als u een nieuw datawarehouse bouwt of nieuwe applicaties toevoegt aan een bestaand warehouse, zijn er handige stappen die u kunt volgen om uw doelen te bereiken én tegelijk tijd en geld te besparen. Sommige zijn gericht op uw zakelijke gebruik en andere maken deel uit van uw algemene IT-programma. De volgende lijst is een goed uitgangspunt en u zult aanvullende best practices ontdekken wanneer u samenwerkt met uw technologie- en servicepartners. 

    Best practices voor het bedrijf

    • Definieer de gewenste informatie. Als u weet wat uw initiële behoeften zijn, kunt u op zoek gaan naar de databronnen om ze te ondersteunen. Vaak hebben handelsgroepen, klanten en leveranciers data-aanbevelingen voor u. 
    • Documenteer de locatie, structuur en kwaliteit van uw huidige data. Vervolgens kunt u datahiaten en bedrijfsregels identificeren om de data te transformeren zodat ze voldoen aan uw warehousevereisten.
    • Stel een team samen. Dit omvat executive sponsors, managers en medewerkers die de informatie zullen gebruiken en verstrekken. Identificeer bijvoorbeeld de standaardrapportage en KPI's die ze nodig hebben om hun taken uit te voeren.
    • Geef prioriteit aan uw datawarehouseapplicaties. Kies een of twee testprojecten met redelijke vereisten die waarde opleveren. 
    • Kies een krachtige technologiepartner voor het datawarehouse. Deze moet beschikken over de implementatieservices en de ervaring die nodig zijn voor uw projecten. Zorg ervoor dat uw implementatiebehoeften worden ondersteund, waaronder zowel cloudservices als on-premise opties. 
    • Ontwikkel een goed projectplan. Werk samen met uw team aan een realistische blauwdruk en planning die communicatie en statusrapportage ondersteunt. 

    Best practices voor IT

    • Bewaak prestaties en beveiliging. De informatie in uw datawarehouse is waardevol, maar moet wel eenvoudig toegankelijk zijn. Bewaak het systeemgebruik zorgvuldig om er zeker van te zijn dat de prestatieniveaus hoog zijn. 
    • Gebruik datakwaliteitsnormen, metadata, structuur en beheer. Nieuwe bronnen van waardevolle data worden routinematig beschikbaar, maar vereisen consistent beheer als onderdeel van een datawarehouse. Volg procedures voor het opschonen van data, het definiëren van metadata en het voldoen aan beheernormen.
    • Bied een flexibele architectuur. Naarmate het gebruik in uw bedrijf en businessunit toeneemt, zult u een breed scala aan datamart- en datawarehousebehoeften ontdekken. Een flexibel platform biedt hierbij veel meer ondersteuning dan een beperkt product. 
    • Automatiseer processen zoals onderhoud. Machine learning genereert niet alleen meerwaarde voor business intelligence, maar automatiseert ook technische beheerfuncties voor datawarehouses om snel te blijven werken en de operationele kosten te verlagen. 
    • Gebruik de cloud strategisch. Businessunits en afdelingen hebben verschillende implementatiebehoeften. Gebruik indien nodig on-premise systemen en profiteer van datawarehouses in de cloud voor schaalbaarheid, lagere kosten en toegang via telefoons en tablets.  

    Samenvatting

    Moderne datawarehouses, en in toenemende mate datawarehouses in de cloud, zullen een belangrijk onderdeel vormen van elk digitaal transformatie-initiatief voor moederbedrijven en hun business units. Ze maken gebruik van bestaande bedrijfssystemen, met name wanneer u data uit meerdere interne systemen combineert met nieuwe, belangrijke informatie van buiten de organisatie. 

     

    Dashboards, KPI's, waarschuwingen en rapportage spelen in op de eisen van directie, management en personeel, en op de behoeften van klanten en leveranciers. Datawarehouses bieden snelle, complexe datamining en analyses en verstoren de prestaties van andere bedrijfssystemen niet. 

     

    Gezien de flexibiliteit om klein te beginnen en waar nodig uit te breiden, kunnen zowel hoofdkantoren als businessunits de besluitvorming verbeteren en de omzet vergroten met moderne datawarehousetechnologie.

    placeholder

    Maak kennis met de datawarehouseoplossing van SAP

    Krijg toegang tot uniforme data en analyses voor betrouwbare beslissingen in de cloud.

    Meer in deze serie

    Woordenlijst voor datawarehouse

    Een datalake is een plek om verschillende soorten Big Data op te slaan, of het nu gaat om gestructureerde data uit bedrijfsapplicaties of ongestructureerde data uit mobiele apps, social media of IoT-apparaten (Internet of Things). Omdat data in hun natuurlijke indeling (gestructureerd, ongestructureerd, semigestructureerd of binair) worden opgeslagen, kan conversie, normalisatie of een andere verwerkingsvorm nodig zijn om analyses voor meerdere datatypen mogelijk te maken. De meeste datalakes zijn cloudgebaseerd vanwege de grote hoeveelheden data die worden opgeslagen, de behoefte aan snelle verbindingen met gedistribueerde bronnen en de behoefte aan schaalbaarheid.

    ETL staat voor "extraheren, transformeren en laden". Samen vormen deze activiteiten het proces waarmee data uit de bron worden gehaald en worden omgezet in een bruikbare indeling, en vervolgens worden verplaatst naar een datawarehouse of andere gegevensopslag. ETL is vooral handig voor transactiedata, maar met geavanceerdere tools kunnen ook velerlei ongestructureerde datatypen worden beheerd.

    Een datamart is een gepartitioneerd segment van een datawarehouse dat zich richt op een specifiek bedrijfsgebied of team, zoals finance of marketing. Datamarts maken het voor afdelingen eenvoudiger om snel toegang te krijgen tot de data en inzichten die relevant voor hen zijn, en ook om hun eigen datasets binnen de grotere dataopslag te beheren.

    Datamodellen vormen een fundamenteel element van softwareontwikkeling en analyses. Een datamodel is een omschrijving van de manier waarop data zijn gestructureerd en de vorm waarin de data in de database worden opgeslagen. Een datamodel biedt een kader van relaties tussen data-elementen in een database, en een handleiding voor het gebruik van de data.

     

    Onder datamodellering wordt het maken van datamodellen verstaan. Bij het maken van een database- of datawarehousestructuur begint de ontwerper met een diagram van hoe data in en uit de database of het datawarehouse zullen stromen. Dit stroomdiagram wordt gebruikt om de kenmerken van de data-indelingen, structuren en databaseverwerkingsfuncties te definiëren om op efficiënte wijze de vereisten voor datastromen te ondersteunen. De modellering biedt een gestandaardiseerde methode voor het consistent definiëren en opmaken van databasecontent in verschillende systemen, waardoor verschillende applicaties dezelfde data kunnen delen. 

    In een Enterprise Data Warehouse (EDW) worden alle actuele en historische bedrijfsdata op één plek opgeslagen: de integratie van stamdatabeheer, datawarehousing en een datastrategie op basis van een holistische aanpak van datamanagement. EDW's bieden een welkome omgeving voor analysesoftware en het onderhoud van nauwkeurige, bedrijfsbrede KPI's en rapportage. Veel EDW's zijn cloudgebaseerd voor schaalbaarheid, toegang en gebruiksgemak.

    SAP Insights nieuwsbrief

    placeholder
    Nu aanmelden

    Meld u aan voor onze nieuwsbrief en krijg belangrijke inzichten.

    Meer lezen

    Terug naar boven