Vad är ett data warehouse?
Ett data warehouse (DW) är ett digitalt lagringssystem som kopplar samman och harmoniserar stora mängder data från många olika källor.
Datalageröversikt
Ett datalager (DW) är ett digitalt lagringssystem som kopplar samman och harmoniserar stora mängder data från många olika källor. Syftet är att förmedla business intelligence (BI), rapportering och analys och stödja myndighetskrav – så att företag kan omvandla sina data till insikter och fatta smarta, datadrivna beslut. Datalager lagrar aktuella och historiska data på ett och samma ställe och fungerar som en enda informationskälla för en organisation.
Data överförs till ett datalager från operativa system (som ERP och CRM), databaser och externa källor som partnersystem, IoT-enheter (Internet of Things), väderappar och sociala medier – oftast regelbundet. Framväxten av molntjänster har orsakat en förskjutning i landskapet. Under de senaste åren har datalagringsplatser flyttats från traditionell on-premise-infrastruktur till flera platser, inklusive lokalt, privat moln och publikt moln.
Moderna data warehouse är utformade för att hantera både strukturerade och ostrukturerade data, som videor, bildfiler och sensordata. Vissa utnyttjar integrerad analys och in-memory-databasteknik (som håller datauppsättningen i datorminnet i stället för i disklagring) för att ge realtidsåtkomst till betrodda data och driva ett säkert beslutsfattande. Utan datalagring är det mycket svårt att kombinera data från heterogena källor, se till att de är i rätt format för analys och få både en aktuell och lång vy över data över tid.
Vad är ett data warehouse?
Fördelar med data warehousing
Ett välutformat datalager är grunden för alla framgångsrika BI- eller analysprogram. Dess huvudsakliga uppgift är att driva rapporter, instrumentpaneler och analysverktyg som har blivit oumbärliga för företag idag. Ett data warehouse ger information för dina datadrivna beslut – och hjälper dig att göra rätt uppmaning på allt från ny produktutveckling till lagernivåer. Det finns många fördelar med ett data warehouse. Här är bara några:
Bättre affärsanalys: Med datalagring har beslutsfattare tillgång till data från flera källor och behöver inte längre fatta beslut baserat på ofullständig information.
Snabbare frågor: Data warehouse är byggda speciellt för snabb datahämtning och analys. Med en DW kan du mycket snabbt fråga stora mängder konsoliderade data med lite eller inget stöd från IT.
Förbättrad datakvalitet: Innan de läses in i DW skapas datarensningsfall av systemet och matas in i en arbetslista för vidare bearbetning, vilket säkerställer att data omvandlas till ett konsistent format för att stödja analyser – och beslut – baserat på högkvalitativa och korrekta data.
Historiska insikter: Genom att lagra omfattande historiska data kan beslutsfattare lära sig av tidigare trender och utmaningar, göra förutsägelser och driva på kontinuerliga förbättringar av verksamheten.
Skärmdump för data warehouse som visar dataursprung.
Vad kan ett data warehouse lagra?
När data warehouse först blev populära i slutet av 1980-talet utformades de för att lagra information om människor, produkter och transaktioner. Dessa data, som kallas strukturerade data, var snyggt organiserade och formaterade för enkel åtkomst. Företagen ville dock snart lagra, hämta och analysera ostrukturerade data – som dokument, bilder, videor, e-post, inlägg i sociala medier och rådata från maskinsensorer.
Ett modernt data warehouse kan rymma både strukturerade och ostrukturerade data. Genom att slå samman dessa datatyper och bryta ner silos mellan de två kan företag få en komplett, heltäckande bild för de mest värdefulla insikterna.
Några nyckeltermer
Det finns många termer att förstå i DW:s värld. Här är några av de viktigaste. Utforska några andra termer och vanliga frågor i vår ordlista.
Data warehouse kontra databas
Databaser och datalager är båda datalagringssystem, men de tjänar olika syften. En databas lagrar data vanligtvis för ett visst affärsområde. Ett datalager lagrar aktuella och historiska data för hela verksamheten och matar in BI och analyser. Datalager använder en databasserver för att hämta in data från en organisations databaser och har ytterligare funktioner för datamodellering, datalivscykelhantering, integration av datakällor med mera.
Data warehouse kontra datasjö
Både datalager och datasjöar används för lagring av Big Data, men de är väldigt olika lagringssystem. Ett datalager lagrar data som har formaterats för ett visst ändamål, medan en datasjö lagrar data i rå, obearbetad status – vars syfte ännu inte har definierats. Datalager och sjöar kompletterar ofta varandra. När till exempel rådata som lagras i en sjö behövs för att svara på en företagsfråga kan den extraheras, rensas, transformeras och användas i ett datalager för analys. Datavolymen, databasens prestanda och lagringsprissättningen spelar en viktig roll för att hjälpa dig att välja rätt lagringslösning.
Diagram över ett datalager jämfört med en datasjö.
Datalager kontra dataförråd
Ett dataförråd är ett underavsnitt av ett datalager, som är uppdelat specifikt för en avdelning eller affärsgren – som försäljning, marknadsföring eller ekonomi. Vissa dataförråd skapas också för fristående operativa ändamål. Ett datalager fungerar som det centrala datalagret för ett helt företag, men ett dataförråd betjänar relevanta data för en utvald grupp av användare. Detta förenklar dataåtkomst, snabbar upp analysen och ger dem kontroll över sina egna data. Flera dataförråd distribueras ofta inom ett datalager.
Diagram över ett dataskydd och hur det fungerar.
Vilka är nyckelkomponenterna i ett data warehouse?
Ett typiskt datalager har fyra huvudkomponenter: en central databas, ETL-verktyg (extrahera, transformera, ladda), metadata och åtkomstverktyg. Alla dessa komponenter är konstruerade för hastighet så att du kan få resultat snabbt och analysera data i farten.
Diagram som visar komponenterna i ett datalager.
- Central databas: En databas fungerar som grunden för ditt datalager. Traditionellt har dessa varit standardiserade relationsdatabaser som körs på plats eller i molnet. Men på grund av Big Data, behovet av sann prestanda i realtid, och en drastisk minskning av kostnaden för RAM, ökar minnesbaserade databaser snabbt i popularitet.
- Dataintegration: Data hämtas från källsystem och modifieras för att anpassa informationen för snabb analytisk förbrukning med hjälp av en mängd olika dataintegreringsmetoder som ETL (extrakt, transformation, load) och ELT samt realtidsdatareplikering, bearbetning av bulklast, datatransformation, datakvalitet och berikningstjänster.
- Metadata: Metadata är data om dina data. Den anger källa, användning, värden och andra funktioner för dataset i ditt datalager. Det finns affärsmetadata, som lägger till kontext till dina data, och tekniska metadata, som beskriver hur du kommer åt data – inklusive var den finns och hur den är strukturerad.
- Åtkomstverktyg för datalager: Åtkomstverktyg gör det möjligt för användare att interagera med data i ditt datalager. Exempel på åtkomstverktyg är: fråge- och rapporteringsverktyg, verktyg för applikationsutveckling, datautvinningsverktyg och OLAP-verktyg.
Datalagerarkitektur
Tidigare fungerade datalager i lager som matchade flödet av affärsdata.
Diagram över datalagerarkitektur. Ett typiskt datalager innehåller de tre separata skikten ovan. Idag kombinerar moderna datalager OLTP och OLAP i ett enda system.
Datalager: Data extraheras från dina källor och omvandlas och läses sedan in i bottenskiktet med ETL-verktyg. Bottennivån består av din databasserver, datasjöar och datasjöar. Metadata skapas i denna nivå – och dataintegrationsverktyg, som datavirtualisering, används för att sömlöst kombinera och aggregera data.
Semantiklager: I mellanskiktet omstrukturerar onlineanalysprocesser (OLAP) och onlineservrar för transaktionsbearbetning (OLTP) data för snabba, komplexa frågor och analyser.
Analysskikt: Den översta nivån är frontend-klientskiktet. Den innehåller datalageråtkomstverktyg som låter användare interagera med data, skapa dashboards och rapporter, övervaka nyckeltal, ta fram och analysera data, skapa appar med mera. Denna nivå inkluderar ofta en workbench eller sandbox område för datautforskning och ny datamodellutveckling.
Datalager har utformats för att stödja beslutsfattande och har i första hand byggts och underhållits av IT-team, men under de senaste åren har de utvecklats för att ge företagsanvändare möjlighet – vilket minskar deras beroende av IT för att få tillgång till data och få fram användbara insikter. Några viktiga datalagringsfunktioner som har gett företagsanvändare behörighet är:
- Det semantiska eller affärsskiktet som tillhandahåller naturliga språkfraser och gör det möjligt för alla att direkt förstå data, definiera relationer mellan element i datamodellen och komplettera datafält med ny affärsinformation.
- Virtuella arbetsytor gör det möjligt för team att föra datamodeller och anslutningar till en säker och styrd plats som stöder bättre samarbete med kollegor genom ett gemensamt utrymme och en gemensam datauppsättning.
- Cloud har förbättrat beslutsfattandet ytterligare genom att globalt ge medarbetarna tillgång till en omfattande uppsättning verktyg och funktioner för att enkelt kunna utföra dataanalysuppgifter. De kan ansluta nya appar och datakällor utan mycket IT-stöd.
De sju bästa fördelarna med ett molndatalager
Molnbaserade datalager ökar i popularitet – av goda skäl. Dessa moderna lager erbjuder flera fördelar jämfört med traditionella, lokala versioner. Här är de sju främsta fördelarna med ett molndatalager:
- Snabb att distribuera: Med molndatalagring kan du köpa nästan obegränsad datorkraft och datalagring på bara några få klick – och du kan bygga ditt eget datalager, datamarkeringar och sandlådor var som helst, på bara några minuter.
- Låg total ägandekostnad (TCO): Prismodeller för Data warehouse-as-a-service (DWaaS) är konfigurerade så att du bara betalar för de resurser du behöver, när du behöver dem. Du behöver inte prognostisera dina långsiktiga behov eller betala för mer beräkning under året än nödvändigt. Du kan också undvika kostnader i förskott som dyr hårdvara, serverrum och underhållspersonal. Att skilja lagringspriserna från beräkningspriserna ger dig också ett sätt att pressa ner kostnaderna.
- Elasticitet: Med ett molndatalager kan du dynamiskt skala upp eller ner efter behov. Cloud ger oss en virtualiserad, mycket distribuerad miljö som kan hantera enorma datavolymer som kan skalas upp och ner.
- Säkerhet och katastrofåterställning: I många fall ger molndatalager faktiskt starkare datasäkerhet och kryptering än lokala DWs. Data dupliceras och säkerhetskopieras automatiskt, så att du kan minimera risken för förlorade data.
- Realtidsteknik: Molndatalager som bygger på in-memory-databasteknik kan ge extremt snabba databehandlingshastigheter för att leverera realtidsdata för omedelbar situationsmedvetenhet.
- Ny teknik: Molndatalager gör att du enkelt kan integrera ny teknik som maskininlärning, vilket kan ge en guidad upplevelse för företagsanvändare och beslutsstöd i form av rekommenderade frågor att ställa, som ett exempel.
- Ge företagsanvändare: Molndatalager ger anställda samma och globala möjligheter med en enda vy av data från många källor och en omfattande uppsättning verktyg och funktioner för att enkelt kunna utföra dataanalysuppgifter. De kan ansluta nya appar och datakällor utan IT.
Datalagring stöder omfattande analys av företagets utgifter efter avdelning, leverantörer, region och status, för att bara nämna några.
Bästa praxis för data warehousing
När du bygger ett nytt datalager eller lägger till nya applikationer i ett befintligt lager finns det beprövade steg för att uppnå dina mål samtidigt som du sparar tid och pengar. Vissa fokuserar på ditt företags användning, och andra metoder är en del av ditt övergripande IT-program. Följande lista är en bra utgångspunkt, och du kommer att plocka upp ytterligare bästa praxis när du arbetar med dina teknik- och tjänstepartners.
Bästa affärspraxis
Definiera den information du behöver. När du har en god förståelse för dina initiala behov kan du hitta datakällorna för att stödja dem. Ofta har handelsgrupper, kunder och leverantörer datarekommendationer för dig.
Dokumentera plats, struktur och kvalitet på dina aktuella data. Sedan kan du identifiera dataluckor och affärsregler för att transformera data för att uppfylla dina lagerbehov.
Bygg ett team. Detta inkluderar verkställande sponsorer, chefer och personal som kommer att använda och tillhandahålla informationen. Till exempel identifiera standardrapportering och nyckeltal som de behöver för att utföra sina jobb.
Prioritera dina datalagerapplikationer. Välj ett eller två pilotprojekt som har rimliga krav och bra affärsvärde.
Välj en stark partner för datalagerteknik. De måste ha de implementeringstjänster och erfarenheter som behövs för dina projekt. Se till att de stöder dina distributionsbehov, inklusive både molntjänster och lokala alternativ.
Ta fram en bra projektplan. Arbeta med ditt team på en realistisk plan och tidsplan som stöder kommunikation och statusrapportering.
Bästa praxis för IT
Övervaka prestanda och säkerhet. Informationen i ditt datalager är värdefull, men den måste vara lättillgänglig för att ge ett mervärde till organisationen. Övervaka systemanvändningen noggrant för att säkerställa att prestandanivåerna är höga.
Underhåll datakvalitetsstandarder, metadata, struktur och styrning. Nya källor med värdefulla data blir tillgängliga rutinmässigt, men de kräver konsekvent hantering som en del av ett datalager. Följ rutiner för datarensning, definition av metadata och uppfyllande av styrningsstandarder.
Ge en agil arkitektur. I takt med att användningen av företag och affärsenheter ökar kommer du att upptäcka ett brett utbud av datamarknads- och lagerbehov. En flexibel plattform kommer att stödja dem mycket bättre än en begränsad, restriktiv produkt.
Automatisera processer som underhåll. Förutom att addera värde till business intelligence kan maskininlärning automatisera tekniska funktioner för datalager för att upprätthålla hastigheten och minska driftskostnaderna.
Använd molnet strategiskt. Affärsenheter och avdelningar har olika distributionsbehov. Använd lokala system vid behov och utnyttja molndatalager för skalbarhet, minskade kostnader och åtkomst till telefon och surfplattor.
Sammanfattande
Moderna datalager, och allt fler molndatalager, kommer att vara en viktig del av alla initiativ för digital transformation för moderbolag och deras affärsenheter. De utnyttjar nuvarande affärssystem, särskilt när du kombinerar data från flera interna system med ny, viktig information från externa organisationer.
Instrumentpaneler, nyckeltal, aviseringar och rapportering stöder chefs-, lednings- och personalbehov samt viktiga kund- och leverantörsbehov. Datalager tillhandahåller också snabb, komplex datautvinning och analys, och de stör inte prestandan i andra affärssystem.
Med tanke på flexibiliteten att börja småskaligt och expandera efter behov kan både företagskontor och affärsenheter förbättra beslutsfattandet och prestanda på gräsrotsnivå med modern datalagerteknik.
Vanliga frågor om data warehouse
Utforska moderna datalagerverktyg
SAP Datasphere är nästa generation av SAP Data Warehouse Cloud.
Idéer som du inte hittar någon annanstans
Registrera dig för en dos business intelligence som levereras direkt till din inkorg.