Hva er et datavarehus?
Datavarehus (data warehouse) er et digitalt lagringssystem som kobler sammen og harmoniserer store mengder data fra mange forskjellige kilder.
Datalageroversikt
Datavarehus (DW) er et digitalt lagringssystem som kobler sammen og harmoniserer store mengder data fra mange forskjellige kilder. Formålet er å mate Business Intelligence (BI), rapportering og analyse og støtte regulatoriske krav – slik at bedrifter kan gjøre dataene om til innsikt og ta smarte, datadrevne beslutninger. Datalagre lagrer aktuelle og historiske data på ett sted og fungerer som den sentrale datapoolen for en organisasjon.
Data strømmer inn i et datalager fra operative systemer (som ERP og CRM), databaser og eksterne kilder som partnersystemer, IoT-enheter (Internet of Things), værapper og sosiale medier – vanligvis på en vanlig tråkkfrekvens. Fremveksten av cloud computing har forårsaket en endring i landskapet. De siste årene har datalagringssteder flyttet seg bort fra tradisjonell on-premise-infrastruktur til flere steder, inkludert på stedet, privat sky og offentlig sky.
Moderne datavarehus er designet for å håndtere både strukturerte og ustrukturerte data, som videoer, bildefiler og sensordata. Noen benytter integrert analyse- og in-memory-databaseteknologi (som inneholder datasettet i dataminnet i stedet for i disklagring) for å gi sanntidstilgang til klarerte data og sikre beslutningstaking. Uten datalagring er det svært vanskelig å kombinere data fra heterogene kilder, sikre at de er i riktig format for analyse, og få både en aktuell og lang oversikt over data over tid.
Hva er et datavarehus?
Fordeler med datalagring
Et godt utformet datavarehus er grunnlaget for ethvert vellykket BI-eller analyseprogram. Hovedjobben er å drive rapportene, dashboardene og analyseverktøyene som har blitt uunnværlige for bedrifter i dag. Et datavarehus gir informasjon om dine datastyrte beslutninger – og hjelper deg med å ta riktige anrop på alt fra utvikling av nye produkter til lagerbeholdninger. Det er mange fordeler med et datalager. Her er bare noen få:
Bedre forretningsanalyse: Med datalagring har beslutningstakere tilgang til data fra flere kilder og trenger ikke lenger å ta beslutninger basert på ufullstendig informasjon.
Raskere spørringer: Datalagre er bygget spesielt for rask datainnsamling og analyse. Med en DW (data warehouse) kan du raskt spørre etter store mengder konsoliderte data med lite eller ingen støtte fra IT.
Forbedret datakvalitet: Før de lastes inn i data warehouse, opprettes dataoppryddingstilfeller av systemet og oppgis i en arbeidsliste for videre behandling, slik at data omformes til et konsistent format for å støtte analyser – og beslutninger – basert på nøyaktige data av høy kvalitet.
Historisk innsikt: Ved å lagre rike historiske data, lar et datavarehus beslutningstakere lære av tidligere trender og utfordringer, lage prognoser og fremme kontinuerlig forretningsforbedring.
Skjermdump for datavarehus som viser datalinje.
Hva kan en datalager lagre?
Da datalagre først ble populære på slutten av 1980-tallet, ble de designet for å lagre informasjon om personer, produkter og transaksjoner. Disse dataene – kalt strukturerte data – ble pent organisert og formatert for enkel tilgang. Men bedrifter ønsket snart å lagre, hente og analysere ustrukturerte data – for eksempel dokumenter, bilder, videoer, e-poster, innlegg på sosiale medier og rådata fra maskinsensorer.
Et moderne datavarehus kan romme både strukturerte og ustrukturerte data. Ved å slå sammen disse datatypene og bryte ned siloer mellom de to, kan bedrifter få et komplett, omfattende bilde for den mest verdifulle innsikten.
Noen nøkkelbegreper
Det er mange vilkår for å gi mening i verden av DW. Her er noen av de viktigste. Utforsk noen andre termer og vanlige spørsmål i ordlisten vår.
Datalager vs. database
Databaser og datalagre er begge datalagringssystemer, men de har ulike formål. En database lagrer vanligvis data for et bestemt forretningsområde. Et datavarehus lagrer aktuelle og historiske data for hele virksomheten og mater BI og analyser. Datavarehus bruker en databaseserver til å hente inn data fra en organisasjons databaser og har tilleggsfunksjoner for datamodellering, styring av datalivssyklus, datakildeintegrasjon med mer.
Datalager vs. datasjø
Både datalagre og datasjøer brukes til lagring av Big Data, men de er svært forskjellige lagringssystemer. Et datavarehus lagrer data som er formatert for et bestemt formål, mens en datasjø lagrer data i sin rå, ubehandlede tilstand - hvis formål ennå ikke er definert. Datalagre og innsjøer utfyller ofte hverandre. Når for eksempel rådata som er lagret i en innsjø er nødvendig for å svare på et forretningsspørsmål, kan de ekstraheres, rengjøres, transformeres og brukes i et datalager for analyse. Volumet av data, databaseytelse og priser for lagring spiller en viktig rolle i å hjelpe deg med å velge riktig lagringsløsning.
Diagram over et datavarehus sammenlignet med en datasjø.
Datalager vs. datamarked
En datamarked er en underseksjon av et datalager, inndelt spesielt for en avdeling eller bransje – som salg, markedsføring eller økonomi. Noen datamarts er også opprettet for frittstående operative formål. Mens et datalager fungerer som det sentrale datalageret for et helt firma, leverer et datamarked relevante data til en valgt gruppe brukere. Dette forenkler datatilgang, fremskynder analyse og gir dem kontroll over sine egne data. Flere datamarter blir ofte rullet ut i et datalager.
Diagram av et datamarked og hvordan det fungerer.
Hva er nøkkelkomponentene i et datalager?
Et typisk datalager har fire hovedkomponenter: en sentral database, ETL (utdrag, transformasjon, belastning) verktøy, metadata og tilgangsverktøy. Alle disse komponentene er konstruert for hastighet, slik at du kan få resultater raskt og analysere data på farten.
Diagram som viser komponentene i et datalager.
- Sentraldatabase: En database fungerer som grunnlag for datalageret ditt. Tradisjonelt har disse vært standard relasjonsdatabaser som kjører på stedet eller i skyen. Men på grunn av Big Data, behovet for sann sanntidsytelse og en drastisk reduksjon i kostnadene for RAM, blir in-memory-databaser raskt stadig mer populære.
- Dataintegrasjon: Data hentes fra kildesystemer og modifiseres for å justere informasjonen for raskt analytisk forbruk ved hjelp av en rekke dataintegrasjonstilnærminger som ETL (ekstrakt, transformasjon, belastning) og ELT i tillegg til datareplikering i sanntid, bulkbelastningsbehandling, datatransformasjon og datakvalitets- og suppleringstjenester.
- Metadata: Metadata er data om dataene dine. Den oppgir kilde, bruk, verdier og andre funksjoner i datasettene i datalageret. Det finnes forretningsmetadata, som legger til kontekst i dataene dine, og tekniske metadata, som beskriver hvordan du får tilgang til data – inkludert hvor de befinner seg og hvordan de er strukturert.
- Tilgangsverktøy for datalager: Tilgangsverktøy gjør det mulig for brukere å samhandle med dataene i datalageret ditt. Eksempler på tilgangsverktøy er spørrings- og rapporteringsverktøy, verktøy for applikasjonsutvikling, datautvinningsverktøy og OLAP-verktøy.
Datavarehusarkitektur
Tidligere opererte datalagre i lag som stemte overens med flyten i forretningsdataene.
Diagram over datavarehusarkitektur. Et typisk datalager inkluderer de tre separate lagene ovenfor. I dag kombinerer moderne datalagre OLTP og OLAP i ett system.
Datalag: Data ekstraheres fra kildene dine og transformeres deretter og lastes inn i nederste nivå ved hjelp av ETL-verktøy. Det nederste nivået består av databaseserveren, datamarts og datasjøer. Metadata opprettes på dette nivået – og dataintegrasjonsverktøy, som for eksempel datavitualisering, brukes til sømløst å kombinere og aggregere data.
Semantikklag: I mellomlaget, online analytisk behandling (OLAP) og online transaksjonsbehandling (OLTP) servere restrukturerer dataene for raske, komplekse spørringer og analyser.
Analyselag: Det øverste nivået er frontendklientlaget. Den inneholder tilgangsverktøy for datavarehus som lar brukere samhandle med data, opprette dashboards og rapporter, overvåke KPI-er, gruve og analysere data, bygge apper og mer. Dette nivået omfatter ofte en arbeidsbenk eller sandkasseområde for datautforskning og utvikling av nye datamodeller.
Datalagre er utviklet for å støtte beslutningstaking og er først og fremst bygget og vedlikeholdt av IT-team, men de siste årene har de utviklet seg for å styrke forretningsbrukere - å redusere sin avhengighet av IT for å få tilgang til dataene og utlede praktisk innsikt. Noen få viktige datalagringsfunksjoner som har styrkede forretningsbrukere, er:
- Det semantiske laget eller forretningslaget som inneholder fraser på naturlig språk, gjør at alle umiddelbart kan forstå data, definere relasjoner mellom elementer i datamodellen og supplere datafelt med ny forretningsinformasjon.
- Med virtuelle arbeidsområder kan team ta med seg datamodeller og -forbindelser på ett sikret og styrt sted som støtter bedre samarbeid med kolleger gjennom ett felles rom og ett felles datasett.
- Cloud har forbedret beslutningstakingen ytterligere ved å gi medarbeiderne et bredt spekter av verktøy og funksjoner som gjør det enkelt å utføre dataanalyseoppgaver. De kan koble til nye apper og datakilder uten mye IT-støtte.
Topp syv fordeler med et datavarehus i skyen
Skybaserte datalagre øker i popularitet – av god grunn. Disse moderne varehusene tilbyr flere fordeler i forhold til tradisjonelle, on-premise-versjoner. Her er de syv største fordelene med et skylager:
- Rask utrulling: Med skybasert datalagring kan du kjøpe nesten ubegrenset datakraft og datalagring med bare noen få klikk – og du kan bygge ditt eget datalager, datamarter og sandkasser fra hvor som helst, i løpet av minutter.
- Lave totale eierkostnader (TCO): Data warehouse-as-a-service (DWaaS) prismodeller er satt opp slik at du bare betaler for ressursene du trenger, når du trenger dem. Du trenger ikke å forutsi dine langsiktige behov eller betale for mer databehandling gjennom året enn nødvendig. Du kan også unngå kostnader på forhånd som dyrt maskinvare, serverrom og vedlikeholdspersonale. Å skille lagringsprisene fra databehandlingsprisene gir deg også en måte å redusere kostnadene på.
- Elastisitet: Med et datavarehus i skyen kan du skalere opp eller ned dynamisk etter behov. Cloud gir oss et virtualisert, svært distribuert miljø som kan håndtere store datamengder som kan skaleres opp og ned.
- Sikkerhet og katastrofegjenoppretting: I mange tilfeller gir skylagre faktisk sterkere datasikkerhet og kryptering enn on-premise DWs. Data blir også automatisk duplisert og sikkerhetskopiert, slik at du kan minimere risikoen for tapte data.
- Sanntidsteknologi: Cloud-datalagre bygget på in-memory-databaseteknologi kan gi ekstremt raske databehandlingshastigheter for å levere sanntidsdata for umiddelbar situasjonsbevissthet.
- Ny teknologi: Med Cloud-datalagre kan du enkelt integrere nye teknologier som maskinlæring, noe som kan gi en veiledet opplevelse for forretningsbrukere og beslutningsstøtte i form av anbefalte spørsmål å stille, som et eksempel.
- Styrke forretningsbrukere: Sky-datalagre gir medarbeiderne like og globalt mulighet til å se data fra en rekke kilder og et omfattende sett med verktøy og funksjoner for å utføre dataanalyseoppgaver på en enkel måte. De kan koble til nye apper og datakilder uten IT.
Datalagring støtter omfattende analyser av firmautgifter etter avdeling, leverandører, region og status, for å nevne noen.
Anbefalte fremgangsmåter for datalagring
Når du bygger et nytt datalager eller legger til nye applikasjoner i et eksisterende lager, er det bevist trinn for å nå målene dine samtidig som du sparer tid og penger. Noen er fokusert på din forretningsbruk, og annen praksis er en del av det generelle IT-programmet. Følgende liste er et godt utgangspunkt, og du vil få ekstra god forretningsførsel når du arbeider med teknologi- og tjenestepartnerne dine.
God forretningsførsel
Definer informasjonen du trenger. Når du har god forståelse for de initiale behovene, kan du finne datakildene som støtter dem. Ofte vil handelsgrupper, kunder og leverandører ha dataanbefalinger for deg.
Dokumentere plasseringen, strukturen og kvaliteten på de aktuelle dataene. Deretter kan du identifisere datahull og forretningsregler for transformering av dataene for å oppfylle lagerbehovene.
Bygg et team. Dette inkluderer ledelse sponsorer, ledere og ansatte som vil bruke og gi informasjonen. Identifiser for eksempel standardrapportering og KPI-er de trenger for å utføre jobbene sine.
Prioriter datalagerapplikasjonene. Velg ett eller to pilotprosjekter som har rimelige krav og god forretningsverdi.
Velg en sterk teknologipartner for datavarehus. De må ha implementeringstjenester og erfaring som trengs for prosjektene dine. Sørg for at de støtter distribusjonsbehovene dine, inkludert både skytjenester og on-premise-alternativer.
Utvikle en god prosjektplan. Samarbeid med teamet ditt på en realistisk blueprint og tidsplan som støtter kommunikasjon og statusrapportering.
Best Practices for IT
Overvåk ytelse og sikkerhet. Informasjonen i datalageret er verdifullt, men det må være lett tilgjengelig for å gi verdi til organisasjonen. Overvåk systembruken nøye for å sikre at ytelsesnivåene er høye.
Vedlikehold datakvalitetsstandarder, metadata, struktur og governance. Nye kilder til verdifulle data blir rutinemessig tilgjengelige, men de krever konsistent administrasjon som en del av et datalager. Følg prosedyrer for rensing av data, definisjon av metadata og overholdelse av styringsstandarder.
Gi en smidig arkitektur. Etter hvert som bruken av bedrifter og forretningsenheter øker, vil du oppdage et bredt spekter av datamarked og lagerbehov. En fleksibel plattform vil støtte dem langt bedre enn et begrenset, restriktivt produkt.
Automatisere prosesser som vedlikehold. I tillegg til å tilføre verdi til Business Intelligence, kan maskinlæring automatisere tekniske styringsfunksjoner for datalager for å opprettholde hastigheten og redusere driftskostnadene.
Bruk skyen strategisk. Forretningsenheter og avdelinger har forskjellige distribusjonsbehov. Bruk lokale systemer når det er nødvendig, og aktiver Cloud-datalagre for skalerbarhet, reduserte kostnader og tilgang til telefon og nettbrett.
Sammenfatning
Moderne datalagre, og i økende grad skylagre, vil være en viktig del av ethvert digitalt transformasjonsinitiativ for morselskaper og deres forretningsenheter. De utnytter nåværende forretningssystemer, spesielt når du kombinerer data fra flere interne systemer med ny, viktig informasjon fra eksterne organisasjoner.
Dashboards, KPI-er, varslinger og rapportering støtter leder-, administrasjons- og personalkrav samt viktige kunde- og leverandørbehov. Datalagre gir også rask, kompleks datautvinning og analyse, og de forstyrrer ikke ytelsen til andre forretningssystemer.
Gitt fleksibiliteten til å starte små og utvide etter behov, kan både bedriftskontorer og forretningsenheter forbedre beslutningstaking og bunnlinjeytelse med moderne datavarehusteknologi.
Ofte stilte spørsmål om datavarehus
Utforsk moderne verktøy for datavarehus
SAP-datasasseren er neste generasjon av SAP Data Warehouse Cloud.
Ideer du ikke finner noe annet sted
Registrer deg for en dose Business Intelligence levert rett til innboksen din.