Ce este un depozit de date?
Un depozit de date (DW) este un sistem de stocare digital care conectează și armonizează cantități mari de date din mai multe surse diferite.
Imagine generală depozit de date
Un depozit de date (DW) este un sistem de stocare digital care conectează și armonizează cantități mari de date din mai multe surse diferite. Scopul său este de a alimenta business intelligence (BI), raportare și funcții analitice și de a sprijini cerințele de reglementare – astfel încât companiile să își poată transforma datele în perspective și să ia decizii inteligente, bazate pe date. Depozitele de date stochează datele curente și istorice într-un singur loc și acționează ca o singură sursă de adevăr pentru o organizație.
Datele sunt transmise într-un depozit de date de la sisteme operaționale (precum ERP și CRM), baze de date și surse externe, cum ar fi sistemele partenere, dispozitivele Internet of Things (IoT), aplicațiile meteorologice și rețelele de socializare – de obicei în mod regulat. Apariția cloud computing-ului a provocat o schimbare a peisajului. În ultimii ani, locațiile de stocare a datelor s-au mutat din infrastructura locală tradițională în mai multe locații, inclusiv on-premise, cloud privat și cloud public.
Depozitele de date moderne sunt concepute pentru a gestiona atât datele structurate, cât și cele nestructurate, cum ar fi videoclipurile, fișierele de imagine și datele senzorilor. Unele utilizează funcții analitice integrate și tehnologia bazelor de date in-memory (care deține setul de date în memoria computerului, mai degrabă decât în memoria pe disc) pentru a oferi acces în timp real la date de încredere și pentru a conduce la luarea unor decizii sigure. Fără depozitarea datelor, este foarte dificil să combinați date din surse eterogene, să vă asigurați că sunt în formatul potrivit pentru funcții analitice și să obțineți o imagine curentă și pe termen lung a datelor în timp.
Ce este un depozit de date?
Beneficiile depozitării datelor
Un depozit de date bine conceput este baza oricărui program BI sau de funcții analitice de succes. Principala sa sarcină este de a alimenta rapoartele, tablourile de bord și instrumentele analitice care au devenit indispensabile pentru întreprinderi în prezent. Un depozit de date furnizează informații pentru deciziile dvs. bazate pe date și vă ajută să faceți un apel corect la orice, de la dezvoltarea de noi produse la nivelurile de inventar. Există multe beneficii ale unui depozit de date. Iată doar câteva:
Funcții analitice de afaceri mai bune: Cu depozitarea datelor, factorii de decizie au acces la date din surse multiple și nu mai trebuie să ia decizii pe baza informațiilor incomplete.
Interogări mai rapide: Depozitele de date sunt create special pentru regăsirea și analiza rapidă a datelor. Cu un DW, puteți interoga foarte rapid cantități mari de date consolidate cu puțin sau deloc suport din partea IT.
Calitate îmbunătățită a datelor: Înainte de a fi încărcate în DW, cazurile de curățare a datelor sunt create de sistem și introduse într-o listă de lucru pentru prelucrare ulterioară, asigurându-se că datele sunt transformate într-un format consistent pentru a suporta funcțiile analitice și deciziile, pe baza unor date precise și de înaltă calitate.
Perspective istorice: prin stocarea de date istorice bogate, un depozit de date permite factorilor de decizie să învețe din tendințele și provocările din trecut, să facă previziuni și să stimuleze îmbunătățirea continuă a afacerii.
Captură de ecran depozit de date care afișează originea datelor.
Ce poate depozita un data warehouse?
Când depozitele de date au devenit populare pentru prima dată la sfârșitul anilor 1980, acestea au fost concepute pentru a stoca informații despre oameni, produse și tranzacții. Aceste date – numite date structurate – au fost bine organizate și formatate pentru un acces facil. Cu toate acestea, companiile au dorit în curând să stocheze, să regăsească și să analizeze date nestructurate – cum ar fi documente, imagini, videoclipuri, e-mailuri, postări pe rețelele sociale și date brute de la senzorii mașinii.
Un depozit de date modern poate găzdui atât date structurate, cât și nestructurate. Prin fuzionarea acestor tipuri de date și descompunerea silozurilor între cele două, companiile pot obține o imagine completă și cuprinzătoare pentru cele mai valoroase perspective.
Unii termeni cheie
Există o mulțime de termeni pentru a avea sens în lumea DW. Iată câteva dintre cele mai importante. Explorați alți termeni și întrebări frecvente în glosarul nostru.
Depozit de date vs. bază de date
Bazele de date și depozitele de date sunt ambele sisteme de stocare a datelor; cu toate acestea, acestea servesc unor scopuri diferite. O bază de date arhivează datele, de obicei, pentru un anumit domeniu de activitate. Un depozit de date stochează datele curente și istorice pentru întreaga afacere și alimentează BI și funcții analitice. Depozitele de date utilizează un server de bază de date pentru a extrage date din bazele de date ale unei organizații și au funcționalități suplimentare pentru modelarea datelor, gestiunea ciclului de existență a datelor, integrarea sursei de date și multe altele.
Depozit de date vs. lac de date
Atât depozitele de date, cât și lacurile de date sunt utilizate pentru stocarea Big Data, dar sunt sisteme de stocare foarte diferite. Un depozit de date arhivează date care au fost formatate pentru un anumit scop, în timp ce un lac de date arhivează datele în starea sa brută, neprelucrată, al cărei scop nu a fost încă definit. Depozitele de date și lacurile se completează adesea reciproc. De exemplu, atunci când datele brute stocate într-un lac sunt necesare pentru a răspunde la o întrebare de afaceri, acestea pot fi extrase, curățate, transformate și utilizate într-un depozit de date pentru analiză. Volumul de date, performanța bazei de date și prețurile de stocare joacă un rol important în alegerea soluției de stocare potrivite.
Diagrama unui depozit de date comparată cu un lac de date.
Depozit de date vs. data mart
Un data mart este o subsecțiune a unui depozit de date, partiționată special pentru un departament sau domeniu de activitate – precum vânzări, marketing sau finanțe. Unele marcaje de date sunt create și în scopuri operaționale autonome. În timp ce un depozit de date servește ca arhivă de date centrală pentru o companie întreagă, un data mart servește datelor relevante pentru un grup selectat de utilizatori. Acest lucru simplifică accesul la date, accelerează analiza și le oferă control asupra propriilor date. Deseori, mai multe data marts sunt implementate într-un depozit de date.
Diagrama unui data mart și modul în care funcționează.
Care sunt componentele cheie ale unui depozit de date (data warehouse)?
Un depozit de date tipic are patru componente principale: o bază de date centrală, instrumente ETL (extragere, transformare, încărcare), metadate și instrumente de acces. Toate aceste componente sunt proiectate pentru viteză, astfel încât să puteți obține rezultate rapid și să analizați datele din mers.
Diagramă care afișează componentele unui depozit de date.
- Bază de date centrală: o bază de date servește ca bază de date pentru depozitul dvs. de date. În mod tradițional, acestea au fost baze de date relaționale standard care rulează pe bază de premise sau în cloud. Dar din cauza Big Data, nevoia de performanță adevărată, în timp real, și o reducere drastică a costului RAM, bazele de date in-memory câștigă rapid în popularitate.
- Integrarea datelor: Datele sunt extrase din sistemele sursă și modificate pentru a alinia informațiile pentru consumul analitic rapid utilizând o varietate de abordări de integrare a datelor, cum ar fi ETL (extras, transformare, sarcină) și ELT, precum și replicarea datelor în timp real, prelucrarea încărcăturii în vrac, transformarea datelor și calitatea datelor și serviciile de îmbogățire.
- Metadate: metadatele sunt date despre datele dvs. Specifică sursa, utilizarea, valorile și alte caracteristici ale seturilor de date din depozitul dvs. de date. Există metadate de afaceri, care adaugă context la datele dvs. și metadate tehnice, care descriu cum să accesați datele - inclusiv unde se află și cum sunt structurate.
- Instrumente de acces la depozitul de date: instrumentele de acces permit utilizatorilor să interacționeze cu datele din depozitul dvs. de date. Exemple de instrumente de acces includ: instrumente de interogare și raportare, instrumente de dezvoltare a aplicațiilor, instrumente de data mining și instrumente OLAP.
Arhitectura depozitului de date
În trecut, depozitele de date operau în straturi care corespundeau fluxului de date comerciale.
Diagrama arhitecturii depozitului de date. Un depozit de date tipic include cele trei straturi separate de mai sus. Astăzi, depozitele de date moderne combină OLTP și OLAP într-un singur sistem.
Nivelul de date: Datele sunt extrase din sursele dvs. și apoi transformate și încărcate în nivelul de jos utilizând instrumentele ETL. Nivelul de jos este format din serverul dvs. de bază de date, data marts și lacurile de date. Metadatele sunt create în acest nivel – iar instrumentele de integrare a datelor, cum ar fi virtualizarea datelor, sunt utilizate pentru a combina și agrega datele fără probleme.
Nivel semantic: În nivelul de mijloc, serverele de prelucrare analitică online (OLAP) și de prelucrare tranzacțională online (OLTP) restructurează datele pentru interogări și funcții analitice rapide și complexe.
Nivelul de funcții analitice: nivelul superior este nivelul clientului front-end. Deține instrumentele de acces la depozitul de date care permit utilizatorilor să interacționeze cu datele, să creeze tablouri de bord și rapoarte, să monitorizeze KPI-uri, să extragă și să analizeze datele, să creeze aplicații și multe altele. Acest nivel include adesea un workbench sau o zonă de sandbox pentru explorarea datelor și dezvoltarea de noi modele de date.
Depozitele de date au fost concepute pentru a sprijini luarea deciziilor și au fost construite și întreținute în primul rând de către echipele IT, dar în ultimii ani au evoluat pentru a le permite utilizatorilor de afaceri – reducând dependența acestora de IT pentru a obține acces la date și pentru a obține analize care pot fi acționate. Câteva capabilități cheie de depozitare a datelor care au împuternicit utilizatorii de întreprindere sunt:
- Nivelul semantic sau business care oferă fraze de limbă naturală și permite tuturor să înțeleagă instantaneu datele, să definească relațiile dintre elementele din modelul de date și să îmbogățească câmpurile de date cu informații de afaceri noi.
- Spațiile de lucru virtuale permit echipelor să aducă modelele de date și conexiunile într-un singur loc securizat și guvernat, susținând o mai bună colaborare cu colegii printr-un singur spațiu comun și un set de date comun.
- Cloud a îmbunătățit și mai mult procesul de luare a deciziilor prin împuternicirea globală a angajaților cu un set bogat de instrumente și caracteristici pentru a efectua cu ușurință sarcini de analiză a datelor. Acestea pot conecta noi aplicații și surse de date fără prea mult suport IT.
Top șapte beneficii ale unui depozit de date în cloud
Depozitele de date bazate pe cloud cresc în popularitate – pe bună dreptate. Aceste depozite moderne oferă mai multe avantaje față de versiunile tradiționale, on-premise. Iată principalele șapte beneficii ale unui depozit de date în cloud:
- Rapid de implementat: Cu depozitare de date în cloud, puteți achiziționa putere de calcul aproape nelimitată și stocare de date în doar câteva clicuri - și puteți construi propriul depozit de date, data marts și sandbox-uri de oriunde, în câteva minute.
- Costuri totale de proprietate reduse (TCO): Modelele de stabilire a prețurilor data warehouse-as-a-service (DWaaS) sunt configurate astfel încât să plătiți doar pentru resursele de care aveți nevoie, atunci când aveți nevoie de ele. Nu trebuie să vă prognozați nevoile pe termen lung sau să plătiți pentru mai mult calcul pe tot parcursul anului decât este necesar. De asemenea, puteți evita costurile inițiale, cum ar fi hardware scump, camere de servere și personal de întreținere. Separarea prețurilor de stocare de prețul de calcul vă oferă, de asemenea, o modalitate de a reduce costurile.
- Elasticitate: Cu un depozit de date în cloud, puteți crește sau coborî dinamic, după cum este necesar. Cloud ne oferă un mediu virtualizat, foarte distribuit, care poate gestiona volume uriașe de date care pot crește și coborî.
- Securitate și recuperare în caz de dezastru: În multe cazuri, depozitele de date în cloud oferă de fapt o securitate și o criptare a datelor mai puternice decât DW-urile on-premise. De asemenea, datele sunt duplicate și salvate automat, astfel încât să puteți minimiza riscul de pierdere a datelor.
- Tehnologii în timp real: depozitele de date cloud construite pe baza de date in-memory pot oferi viteze extrem de rapide de procesare a datelor pentru a furniza date în timp real pentru conștientizarea instantanee a situației.
- Tehnologii noi: Depozitele de date în cloud vă permit să integrați cu ușurință tehnologii noi, precum învățarea automată, care pot oferi o experiență ghidată pentru utilizatorii de întreprindere și suport decizional sub forma unor întrebări recomandate de pus, ca exemplu.
- Permiteți-le utilizatorilor de afaceri: depozitele de date în cloud le permit angajaților să aibă o imagine unică a datelor din numeroase surse și un set bogat de instrumente și caracteristici pentru a efectua cu ușurință sarcini de analiză a datelor. Acestea pot conecta noi aplicații și surse de date fără IT.
Depozitarea datelor suportă funcții analitice complete pentru cheltuielile companiei în funcție de departament, furnizori, regiune și stare, pentru a numi câteva.
Cele mai bune practici de depozitare a datelor
Când construiți un depozit de date nou sau adăugați aplicații noi la un depozit existent, există pași dovediți pentru atingerea obiectivelor dvs., economisind în același timp timp timp și bani. Unele sunt axate pe utilizarea afacerii dvs., iar alte practici fac parte din programul dvs. IT general. Următoarea listă este un bun punct de plecare și veți alege cele mai bune practici suplimentare pe măsură ce lucrați cu partenerii dvs. de tehnologie și servicii.
Cele mai bune practici în afaceri
Definiți informațiile necesare. Odată ce aveți o bună înțelegere a nevoilor dvs. inițiale, puteți găsi sursele de date pentru a le sprijini. Adesea, grupurile comerciale, clienții și furnizorii vor avea recomandări de date pentru dvs.
Documentați locația, structura și calitatea datelor dvs. curente. Apoi, puteți identifica discrepanțele de date și regulile comerciale pentru transformarea datelor pentru a îndeplini cerințele depozitului dvs.
Construiți o echipă. Aceasta include sponsori executivi, manageri și personal care vor utiliza și furniza informațiile. De exemplu, identificați raportarea standard și KPI-urile de care au nevoie pentru a-și efectua joburile.
Prioritizați aplicațiile depozitului dvs. de date. Alegeți unul sau două proiecte-pilot care au cerințe rezonabile și valoare de afaceri bună.
Alegeți un partener puternic pentru tehnologia data Warehouse. Ei trebuie să aibă serviciile de implementare și experiența necesară pentru proiectele dumneavoastră. Asigurați-vă că suportă nevoile dvs. de implementare, inclusiv atât serviciile cloud, cât și opțiunile on-premise.
Elaborarea unui plan de proiect bun. Colaborați cu echipa dvs. la un plan realist și la un program care suportă comunicarea și raportarea stării.
Cele mai bune practici IT
Monitorizați performanța și securitatea. Informațiile din depozitul dvs. de date sunt valoroase, deși trebuie să fie ușor accesibile pentru a oferi valoare organizației. Monitorizați cu atenție utilizarea sistemului pentru a vă asigura că nivelurile de performanță sunt ridicate.
Întrețineți standardele de calitate a datelor, metadatele, structura și guvernarea. Noile surse de date valoroase devin disponibile în mod obișnuit, dar necesită o gestionare consistentă ca parte a unui depozit de date. Urmați procedurile de curățare a datelor, de definire a metadatelor și de îndeplinire a standardelor de guvernare.
Oferiți o arhitectură agilă. Pe măsură ce utilizarea dvs. corporativă și de afaceri crește, veți descoperi o gamă largă de nevoi de data mart și depozit. O platformă flexibilă le va sprijini mult mai bine decât un produs limitat și restrictiv.
Automatizați procesele, precum întreținerea. În plus față de adăugarea de valoare la business intelligence, machine learning poate automatiza funcțiile de gestiune tehnică a depozitului de date pentru a menține viteza și a reduce costurile de operare.
Utilizați cloud strategic. Unitățile de afaceri și departamentele au nevoi de implementare diferite. Utilizați sistemele on-premise atunci când este necesar și valorificați depozitele de date cloud pentru scalabilitate, costuri reduse și acces la telefon și tabletă.
În rezumat
Depozitele de date moderne și depozitele de date din ce în ce mai cloud vor fi o parte cheie a oricărei inițiative de transformare digitală pentru companiile mamă și unitățile lor de afaceri. Acestea valorifică sistemele curente de afaceri, în special atunci când combinați datele din mai multe sisteme interne cu informații noi, importante, de la organizații externe.
Tablouri de bord, KPI-uri, alerte și raportare sprijină executivul, gestiunea și cerințele personalului, precum și nevoile importante ale clienților și furnizorilor. Depozitele de date oferă, de asemenea, minare rapidă și complexă a datelor și funcții analitice și nu perturbă performanța altor sisteme de afaceri.
Având în vedere flexibilitatea de a începe mici și de a se extinde după cum este necesar, atât birourile corporative, cât și unitățile de afaceri pot îmbunătăți procesul de luare a deciziilor și performanța de jos cu ajutorul tehnologiei moderne a depozitului de date.
Întrebări frecvente data warehouse
Explorați instrumentele moderne de depozitare a datelor
SAP Datasphere este următoarea generație a SAP Data Warehouse Cloud.
Idei pe care nu le vei găsi nicăieri altundeva
Înregistrați-vă pentru o doză de business intelligence livrată direct în căsuța dvs. de mesaje primite.