Ce este modelarea datelor?
Modelarea datelor este procesul de diagramă a fluxurilor de date.
Imagine generală modelare date
Modelarea datelor este procesul de diagramă a fluxurilor de date. Când creați o structură de bază de date nouă sau alternativă, designerul începe cu o diagramă a modului în care datele vor fi extrase din și în baza de date. Această diagramă de flux este utilizată pentru a defini caracteristicile formatelor de date, structurilor și funcțiilor de gestionare a bazei de date pentru a suporta eficient cerințele fluxului de date. După ce baza de date a fost creată și implementată, modelul de date va deveni documentația și justificarea motivului pentru care baza de date există și modul în care au fost proiectate fluxurile de date.
Modelul de date care rezultă din acest proces oferă un cadru de relații între elementele de date dintr-o bază de date, precum și un ghid de utilizare a datelor. Modelele de date sunt un element fundamental al dezvoltării și analizei software. Acestea oferă o metodă standardizată de definire și formatare consistentă a conținutului bazei de date între sisteme, permițând aplicațiilor diferite să partajeze aceleași date.
De ce este importantă modelarea datelor?
Un model de date cuprinzător și optimizat ajută la crearea unei baze de date logice simplificate, care elimină redundanța, reduce cerințele de stocare și permite regăsirea eficientă. De asemenea, echipează toate sistemele cu o „singură sursă de adevăr” – care este esențială pentru operațiuni eficiente și conformitatea demonstrabilă cu reglementările și cerințele de reglementare. Modelarea datelor este un pas cheie în două funcții vitale ale unei întreprinderi digitale.
Proiecte de dezvoltare software (noi sau personalizari) realizate de profesionisti IT
Înainte de a proiecta și construi orice proiect software, trebuie să existe o viziune documentată a modului în care va arăta produsul final și a modului în care se va comporta. O mare parte a acestei viziuni este setul de reguli de afaceri care guvernează funcționalitatea dorită. Cealaltă parte este descrierea datelor – fluxurile de date (sau modelul de date) și proiectarea bazei de date pentru a o suporta.
Modelarea datelor păstrează o evidență a viziunii și oferă o foaie de parcurs pentru designerii de software. Cu baza de date și fluxurile de date complet definite și documentate, precum și sistemele dezvoltate conform specificațiilor respective, sistemele ar trebui să furnizeze funcționalitatea preconizată necesară pentru a păstra datele exacte (presupunând că procedurile au fost respectate în mod corespunzător).
Funcții analitice și vizualizare – sau business intelligence – un instrument principal de luare a deciziilor pentru utilizatori
Odată cu creșterea volumelor de date și a numărului tot mai mare de utilizatori, organizațiile au nevoie de o modalitate de a transforma datele brute în informații acționabile pentru luarea deciziilor. Nu este surprinzător faptul că cererea pentru analiza datelor a crescut dramatic. Vizualizarea datelor face ca datele să fie și mai accesibile pentru utilizatori prin prezentarea grafică a datelor.
Modelele de date de astăzi transformă datele brute în informații utile care pot fi transformate în vizualizări dinamice. Modelarea datelor pregătește datele pentru analiză: curățarea datelor, definirea măsurilor și dimensiunilor și extinderea datelor prin stabilirea ierarhiilor, setarea unităților și monedelor și adăugarea de formule.
Care sunt tipurile de modelare a datelor?
Cele trei tipuri de modele de date primare sunt relaționale, dimensionale și entitate-relație (E-R). Există, de asemenea, alte câteva care nu sunt utilizate în general, inclusiv ierarhice, de rețea, orientate pe obiecte și multi-valoare. Tipul de model definește structura logică – modul în care datele sunt stocate, logic – și, prin urmare, modul în care sunt stocate, organizate și regăsite.
- Relațional: Deși „mai vechi” în abordare, cel mai comun model de bază de date încă utilizat astăzi este relațional, care stochează datele în înregistrări în format fix și aranjează datele în tabele cu linii și coloane. Cel mai de bază tip de model de date are două elemente: măsuri și dimensiuni. Măsurile sunt valori numerice, precum cantitățile și veniturile, utilizate în calcule matematice precum suma sau media. Dimensiunile pot fi text sau numerice. Acestea nu sunt utilizate în calcule și includ descrieri sau locații. Datele brute sunt definite ca o măsură sau ca o dimensiune. Alte terminologii utilizate în proiectarea bazei de date relaționale includ „relații” (tabelul cu rânduri și coloane), „atribute” (coloane), „tupli” (rânduri) și „domeniu” (set de valori permise într-o coloană). Deși există termeni și cerințe structurale suplimentare care definesc o bază de date relațională, factorul important sunt relațiile definite în cadrul acestei structuri. Elementele de date comune (sau cheile) leagă tabele și seturi de date împreună. Tabelele pot fi, de asemenea, legate în mod explicit, cum ar fi relațiile părinte și copil, inclusiv unu-la-unu, unu-la-mai-mulți sau mulți-la-mulți.
- Dimensional: Mai puțin rigid și structurat, abordarea dimensională favorizează o structură de date contextuală care este mai mult legată de utilizarea de afaceri sau de context. Această structură de bază de date este optimizată pentru interogări online și instrumente de depozitare a datelor. Elementele de date critice, precum o cantitate de tranzacție, de exemplu, sunt denumite „fapte” și sunt însoțite de informații de referință denumite „dimensiuni”, fie de ID-ul produsului, prețul unitar sau data tranzacției. Un tabel de fapte este un tabel primar într-un model dimensional. Regăsirea poate fi rapidă și eficientă – cu date pentru un anumit tip de activitate stocată împreună – dar lipsa legăturilor de relație poate complica regăsirea analitică și utilizarea datelor. Deoarece structura de date este legată de funcția business care produce și utilizează datele, combinarea datelor produse de sisteme diferite (într-un depozit de date, de exemplu) poate fi problematică.
- Entity-Rich (E-R): Un model E-R reprezintă o structură de date de afaceri în formă grafică care conține casete de diferite forme pentru a reprezenta activități, funcții sau „entități” și linii pentru a reprezenta asocieri, dependențe sau „relații”. Modelul E-R este apoi utilizat pentru a crea o bază de date relațională cu fiecare linie reprezentând o entitate, iar câmpurile din acea linie conțin atribute. Ca în toate bazele de date relaționale, elementele de date „cheie” sunt utilizate pentru a lega tabele împreună.
Care sunt cele trei niveluri de abstracție a datelor?
Există multe tipuri de modele de date, cu diferite tipuri de layout-uri posibile. Comunitatea de prelucrare a datelor identifică trei tipuri de modelare pentru a reprezenta niveluri de gândire pe măsură ce modelele sunt dezvoltate.
Model de date conceptual
Acesta este modelul de „imagine de ansamblu” care reprezintă structura și conținutul general, dar nu și detaliile planului de date. Este punctul de plecare tipic pentru modelarea datelor, identificând diversele seturi de date și fluxul de date prin organizație. Modelul conceptual este modelul de nivel înalt pentru dezvoltarea modelelor logice și fizice și este o parte importantă a documentației arhitecturii de date.
Model date logice
Al doilea nivel de detaliu este modelul de date logice. Acesta se referă cel mai bine la definiția generală a „modelului de date” prin faptul că descrie fluxul de date și conținutul bazei de date. Modelul logic adaugă detalii structurii generale în modelul conceptual, dar nu include specificații pentru baza de date în sine, deoarece modelul poate fi aplicat la diverse tehnologii și produse de baze de date. (Rețineți că este posibil să nu existe un model conceptual dacă proiectul se referă la o singură aplicație sau la un alt sistem limitat.)
Model de date fizice
Modelul bazei de date fizice descrie specificul modului în care va fi realizat modelul logic. Trebuie să conțină suficiente detalii pentru a permite tehnicienilor să creeze structura reală a bazei de date în hardware și software pentru a sprijini aplicațiile care o vor utiliza. Este inutil să spunem că modelul de date fizice este specific unui sistem software de bază de date desemnat. Pot exista mai multe modele fizice derivate dintr-un singur model logic dacă vor fi utilizate sisteme de bază de date diferite.
Procesul și tehnicile de modelare a datelor
Modelarea datelor este în mod inerent un proces de sus în jos, începând cu modelul conceptual pentru a stabili viziunea de ansamblu, apoi continuând cu modelul logic și, în cele din urmă, cu designul detaliat conținut în modelul fizic.
Construirea modelului conceptual este în mare parte un proces de convertire a ideilor într-o formă grafică care seamănă cu diagrama de flux a unui programator.
Instrumentele moderne de modelare a datelor vă pot ajuta să definiți și să creați modele de date logice și fizice și baze de date. Iată câteva tehnici și etape tipice de modelare a datelor:
Determinați entitățile și creați o diagramă de relații între entități (DCS). Entitățile pot fi descrise mai bine ca „elemente de date de interes pentru afacerea dumneavoastră”. De exemplu, „client” ar fi o entitate. “Vânzare” ar fi alta. Pe un ERD, documentați modul în care aceste entități diferite se raportează între ele în cadrul afacerii dvs. și ce conexiuni de nivel înalt există între acestea.
Definiți faptele, măsurile și dimensiunile dvs. Un fapt face parte din datele dvs. care indică o anumită apariție sau tranzacție, precum vânzarea unui produs. Măsurile dvs. sunt cantitative, precum cantitatea, venitul, costul etc. Dimensiunile dvs. sunt măsuri calitative, precum descrieri, locații și termene.
Creați o legătură la imaginea de date utilizând un instrument grafic sau prin query-uri SQL. Dacă nu sunteți familiarizat cu SQL, instrumentul grafic este cea mai intuitivă opțiune, permițându-vă să efectuați drag and drop pe elemente în modelul dvs. și să creați vizual conexiunile dvs. La crearea unei imagini, aveți opțiunea de a combina tabele și chiar alte imagini într-o ieșire individuală. Când selectați o sursă din imaginea grafică și o trageți peste o sursă deja asociată cu ieșirea, veți avea opțiunea de a vă uni sau de a crea o uniune a acestor tabele.
Soluțiile analitice moderne vă pot ajuta, de asemenea, să selectați, să filtrați și să conectați sursele de date utilizând un afișaj grafic drag-and-drop. Instrumentele avansate sunt disponibile pentru experții în date care lucrează de obicei în IT – dar utilizatorii își pot crea propriile relatări creând vizual un model de date și organizând tabele, diagrame, hărți și alte obiecte pentru a spune o relatare pe baza perspectivelor de date.
Exemple de modelare a datelor
Pentru orice aplicație – fie că este vorba de afaceri, divertisment, personal sau altele – modelarea datelor este un pas timpuriu necesar în proiectarea sistemului și definirea infrastructurii necesare pentru a permite sistemul. Aceasta include orice tip de sistem tranzacțional, set de aplicații de prelucrare a datelor sau suită sau orice alt sistem care colectează, creează sau utilizează date.
Modelarea datelor este imperativă pentru depozitarea datelor deoarece un depozit de date este un repository pentru datele introduse din mai multe surse, care probabil au date similare sau corelate în diferite formate. Este necesar mai întâi să mapați formatele de depozit și structura pentru a determina modul de manipulare a fiecărui set de date de intrare pentru a se conforma nevoilor designului depozitului – astfel încât datele să fie utile pentru analiză și data mining. Modelul de date este apoi un instrument important pentru instrumente analitice, sisteme informatice executive (tablouri de bord), data mining și integrare cu toate sistemele și aplicațiile de date.
În etapele inițiale de proiectare pentru orice sistem, modelarea datelor este o condiție esențială pe care depind toate celelalte etape și etape pentru a stabili baza pe care se bazează toate programele, funcțiile și instrumentele. Modelul de date este ca un limbaj comun care permite sistemelor să comunice prin înțelegerea și acceptarea datelor așa cum sunt descrise în model. Acest lucru este mai important ca niciodată în lumea de astăzi a Big Data, machine learning, inteligență artificială, conectivitate cloud, IoT și sisteme distribuite, inclusiv Edge computing.
Evoluția modelării datelor
Într-un sens foarte real, modelarea datelor a fost în jur de atâta timp cât prelucrarea datelor, stocarea datelor și programarea computerizată, deși termenul în sine a intrat probabil doar în uz comun în jurul timpului în care sistemele de gestionare a bazelor de date au început să evolueze în anii 1960. Nu există nimic nou sau inovator în ceea ce privește conceptul de planificare și de proiectare a unei noi structuri. Modelarea datelor în sine a devenit mai structurată și mai formalizată pe măsură ce au apărut mai multe date, mai multe baze de date și mai multe varietăți de date.
În prezent, modelarea datelor este mai importantă ca niciodată, pe măsură ce tehnicienii se luptă cu noi surse de date (senzori IoT, dispozitive conștiente de locație, clickflow-uri, social media) împreună cu o grămadă de date nestructurate (ieșire text, audio, video, senzor raw) – la volume și viteză care depășesc capacitățile sistemelor tradiționale. Există acum o cerere constantă de noi sisteme, structuri și tehnici inovatoare de baze de date și noi modele de date pentru a uni acest nou efort de dezvoltare.
Ce urmează pentru modelarea datelor?
Conectivitatea informațiilor și cantitățile mari de date din atât de multe surse diferite – inclusiv senzori, voce, video, e-mail și multe altele – extind domeniul de aplicare al proiectelor de modelare pentru profesioniștii IT. Internetul este, desigur, unul dintre facilitatorii acestei evoluții. Cloud este o parte importantă a soluției, deoarece este singura infrastructură de calcul suficient de mare, suficient de scalabilă și suficient de agilă pentru a răspunde cerințelor actuale și viitoare în lumea în expansiune a conectivității.
Opțiunile pentru proiectarea bazei de date se modifică, de asemenea. Cu un deceniu în urmă, structura dominantă a bazei de date era o bază de date relațională orientată pe rânduri, folosind tehnologia tradițională de stocare pe disc. Datele pentru o carte mare tipică ERP sau gestiunea stocurilor au fost stocate în zeci de tabele diferite care trebuie actualizate și modelate. Astăzi, soluțiile ERP moderne stochează date active în memorie folosind un design columnar pentru o reducere dramatică a tabelelor și creșterea vitezei și eficienței.
Pentru profesioniștii din domeniul afacerilor, noile instrumente de self-service disponibile astăzi vor continua să se îmbunătățească. Și noi instrumente vor fi introduse pentru a face modelarea și vizualizarea datelor chiar mai ușoară și mai colaborativă.
Rezumat
Un model de date bine gândit și complet este cheia dezvoltării unei baze de date cu adevărat funcționale, utile, sigure și precise. Începeți cu modelul conceptual pentru a prezenta toate componentele și funcțiile modelului de date. Apoi rafinați acele planuri într-un model de date logice care descrie fluxurile de date și clarifică definiția datelor necesare și modul în care acestea vor fi obținute, gestionate, arhivate și distribuite. Modelul de date logice generează modelul de date fizice care este specific unui produs de bază de date și este documentul de design detaliat care ghidează crearea bazei de date și a software-ului de aplicație.
Modelarea bună a datelor și proiectarea bazelor de date sunt esențiale pentru dezvoltarea de sisteme de aplicații și baze de date funcționale, fiabile și sigure, care funcționează bine cu depozitele de date și instrumentele analitice – și facilitează schimbul de date cu partenerii de afaceri și între mai multe seturi de aplicații. Modelele de date bine gândite contribuie la asigurarea integrității datelor, făcând datele companiei dvs. și mai valoroase și mai fiabile.
Explorați instrumentele moderne de modelare a datelor
Conectați datele cu contextul de afaceri pentru a le permite utilizatorilor de întreprindere să deblocheze perspective.
Idei pe care nu le vei găsi nicăieri altundeva
Înregistrați-vă pentru o doză de business intelligence livrată direct în căsuța dvs. de mesaje primite.