Čo je dátová sieť?
Data mesh je prístup k správe dát, ktorý využíva distribuovaný architektonický rámec.
Prehľad dátovej siete
Sieť údajov predstavuje nový spôsob, ako sa pozrieť na informácie. Narodil sa z rastúcej koncepcie, že dáta sú vlastne samotným produktom, nástrojom, prostriedkom na dosiahnutie cieľa – nie je to len niečo, čo podniky zhromažďujú a analyzujú neskôr v spätnom pokuse pochopiť veci, ktoré sa už stali.
Definícia údajovej siete
Data mesh je prístup k správe dát, ktorý využíva distribuovaný architektonický rámec. Inými slovami: šíri vlastníctvo a zodpovednosť za konkrétne súbory údajov v rámci celého podniku, na tých používateľov, ktorí majú odborné znalosti, aby pochopili, čo tieto údaje znamenajú a ako ich čo najlepšie využiť.
Architektúra dátovej siete spája a čerpá údaje z rôznych zdrojov, ako sú dátové jazerá a sklady, a distribuuje príslušné súbory údajov príslušným ľudským expertom a doménovým tímom v rámci celého podniku. V podstate je objemný zoskok dát v centrálnom dátovom jazere triedený a distribuovaný do spravovateľných šuniek tým, ktorí sú najvhodnejší na ich pochopenie a využitie.
Princípy údajovej siete pre výzvy týkajúce sa dátového jazera
Keď hovoríme o dátových jazerách a dátovej sieti, hovoríme v podstate o Big Data. To, čo robí dáta “Big”, nie je jednoducho jeho obrovský objem. Okrem iných kritérií sa Big Data definujú aj tým, že sú zložité, variabilné, rýchlo generované a neštruktúrované.
Lineárna databáza je ako tabuľkový hárok: má stĺpce a riadky a nemenné kategórie, do ktorých sa musia zmestiť všetky údajové komponenty. Niektoré údaje získané zo strojových zariadení, senzorov a priemyselných zdrojov sú štruktúrované a vhodne zapadajú do lineárnej databázy. Bez ohľadu na to, koľko objemu dát musíte riešiť, ak je 100% štruktúrovaný, nespĺňa kritériá Big Data a môže byť umiestnený v lineárnej databáze, takže je relatívne jednoduché filtrovať a extrahovať.
Ale stále viac, moderné Big Data je neštruktúrované a pozostáva z vizuálnych komponentov, otvoreného textu, a dokonca aj videa a bohatých médií. Tieto dôležité údaje môžu obsahovať tisíce terabajtov informácií pre mnohé spoločnosti a jednoducho ich nemožno uložiť do štandardnej lineárnej databázy.
Zadajte údajové jazero. Keďže sa začali zvyšovať objemy veľkých dát, vyvinuli sa dátové jazerá ako miesto, kde bolo možné ukladať komplexné údaje a pristupovať k nim z centrálneho úložiska v surovom formáte. Zatiaľ čo dátové jazerá predstavujú vynikajúce riešenie problému veľkých dát, napriek tomu majú slabé stránky. Dátové jazerá nemajú určité analytické funkcie, takže sú závislé od iných služieb pre funkcie vyhľadávania, indexovania, transformácie, dotazovania a analýzy. A z hľadiska riadenia podniku predstavujú dátové jazerá aj tri ďalšie výzvy:
1. Komplexné vlastníctvo Vlastníctvo v dátových jazerách je zložité na definovanie, kedy priveľa hráčov generuje a pristupuje k dátam. Pri absencii jasne definovaných úloh a zodpovedností môžu rôzne strany spravovať rovnaký súbor údajov odlišne, čo vytvára nezrovnalosti, ktoré sťažujú ich používanie. Podobne, ostatné údaje sa nakoniec zanedbávajú, keď ich nebudú aktívne spravovať tí, ktorí ich budú v konečnom dôsledku používať. Architektúra údajových sietí zaisťuje, že dozor nad údajmi je jasne distribuovaný podľa jednotlivých domén tak, aby každý tím alebo expert na domény riadil údaje, ktoré produkujú a používajú. Na ich podporu používajú dátové siete aj federovanú štruktúru riadenia, ktorá umožňuje centrálnu kontrolu modelovania údajov, bezpečnostných politík a dodržiavania súladu.
2. Kvalita údajov Dátové jazerá môžu zlyhať pri zabezpečovaní kvality údajov, keď sa objem údajov príliš zväčší alebo keď im sami centrálni správcovia údajov nerozumejú. Architektúra dátových sietí zásadne považuje dáta za hodnotný produkt, ktorý kladie kvalitu a úplnosť dát do popredia správy dát. Pravdepodobne každý tím pozná najdôležitejšie kritériá a problémy, ktoré chce extrapolovať z údajov, ktoré zhromažďuje. Začlenením týchto kritérií a priorít do architektúry môže sieť údajov pomôcť zabezpečiť nepretržité a prioritné poskytovanie čistých, čerstvých a úplných údajov, a to aj v prípade väčších súborov údajov. A samozrejme, keď sa používajú algoritmy strojového učenia, tieto kritériá a výsledné súbory údajov sa časom stávajú čoraz presnejšími a užitočnejšími.
3. Kritické miesta Dátové jazerá môžu vytvárať prekážky vďaka svojej centralizovanej architektúre a tradične náročným procesom a protokolom na vyhľadávanie údajov. To zvyčajne znamená, že kontrola veľkého množstva konsolidovaných dát prichádza do jediného IT alebo tímu pre správu dát. A s rastúcim objemom dát (a dopytom po ich získaní) sa tieto IT tímy zdaňujú nadmerne.
Okrem toho musia byť údaje riadne preskúmané a štruktúrované, aby sa zabezpečil súlad a dodržiavanie zásad správy údajov. V prípade neprimeraného tlaku môže dochádzať k tendencii ponáhľať sa v týchto fázach dodržiavania predpisov, čo vytvára pre spoločnosť potenciálne riziko a stratu. Architektúra dátových sietí na druhej strane poskytuje prístup a kontrolu oprávneným špecializovaným používateľom, ktorí majú väčší záujem o dáta – a to všetko pri používaní prísnych bezpečnostných protokolov.
Princípy dátovej siete vznikli ako priama reakcia na tieto výzvy súvisiace s rastúcim dátovým jazerom. Decentralizovaná a demokratizovaná architektúra správy údajov viedla k tomu, že podniky sú inteligentnejšie, agilnejšie a presnejšie tým, že zabezpečili, že správne údaje budú okamžite dostupné tým správnym ľuďom, kdekoľvek a kedykoľvek to potrebujú. Dátová sieť robí z údajového súboru a produktu skutočnú realitu, znižuje bariéry a uprednostňuje hodnotu informácií tak, aby tímy mohli získať rýchlejší a neobmedzený prístup k základným údajom.
Vysvetlená architektúra údajovej siete
Diskutovali sme o tom, ako je dátová sieť decentralizovanou formou dátovej architektúry, ktorá s dátami zaobchádza ako so základným nástrojom na správu podniku. A čo je dôležité, nezávislé tímy sú zodpovedné za spracovanie údajov v rámci svojej oblasti práce a odborných znalostí a zároveň zabezpečujú súlad s centrálne určenými postupmi správy údajov. Táto zmena myslenia je jadrom data mesh.
Aby sme lepšie pochopili, ako sa to dosiahne, môžeme zobraziť architektúru dátovej siete ako tri hlavné komponenty:
1. Zdroje údajov predstavujú úložisko (ako údajové jazero), do ktorého sa zadávajú primárne nespracované údaje. Bez ohľadu na to, či sa zhromažďujú zo sietí cloud IIoT, formulárov spätnej väzby zákazníkov alebo skreslených webových údajov, ide o nespracované vstupné údaje, na ktoré budú používatelia v celej sieti odkazovať a spracovávať ich podľa potreby. Zatiaľ čo prístup Data Lake by všetky tieto údaje zlieval na jedno centrálne miesto, metodika dátovej siete namiesto toho rozdeľuje zodpovednosť za príjem, uchovávanie, spracovanie a extrakciu týchto nespracovaných údajov v rámci série zodpovedných domén.
2. Infraštruktúra dátovej siete znamená, že tieto informácie nie sú izolované len v rámci jednotlivých oddelení, ale môžu byť tiež zdieľané podľa vlastného uváženia v rámci prevádzkovej siete organizácie, pričom zostávajú v súlade s platnými smernicami pre správu údajov. Je to priamy výsledok dvoch kľúčových pilierov dátovej siete: samoobslužnej dátovej platformy a federovaného riadenia. Samoobslužná dátová platforma poskytuje nástroje a infraštruktúru, ktoré každá doména potrebuje na univerzálne prijatie, transformáciu, spracovanie a obsluhu svojich údajov. Medzitým princípy federovaného dozoru zaisťujú štandardizáciu v celej organizácii, čo umožňuje jednoduchú interoperabilitu údajov medzi všetkými doménovými tímami.
3. Vlastníci dát sú konečnou súčasťou dátovej siete a sú zodpovední za aplikovanie protokolov súladu, riadenia a kategorizácie pre dáta svojich oddelení. Napríklad súbory HR sa musia ukladať pomocou určitých bezpečnostných protokolov, nesmú sa používať na tento alebo tento účel, musia byť uvoľnené len pre takúto a takúto osobu. Samozrejme, každé oddelenie bude mať kategórie a typy údajov jedinečné pre svoje oddelenie alebo účely. V systéme Data Lake musia IT tímy vytvoriť všetky tieto rôzne protokoly a kategórie pre všetkých rôznych vlastníkov dát, ktorí vyhodili veci do jazera. Zatiaľ čo architektúra dátových sietí dáva vlastníkom domén plnú autoritu a kontrolu nad týmito záležitosťami, pretože tí, ktorí opäť lepšie než odborníci na danú oblasť spravujú svoje vlastné údaje a zabezpečujú, aby spĺňali normy kvality.
Sieť údajov v praxi: Kto ju používa a prečo
Na to, aby sa riešenia na správu údajov vyvíjali a boli úspešnejšie, musia byť použiteľné a relevantné pre širokú škálu aplikácií a operácií. Ako sa zlepšuje architektúra dátových sietí a užívateľská ústretovosť, vidíme zvýšenú škálu podnikových funkcií, ktoré je možné rozšíriť bezpečným a distribuovaným prístupom k údajom ako produktu a nástroju.
Tu je niekoľko bežných obchodných prípadov použitia:
Predaj: Pre tímy predaja všetko ide o získavanie, rozvíjanie a uzatváranie potenciálnych zákazníkov. Čím viac času strávia členovia obchodného tímu na svojich stoloch pri vykonávaní administratívnych úloh, tým menej času musia budovať vzťahy s novými zákazníkmi. Vďaka architektúre dátovej siete nemusia byť používatelia tímov predaja odborníkmi na správu a vyhľadávanie údajov, aby mali na dosah ruky najvýkonnejšie a najrelevantnejšie súbory údajov a kombinácie. Keď majú oddelenia predaja všetky správne údaje na analýzu, premieta sa do užitočnejších štatistík a stratégií.
Dodávateľský reťazec a logistika: Moderné dodávateľské reťazce sú zraniteľné voči obrovskej škále narušení. Konkurencieschopná výhoda prichádza vtedy, keď sa spoločnosti môžu rýchlo orientovať a reagovať na hrozby aj príležitosti s rovnakou agilitou. Dnešné údaje o globálnom dodávateľskom reťazci prichádzajú husto a rýchlo – od spätnej väzby zákazníkov až po siete IIoT a digitálne dvojčatá. Keď skúsení a zdatní manažéri dodávateľského reťazca sú sami schopní zakročiť a vŕtať sa do niektorého z týchto súborov údajov v reálnom čase, podniky získajú silný zdroj prehľadu a spôsobilosti.
Výroba: V rámci dodávateľského reťazca sú výrobné operácie spoločnosti rovnako citlivé na rýchle zmeny na trhu a nestabilné požiadavky zákazníkov. V minulosti sa tímy dizajnu a výskumu a vývoja museli spoliehať na historické údaje o zákazníkoch, ktoré im boli poskytnuté z iných oddelení. Dnes prináša dátová sieť živý prístup k údajom pre používateľov za redakčnou tabuľkou, na výskumné a vývojové a testovacie tímy a celú cestu k výrobnej ploche. Spätná väzba od zákazníkov v reálnom čase môže okamžite informovať o vývoji produktov a najnovšie informácie zo sietí IIoT a digitálnych simulácií môžu pomôcť továrňam fungovať bezpečnejšie, rýchlejšie a efektívnejšie.
Marketing: V súčasnosti požiadavky a očakávania zákazníkov formujú budúcnosť a menia sa a rastú nevídaným tempom. Jedna značka má zvyčajne nespočetné množstvo spotrebiteľských kontaktných bodov naprieč sociálnymi médiami, cielenými digitálnymi reklamami a online a všichanálovými nákupnými portálmi. Súčasný trh vidí rastúcu túžbu po rýchlom prispôsobení, kratšom životnom cykle výrobkov a obrovskej úrovni výberu a konkurencie. Na pochopenie a zužitkovanie týchto trendov musia mať moderní marketéri prístup k širokej škále súborov údajov v reálnom čase a súčasne. V minulosti to znamenalo vyžiadanie (a čakanie) týchto údajov z iných oddelení. S nastavením dátovej siete však môžu marketéri tieto údaje v danom momente upraviť a získať k nim prístup za vlastných podmienok.
Ľudské zdroje: HR tímy musia spravovať veľké množstvo mimoriadne komplexných a citlivých údajov. A s rastúcim trendom smerom k vzdialeným a hybridným pracoviskám sa tieto údaje každým dňom komplikujú a geograficky rozmanitejšie. Nehovoriac o stále sa meniacom súbore súladu a právnych otázok, ktoré musia HR tímy tak súrne udržať na vrchole. Od prijatia do dôchodku, vedúci oddelenia ľudských zdrojov musia byť schopní overiť, posúdiť a analyzovať niektoré zo široko odlišných množín údajov v ľubovoľnej organizácii. Architektúra dátových sietí umožňuje vhodné bezpečnostné protokoly a prísne obmedzený prístup – zároveň umožňuje oprávneným používateľom HR prístup k dátam a informáciám rýchlo a bez závislosti od zložitých interných protokolov a byrokracie viacerých oddelení.
Financie: Tak ako v prípade HR, aj finančné a účtovné tímy sú zodpovedné za nesmierne dôležité a citlivé údaje. Moderné ERP systémy prinášajú revolúciu v oblasti financií pomocou technológie in-memory databáz na prispôsobenie aktuálnych správ, analýz a projekcií. Aj keď finančné tímy používajú najlepšie databázy a ERP, často čelia prekážkam, pretože sú sužované dlhotrvajúcimi a rigidnými kultúrami, silnými silami a byrokratickými, starými školskými procesmi. Architektúra dátových sietí prináša zásadný posun v tom, ako sa finančné dáta pozerajú a spravujú – a dokonca môže otriasť stagnujúcim myslením, ktoré sa môže stať, keď tímy majú možnosť vlastniť a revidovať svoje procesy starnutia dát.
Je jasné, že sieť údajov nie je len ďalším slovom a je trendom dátovej stratégie, ktorý treba brať vážne. Spoločnosti všetkých veľkostí a odvetví používajú sieť údajov a hľadajú spôsoby, ako používať údaje na vytváranie prehľadov a hodnôt.
Výhody dátovej siete
Staré databázy a obmedzené infraštruktúry na správu údajov v minulosti prispeli k pocitu, že údaje sa uchovávajú v jedinom trezore a podľa uváženia niekoľkých správcov údajov. Teraz sú údaje palivom, ktoré poháňa vaše podnikanie, a mali by byť poskytované slobodne tým špecialistom, ktorí najlepšie vedia, ako to funguje a dosahovať zisk v konkurenčných časoch.
Hlavné výhody architektúry dátových sietí možno zhrnúť ako:
Zvýšená dostupnosť údajov. Dátová sieť zabezpečuje, že všetci správni ľudia vo vašej organizácii budú mať prístup k údajom, ktoré potrebujú – aby boli absolútne najlepší vo svojej práci.
Vylepšené analytické funkcie. Keď sa údaje pozerajú ako na produkt, ktorý sa má používať každý deň, tímy začnú pristupovať k plánovaniu a stratégii s prvými dátami. To vedie k zníženiu chybovosti a objektívnejšiemu, menej názorovo orientovanému prístupu k rozvoju podnikania.
Prispôsobiteľné dátové kanály a procesy. Mnohé z najlepších a potenciálne najvýnosnejších projektov sú odložené kvôli obrovským ťažkostiam pri zušľachťovaní jedinečných a prispôsobených dátových súborov potrebných na dosiahnutie úspechu. S dátovou sieťou môžu tímy rýchlo pristupovať k novým modelom projektov a testovať ich bez tradičných strát času alebo zdrojov.
Dajú sa zmenšiť problematické miesta. Je to evidentná výhra/výhra tak pre IT tímy, ako aj pre majiteľov dát. Obmedzením zdroja frustrácie a podráždenia môžu navyše podniky pomôcť prelomiť zásobníky, ktoré stoja v ceste zdravému rozvoju podnikania.
Znížený tlak na centrálne tímy pre správu údajov. To znamená nielen zníženie počtu nevybavených a frustrácií, ale aj uvoľnenie nespočetných hodín pre vaše talentované IT tímy, aby sa venovali špecializovanejším, zaujímavejším a výnosnejším snahám
Často kladené otázky k údajovej sieti
Údajové a analytické riešenia spoločnosti SAP
Identifikujte, analyzujte a transformujte najrelevantnejšie údaje v rámci celého podniku.
Nápady nenájdete nikde inde
Zaregistrujte sa na dávku business intelligence doručenú priamo do vašej schránky.