Vad är datanät?
Data mesh är en metod för datahantering som använder ett distribuerat arkitektoniskt ramverk.
Data Mesh-översikt
Datanät är ett nytt sätt att se på information. Det är fött ur det växande konceptet att data i sig är en produkt, ett verktyg, ett medel till ett mål – inte bara något företag samlar in och analyserar senare i ett bakåtsträvande försök att förstå saker som redan har hänt.
Datanätsdefinition
Data mesh är en metod för datahantering som använder ett distribuerat arkitektoniskt ramverk. Med andra ord: det sprider ägarskap och ansvar för specifika dataset över hela verksamheten, till de användare som har specialistkompetens för att förstå vad denna data innebär och hur man på bästa sätt kan använda den.
Data mesh arkitektur ansluter och hämtar data från olika källor som datasjöar och lager och distribuerar relevanta dataset till lämpliga mänskliga experter och domänteam över hela verksamheten. I huvudsak sorteras och distribueras ett omfattande virrvarr av data i en central datasjö i hanterbara bitar till de som är bäst lämpade för att förstå och utnyttja den.
Datanät principer för datasjöutmaningar
När vi talar om datasjöar och datanät talar vi i huvudsak om Big Data. Det som gör data “Big” är inte bara dess enorma volym. Bland andra kriterier definieras Big Data också genom att vara komplex, variabel, snabbt genererad och ostrukturerad.
En linjär databas är som ett kalkylblad: den har kolumner och rader och oföränderliga kategorier som alla datakomponenter måste passa in i. En del av de data som genereras från maskiner, sensorer och industriella källor är strukturerade och passar snyggt in i en linjär databas. Oavsett hur mycket datavolym du måste hantera, om den är 100% strukturerad uppfyller den inte Big Data-kriterierna och kan inrymmas i en linjär databas, vilket gör det relativt enkelt att filtrera och extrahera.
Men allt mer, moderna Big Data är ostrukturerad och består av visuella komponenter, öppen text, och även video och rika medier. Dessa viktiga data kan omfatta tusentals terabyte information för många företag, och det kan helt enkelt inte lagras i en vanlig linjär databas.
Ange datasjö. I takt med att Big Data-volymerna började öka utvecklades datasjöar som en plats där komplexa data kunde lagras i och nås från en central lagringsplats i dess råformat. Datasjöar är en utmärkt lösning på Big Data-problemet, men de har ändå svagheter. Datasjöar saknar vissa analytiska funktioner, vilket gör dem beroende av andra tjänster för hämtning, indexering, transformation, frågor och analysfunktioner. Och ur ett företagsstyrningsperspektiv innebär datasjöar också tre ytterligare utmaningar:
1. Komplext ägande Ägarskap i datasjöar är komplicerat att definiera när för många spelare genererar och får tillgång till data. I avsaknad av tydligt definierade roller och ansvarsområden kan samma uppsättning uppgifter hanteras olika av olika parter, vilket skapar inkonsekvenser som gör det svårt att använda. På samma sätt blir andra uppgifter försummade när de inte aktivt hanteras av dem som i slutändan kommer att använda dem. Data mesh arkitektur säkerställer att datastyrning är tydligt distribuerad per domän så att varje team eller domän expert styr de data de producerar och använder. Som stöd för detta använder datanät också en samordnad styrningsstruktur för att även möjliggöra central kontroll av datamodellering, säkerhetspolicyer och efterlevnad.
2. Datakvalitet Datasjöar kan inte garantera datakvalitet när datavolymen blir för stor eller när centrala datahanterare själva inte förstår det. Data mesh arkitektur behandlar data som en värdefull produkt, vilket sätter kvaliteten och fullständigheten av data i främsta ledet vid datahantering. Förmodligen känner varje team till de viktigaste kriterierna och frågorna som de vill extrapolera från de data de samlar in. Genom att integrera dessa kriterier och prioriteringar i arkitekturen kan datanät bidra till att säkerställa kontinuerlig och prioriterad leverans av rena, färska och fullständiga data, även när större dataset är inblandade. Och naturligtvis, när maskininlärningsalgoritmer tillämpas, blir dessa kriterier och resulterande datauppsättningar allt mer exakta och användbara över tid.
3. Flaskhalsar Datasjöar kan skapa flaskhalsar på grund av sin centraliserade arkitektur och traditionellt svåra datahämtningsprocesser och protokoll. Detta innebär vanligtvis att kontrollen av en stor mängd konsoliderade data kommer ner till en enda IT- eller datahanteringsteam. Och i takt med att datavolymer (och efterfrågan på dess hämtning) ökar, blir dessa IT-team överskattade.
Dessutom måste uppgifterna ses över och struktureras på rätt sätt för att säkerställa efterlevnad och efterlevnad av principerna för dataförvaltning. Vid otillbörliga påtryckningar kan det finnas en tendens att skynda sig igenom dessa efterlevnadssteg som genererar potentiella risker och förluster för företaget. Data mesh arkitektur å andra sidan ger tillgång och kontroll till auktoriserade specialiserade användare som har ett större egenintresse för data – samtidigt som de använder strikta, inbakade säkerhetsprotokoll.
Principer för datanät uppstod som ett direkt svar på dessa växande utmaningar i datasjön. Decentraliserad och demokratiserad datahanteringsarkitektur har gjort företag smartare, smidigare och mer exakta genom att säkerställa att rätt data är omedelbart tillgänglig för rätt personer, var och när de behöver det. Data mesh gör data som en produkt till en verklig verklighet, minskar hinder och prioriterar värdet av information så att team kan få snabbare, obehindrad tillgång till viktiga data.
Förklarad datanätsarkitektur
Vi har diskuterat hur data mesh är en decentraliserad form av dataarkitektur som behandlar data som ett viktigt verktyg för företagsledning. Och det är viktigt att oberoende team ansvarar för att hantera data inom sina områden av arbete och expertis, samtidigt som de säkerställer efterlevnad av centralt fastställda datahanteringsrutiner. Denna förändring av tankesättet är kärnan i datamaskinen.
För att bättre förstå hur detta uppnås kan vi se datanätarkitekturen som tre huvudkomponenter:
1. Datakällor representerar repository (som en datasjö) som primära rådata matas in i. Oavsett om det samlas in från moln IIoT-nätverk, kundfeedbackformulär eller skrapade webbdata, är detta de råa indata som kommer att refereras och bearbetas efter behov av användare i hela nätverket. Även om en datasjöstrategi skulle trata alla dessa data till en central plats, fördelar datanätsmetoden i stället ansvaret för intag, lagring, bearbetning och extraktion av dessa rådata inom en rad ansvarsområden.
2. Datanätsinfrastruktur innebär att denna information inte bara är isolerad inom enskilda avdelningsdomäner utan även kan delas efter eget behag i organisationens operativa nätverk samtidigt som den följer fastställda riktlinjer för datastyrning. Detta är ett direkt resultat av två av de viktigaste pelarna i datamätet: En dataplattform med självbetjäning och ett federerat styre. Den självbetjänings-dataplattformen tillhandahåller de verktyg och den infrastruktur som varje domän behöver för att universellt mata in, transformera, bearbeta och betjäna deras data. Samtidigt säkerställer de federerade styrningsprinciperna standardisering över en organisation, vilket möjliggör enkel interoperabilitet för data mellan alla domänteam.
3. Dataägare är den slutliga komponenten i ett datanät och ansvarar för att tillämpa protokollen för regelefterlevnad, styrning och kategorisering för sina avdelningars data. Till exempel måste HR-filer lagras med hjälp av vissa säkerhetsprotokoll, de får inte användas för detta eller detta ändamål, de får endast släppas till en sådan person. Naturligtvis kommer varje institution att ha kategorier och typer av data som är unika för deras avdelning eller ändamål. I ett datasjösystem måste IT-team brottas med alla dessa olika protokoll och kategorier för alla de olika dataägare som dumpat saker i sjön. Medan datanät arkitektur ger domänägare full auktoritet och kontroll över dessa frågor eftersom återigen, vem bättre än ämnesområdesexperter att hantera sina egna data och se till att de uppfyller kvalitetsstandarder.
Datanät i praktiken: Vem använder det och varför
För att datahanteringslösningar ska kunna utvecklas och bli mer framgångsrika måste de vara användbara och relevanta för ett brett spektrum av applikationer och operationer. I takt med att datanätarkitekturen och användarvänligheten förbättras ser vi ett ökat utbud av affärsfunktioner som kan förbättras med en säker och distribuerad syn på data som en produkt och ett verktyg.
Här är några vanliga fall för affärsanvändning:
Försäljning: För säljteam handlar allt om att förvärva, vårda och stänga leads. Ju mer tid dina säljare tillbringar på sina skrivbord för att utföra administrativa uppgifter, desto mindre tid har de på sig att bygga relationer med nya kunder. Med Data Mesh-arkitektur behöver inte säljteamets användare vara datahanterings- och hämtningsexperter för att ha de mest kraftfulla och relevanta dataset och kombinationer till hands. När försäljningsavdelningar har all rätt data att analysera översätts den till mer användbara insikter och strategier.
Försörjningskedja och logistik: Moderna leveranskedjor är sårbara för ett enormt antal störningar. En konkurrensfördel kommer när företag kan pivotera snabbt och reagera på både hot och möjligheter med lika smidighet. Dagens globala leveranskedjedata kommer i tjock och snabb takt – från kundfeedback, till IIoT-nätverk och digitala tvillingar. När erfarna och kunniga leverantörer själva kan surfa och borra sig in i någon av dessa dataset i realtid, får företag en kraftfull källa till insikt och acumen.
Tillverkning: Som en del av försörjningskedjan är ett företags tillverkningsverksamhet lika sårbar för snabba marknadsskiften och volatila kundbehov. Tidigare skulle design- och FoU-team vara tvungna att förlita sig på historiska kunddata, som matas in till dem från andra avdelningar. I dag ger datanätet direkt tillgång till data för användarna bakom ritbordet, på FoU och testteamen, och hela vägen till tillverkningsgolvet. Kundfeedback i realtid kan informera produktutvecklingen på ett ögonblick, och uppdaterad information från IIoT-nätverk och digitala simuleringar kan hjälpa fabriker att köra säkrare, snabbare och effektivare.
Marknadsföring: Idag formar kundernas krav och förväntningar framtiden och förändras och växer i en aldrig tidigare skådad takt. Ett enda varumärke har vanligtvis otaliga konsumentkontaktpunkter i sociala medier, riktade digitala annonser och online och omnikanalsportaler. Den nuvarande marknaden ser den växande önskan om snabb anpassning, kortare produktlivscykler och enorma valmöjligheter och konkurrens. För att förstå och utnyttja dessa trender måste moderna marknadsförare ha tillgång i realtid och samtidigt till en mängd olika datauppsättningar. Tidigare har det inneburit att man begärt (och väntar på) dessa uppgifter från andra avdelningar. Med en datanätinställning kan marknadsförare dock surfa och komma åt dessa data i ögonblicket, på sina egna villkor.
Personal: HR-team måste hantera stora mängder extremt komplexa och känsliga uppgifter. Och med den växande trenden mot avlägsna och hybrida arbetsplatser blir denna data mer komplicerad och geografiskt mångsidig varje dag. För att inte tala om den ständigt föränderliga uppsättningen av regelefterlevnad och juridiska frågor som HR-team så snabbt måste hålla koll på. Från anställning till pensionering måste HR-chefer kunna validera, bedöma och analysera några av de mest olikartade datauppsättningarna i alla organisationer. Data mesh arkitektur möjliggör lämpliga säkerhetsprotokoll och strikt begränsad åtkomst – samtidigt som det gör det möjligt för behöriga HR-användare att få tillgång till data och information snabbt och utan att vara beroende av komplexa interna protokoll och fleravdelningsbyråkrati.
Ekonomi: Precis som inom HR ansvarar ekonomi- och redovisningsteamen också för enormt viktiga och känsliga uppgifter. Moderna ERP-system revolutionerar ekonomin med hjälp av in-memory-databasteknik för att anpassa aktuella rapporter, analyser och projektioner. Men även när finansteam använder de bästa databaserna och ERP står de fortfarande inför hinder eftersom de plågas av långvariga och stela kulturer, tunga silor och byråkratiska, gamla skolprocesser. Data Mesh-arkitekturen medför en grundläggande förändring i hur finansdata ses och hanteras – och kan till och med skaka om stagnerande tänkande som kan hända när team har möjlighet att äga och revidera sina egna processer för åldrande data.
Det är uppenbart att datanät inte bara är ännu ett surrningsord och att det är en trend i datastrategin som måste tas på allvar. Företag av alla storlekar och branscher använder datanät och letar efter sätt att använda data för att skapa insikter och värde.
Fördelar med datanät
Tidigare har gamla databaser och begränsade infrastrukturer för datahantering bidragit till att data är något som ska förvaras i ett enda valv och utmätas efter ett fåtal datahanterares gottfinnande. Nu är data det bränsle som driver ditt företag, och det bör ges fritt till de ämnesspecialister som bäst vet hur man får det att fungera och driva vinst i konkurrenskraftiga tider.
De viktigaste fördelarna med data mesh arkitektur kan sammanfattas som:
Ökad datatillgänglighet. Data mesh säkerställer att alla rätt personer i din organisation kan få tillgång till de data de behöver – för att vara det absolut bästa på sina jobb.
Förbättrade analysfunktioner. När data ses som en produkt som ska användas varje dag, börjar team att ta ett data-första förhållningssätt till planering och strategi. Detta leder till färre fel och ett mer objektivt, mindre opinionsstyrt förhållningssätt till affärsutveckling.
Anpassningsbara data-pipelines och processer. Många av de bästa och potentiellt mest lönsamma projekten läggs på hyllan på grund av det enorma krånglet med att kryssa för de unika och anpassade dataset som behövs för att nå framgång. Med ett datanät kan team snabbt komma åt och testa nya projektmodeller utan traditionell tidsförlust eller resursförlust.
Flaskhalsar kan minskas. Detta är en självklar vinst/vinst för både IT-team och dataägare. Genom att minska en källa till frustration och irritation kan företag dessutom bidra till att bryta ned silor som står i vägen för en sund affärsutveckling.
Minskad belastning på centrala datahanteringsgrupper. Detta innebär inte bara att minska eftersläpningar och frustration utan också att frigöra otaliga timmar för dina talangfulla IT-team att ägna sig åt mer specialiserade, intressanta och lönsamma sysselsättningar.
Vanliga frågor om Data Mesh
Data- och analyslösningar från SAP
Identifiera, analysera och transformera de mest relevanta data i din verksamhet.
Idéer som du inte hittar någon annanstans
Registrera dig för en dos business intelligence som levereras direkt till din inkorg.