Cos'è il data mesh?
Il data mesh è un approccio alla gestione dati che si avvale di un framework di architettura distribuita.
Panoramica del data mesh
Il data mesh rappresenta un nuovo modo di guardare alle informazioni. Nasce dal concetto sempre più diffuso che i dati rappresentano di per sé un prodotto, uno strumento, un mezzo per raggiungere un fine, e non semplicemente qualcosa che le aziende prima raccolgono e poi analizzano in uno sforzo retrospettivo di comprendere cose già accadute.
Definizione di data mesh
Il data mesh è un approccio alla gestione dati che si avvale di un framework di architettura distribuita. In altre parole, ripartisce la proprietà e la responsabilità di specifici set di dati tra quegli utenti, all'interno dell'intera azienda, che possiedono le conoscenze specialistiche per capire cosa significano tali dati e sanno come utilizzarli al meglio.
L'architettura di data mesh connette e attinge dati da varie fonti, come i data lake e i data warehouse, e distribuisce set di dati pertinenti agli esperti umani e ai team di dominio competenti dell'intera azienda. In sostanza, un voluminoso groviglio di dati ammassato in un data lake centrale viene ordinato e distribuito in blocchi gestibili ai soggetti più indicati per comprenderli e utilizzarli.
I principi del data mesh per le sfide del data lake
Quando parliamo di data lake e data mesh, parliamo sostanzialmente di Big Data. Ciò che rende i dati “Big” non è semplicemente il volume smisurato. Tra gli altri criteri, i Big Data hanno anche la particolarità di essere complessi, variabili, generati rapidamente e non strutturati.
Un database lineare è come un foglio di calcolo, con colonne, righe e categorie immutabili in cui devono rientrare tutti i componenti dei dati. Alcuni tipi di dati generati da macchine, sensori e fonti industriali sono strutturati e si inseriscono perfettamente in un database lineare. Indipendentemente dal volume di dati con cui ti devi misurare, se sono strutturati al 100% non soddisfano i criteri dei Big Data e possono essere ospitati in un database lineare, che li renderà relativamente semplici da filtrare ed estrarre.
Sempre più spesso, tuttavia, i Big Data di oggi non sono strutturati e si presentano sotto forma di componenti visuali, testo aperto e persino video e contenuti multimediali elaborati. Questi dati possono contenere migliaia di terabyte di informazioni che, per quanto cruciali per molte aziende, semplicemente non possono essere memorizzate in un normale database lineare.
È qui che entra in gioco il data lake. Quando i volumi di Big Data hanno iniziato a crescere, sono stati messi a punto i data lake come luogo in cui i dati complessi potevano essere archiviati e resi accessibili da un repository centrale nel loro formato grezzo. Pur proponendosi come ottima soluzione al problema dei Big Data, i data lake presentano comunque alcuni punti deboli. Non disponendo di talune funzionalità analitiche, i data lake dipendono da altri servizi per le funzionalità di recupero, indicizzazione, trasformazione, interrogazione e analisi. Dal punto di vista della gestione aziendale, i data lake sollevano poi tre ulteriori criticità:
1. Proprietà complessa La proprietà nei data lake diventa difficile da attribuire quando sono troppi i soggetti che generano e accedono ai dati. In assenza di ruoli e responsabilità chiaramente definiti, lo stesso set di dati può essere gestito in modo diverso da parti diverse, creando incoerenze che ne rendono difficile l'utilizzo. Analogamente, altri dati finiscono per essere trascurati se non gestiti attivamente da coloro che in definitiva li utilizzeranno. L'architettura di data mesh fa in modo che la governance dei dati sia distribuita chiaramente per dominio, creando un sistema in cui ogni team o esperto di dominio governa i dati che produce e utilizza. A sostegno di questo impianto, i data mesh ricorrono anche a una struttura di governance federata che consente il controllo centrale della modellazione, delle policy di sicurezza e della compliance dei dati.
2. Qualità dei dati Quando il volume di dati diventa troppo grande o quando gli stessi responsabili centrali dei dati non ne comprendono la natura, è possibile che i data lake non riescano a garantire la qualità dei dati. L'architettura di data mesh tratta fondamentalmente i dati alla stregua di un prodotto di valore, assegnando pertanto alla qualità e completezza un ruolo prominente nella gestione dei dati. Presumibilmente, ogni team conosce i criteri e le questioni più importanti che desidera estrapolare dai dati che sta raccogliendo. Integrando questi criteri e queste priorità nell'architettura, il data mesh può contribuire a garantire la disponibilità continua e prioritaria di dati puliti, aggiornati e completi, anche quando sono contenuti in set di grandi dimensioni. Quando poi vengono applicati gli algoritmi di machine learning, gli stessi criteri e set di dati risultanti diventano nel tempo ancor più accurati e utili.
3. Colli di bottiglia A causa dell'architettura centralizzata che li contraddistingue e dei processi e protocolli di recupero dei dati tradizionalmente difficili, i data lake possono creare colli di bottiglia. Il fenomeno avviene tipicamente quando il controllo di una grande quantità di dati consolidati ricade su un singolo team di IT o di gestione dei dati. E con il progressivo incremento dei volumi dei dati (e delle richieste di recupero degli stessi), il carico sui team di IT non può che aggravarsi.
Inoltre, per garantire la compliance e il rispetto dei principi di governance dei dati, questi devono essere rivisti e correttamente strutturati. Sotto l'incalzare di pressioni eccessive, può verificarsi la tendenza ad attraversare questi passaggi di compliance con una certa superficialità, con conseguenti potenziali rischi e perdite per l'azienda. L'architettura di data mesh concede invece l'accesso e il controllo a utenti specializzati autorizzati che hanno un maggiore interesse specifico verso i dati, sempre con l'applicazione di rigorosi protocolli di sicurezza incorporati.
I principi del data mesh si sono affermati in risposta diretta alle crescenti difficoltà incontrate dai data lake. L'architettura di gestione dati decentralizzata e democratizzata ha reso le aziende più intelligenti, agili e accurate facendo in modo che i dati giusti risultassero immediatamente disponibili a chi ne avesse avuto bisogno, in qualsiasi luogo e momento. Il data mesh trasforma in realtà effettiva il principio dei "dati come prodotto", abbassando le barriere e dando priorità al valore delle informazioni, permettendo ai team di accedere più rapidamente e senza ostacoli ai dati essenziali.
Spiegazione dell'architettura di data mesh
Abbiamo accennato a come il data mesh sia una forma decentralizzata di architettura dei dati che li tratta al pari di uno strumento essenziale di gestione aziendale. Altrettanto importante è la presenza di team indipendenti responsabili della gestione dei dati all'interno dei loro ambiti di lavoro ed expertise, garantendo al contempo la conformità alle pratiche di gestione dati stabilite centralmente. Questo cambiamento di mentalità è al centro del data mesh.
Per comprendere meglio come avviene tutto questo, possiamo raffigurare l'architettura di data mesh come articolata in tre componenti principali:
1. Le fonti di dati rappresentano il repository (come un data lake) in cui confluiscono i dati grezzi primari. A prescindere che provengano da reti IIoT in cloud, moduli di feedback dei clienti o siano ricavati dal web, essi costituiscono i dati grezzi di input a cui si farà riferimento e che verranno elaborati in base alle esigenze degli utenti in tutta la rete. A differenza dell'approccio data lake, che convoglierebbe tutti questi dati in un unico punto centrale, la metodologia data mesh distribuisce piuttosto la responsabilità delle fasi di immissione, archiviazione, trattamento ed estrazione di questi dati grezzi nell'ambito di una serie di domini competenti.
2. L'infrastruttura di data mesh fa sì che queste informazioni non siano isolate unicamente all'interno dei singoli domini dipartimentali, ma possano anche essere condivise liberamente attraverso la rete operativa dell'organizzazione, sempre restando conformi alle linee guida fissate per la governance dei dati. È il risultato diretto di due dei pilastri chiave del data mesh: una piattaforma di dati self-service e una governance federata. La piattaforma dati self-service fornisce gli strumenti e l'infrastruttura di cui ha necessità ciascun dominio per inserire, trasformare, elaborare e servire universalmente i propri dati. Parallelamente, i principi di governance federata assicurano la standardizzazione all'interno di un'organizzazione, rendendo possibile l'interoperabilità dei dati tra tutti i team di dominio.
3. Componente finale del data mesh, i proprietari dei dati sono responsabili dell'applicazione dei protocolli di compliance, governance e categorizzazione dei dati dei rispettivi reparti. I file delle Risorse Umane, per esempio, devono essere archiviati seguendo determinati protocolli di sicurezza, non devono essere utilizzati per scopi non definiti, devono essere rilasciati solo a determinati soggetti. Per ogni reparto vi saranno ovviamente categorie e tipologie di dati uniche in funzione dei vari scopi. In un sistema di data lake, i team IT devono fare i conti con questo complesso di protocolli e categorie per tutti i diversi proprietari di dati che li hanno... sversati nel "lago". L'architettura di data mesh, dal canto suo, riconosce piena autorità e controllo su queste materie ai proprietari dei dati dal momento che nessuno meglio degli esperti in materia è in grado di gestire i propri dati e garantirne l'adesione agli standard di qualità.
Il data mesh all'atto pratico : chi lo utilizza e perché
Perché possano evolvere e diventare più efficaci, le soluzioni di gestione dei dati devono essere fruibili e pertinenti per un'ampia gamma di applicazioni e operazioni. Con il progressivo miglioramento dei data mesh in termini di architettura e facilità d'uso, assistiamo a un ampliamento della gamma di funzioni aziendali migliorabili tramite un approccio sicuro e distribuito ai dati come prodotto e strumento.
Di seguito sono riportati alcuni casi di utilizzo aziendali comuni:
Vendite: per i team di vendita, tutto dipende da come si acquisiscono, coltivano e chiudono i lead. Più tempo passano alla scrivania a sbrigare pratiche amministrative, minore sarà l'impegno che i membri del tuo team di vendita potranno dedicare alla costruzione di relazioni con nuovi clienti. Con l'architettura di data mesh, gli utenti del team di vendita non devono essere necessariamente esperti di gestione e recupero dei dati per avere a portata di mano i set e le combinazioni di dati più efficaci e pertinenti. Una volta che dispongono di tutti i dati giusti da analizzare, i reparti vendite possono tradurli in insight e strategie più fruibili.
Supply chain e logistica: le moderne supply chain mostrano vulnerabilità rispetto a un'enorme gamma di elementi perturbatori. Le aziende che riescono a muoversi rapidamente, rispondendo sia alle minacce che alle opportunità con pari agilità, hanno dalla loro un indubbio vantaggio competitivo. I dati della supply chain globale di oggi affluiscono velocemente e in grandi quantità da fonti come il feedback dei clienti, le reti IIoT e i gemelli digitali. Se possono contare su direttori della supply chain esperti e accorti, capaci personalmente di curare e approfondire in tempo reale questi vari set di dati, le aziende dispongono di una potente fonte di insight e acume.
Produzione: in quanto parte della supply chain, le attività produttive di un'azienda sono altrettanto vulnerabili ai rapidi cambiamenti del mercato e alla volatilità delle richieste dei clienti. In passato, i team di progettazione e R&D erano soliti fare affidamento sui dati storici dei clienti che ricevevano dagli altri reparti. Oggi il data mesh rende possibile l'accesso ai dati in tempo reale agli utenti al tavolo da disegno, ai team di R&D e collaudo e persino ai reparti produttivi. Il feedback dei clienti in tempo reale può incidere sullo sviluppo dei prodotti all'istante, mentre le informazioni aggiornate al minuto provenienti dalle reti IIoT e dalle simulazioni digitali possono aiutare le fabbriche a funzionare in modo più sicuro, rapido ed efficiente.
Marketing: le richieste e le aspettative dei clienti di oggi cambiano e crescono a un ritmo senza precedenti, tracciando i connotati del futuro. Ogni singolo brand offre generalmente una miriade di punti di contatto con i consumatori tra social media, annunci digitali mirati e portali di shopping online e omnicanale. Il mercato attuale registra un crescente desiderio di una rapida personalizzazione, con cicli di vita dei prodotti più brevi e livelli vertiginosi di scelta e concorrenza. Per comprendere e sfruttare queste tendenze, gli specialisti del marketing più evoluti devono avere accesso simultaneo e in tempo reale a un'ampia gamma di set di dati. In passato, questo significava richiedere (e attendere) questi dati da altri reparti. Con una configurazione di data mesh, invece, gli addetti al marketing possono accedere a questi dati e curarli in tempo reale, secondo necessità.
Risorse umane: i team di HR devono gestire grandi quantità di dati estremamente complessi e sensibili. E con la crescente tendenza verso gli ambienti di lavoro remoti e ibridi, i dati diventano ogni giorno più complicati e geograficamente diversificati. Per non parlare del quadro in continua evoluzione di questioni legali e di conformità con cui i team HR devono urgentemente restare al passo. Dall'assunzione al pensionamento, i leader HR devono essere messi in condizione di validare, valutare e analizzare alcuni tra i set di dati più eterogenei con cui abbia a che fare un'azienda. L'architettura di data mesh rende possibile l'applicazione degli adeguati protocolli di sicurezza e di un accesso rigorosamente limitato, permettendo al tempo stesso agli utenti HR autorizzati di accedere ai dati e alle informazioni rapidamente e senza dipendere da complessi protocolli interni e dalla burocrazia multidipartimentale.
Finance: come nel caso delle Risorse Umane, anche i team di finance e contabilità sono responsabili di dati estremamente cruciali e sensibili. I moderni sistemi ERP stanno rivoluzionando l'area Finance, utilizzando la tecnologia del database in-memory per personalizzare report, analisi e proiezioni aggiornati all'istante. Tuttavia, anche utilizzando i migliori database e ERP, spesso i team finanziari si scontrano comunque con vari ostacoli, perché devono fare i conti con culture rigide e retrograde, silos irremovibili e obsolete procedure burocratiche. L'architettura di data mesh apporta un cambiamento fondamentale nel modo in cui i dati finanziari vengono esaminati e gestiti e può persino dare una scossa al pensiero stagnante, specie quando i team hanno la libertà di gestire e rivedere in autonomia i propri processi involuti di dati.
Appare chiaro quindi come il data mesh non sia solo l'ennesima espressione di moda, ma una tendenza nella strategia di dati da prendere sul serio. Aziende di ogni settore e ordine di grandezza ricorrono al data mesh per capire come sfruttare i dati per creare insight e valore.
Vantaggi del data mesh
In passato, le banche dati di stampo tradizionale e le limitate infrastrutture di gestione dei dati hanno radicato la convinzione che i dati fossero qualcosa da custodire in un unico caveau e da centellinare a discrezione di pochi gestori. Oggi i dati sono il carburante che alimenta il tuo business e devono essere messi liberamente a disposizione degli specialisti più capaci di metterli al servizio del profitto in tempi competitivi.
I principali vantaggi dell'architettura di data mesh possono essere così riassunti:
Maggiore accessibilità ai dati. Il data mesh fa in modo che tutte le persone giuste all'interno dell'organizzazione possano accedere ai dati di cui hanno bisogno, per essere messe in condizione di lavorare al meglio.
Miglioramento delle funzionalità di analisi. Quando i dati vengono considerati alla stregua di un prodotto da utilizzare ogni giorno, i team iniziano ad adottare un approccio data-first alla pianificazione e alla strategia. Il risultato è una riduzione degli errori e un approccio allo sviluppo dell'impresa più obiettivo e meno condizionato dalle opinioni.
Pipeline e processi di dati personalizzabili. Molti dei progetti meglio riusciti e potenzialmente più redditizi finiscono per essere accantonati a causa di enormi difficoltà nel curare i set di dati specifici e personalizzati necessari per mandarli in porto. Con il data mesh, i team possono accedere rapidamente a nuovi modelli di progetto e testarli senza la tradizionale perdita di tempo o risorse.
I colli di bottiglia possono essere ridotti. Un esito, questo, chiaramente vantaggioso sia per i team IT che per i proprietari dei dati. Peraltro, circoscrivendo una fonte di frustrazione e irritazione, le imprese possono contribuire ad abbattere i silos che ostacolano un sano sviluppo del business.
Minore pressione sui team centrali di gestione dati. Questo significa non solo ridurre i carichi di lavoro e la frustrazione, ma anche liberare innumerevoli ore che i talenti dei tuoi team di IT possono dedicare ad attività più specializzate, interessanti e redditizie
Domande frequenti sul data mesh
Soluzioni SAP per dati e analisi
Identifica, analizza e trasforma i dati più pertinenti in tutta l'azienda.
Idee che non troverai da nessun'altra parte
Registrati per ricevere una serie di informazioni di business intelligence direttamente nella tua casella di posta in arrivo.