Cos'è il data mesh?
Il data mesh è un approccio alla gestione dati che si avvale di un framework di architettura distribuita.
default
{}
default
{}
primary
default
{}
secondary
Panoramica del data mesh
Il data mesh rappresenta un nuovo modo di guardare alle informazioni. Nasce dal concetto sempre più diffuso che i dati rappresentano di per sé un prodotto, uno strumento, un mezzo per raggiungere un fine, e non semplicemente qualcosa che le aziende prima raccolgono e poi analizzano in uno sforzo retrospettivo di comprendere cose già accadute.
Definizione di data mesh
Il data mesh è un approccio alla gestione dati che si avvale di un framework di architettura distribuita. In altre parole, ripartisce la proprietà e la responsabilità di specifici set di dati tra quegli utenti, all'interno dell'intera azienda, con le conoscenze specialistiche necessarie per capire cosa significano tali dati e come utilizzarli al meglio.
L'architettura di data mesh connette e attinge dati da varie fonti, come i data lake e i data warehouse. Quindi distribuisce i set di dati pertinenti agli esperti umani e ai team di dominio competenti dell'intera azienda. In sostanza, un voluminoso ammasso di dati in un data lake centrale viene ordinato e distribuito in blocchi gestibili agli utenti più adatti per comprenderli e sfruttarli.
Origini del data mesh
Le origini del data mesh risalgono al 2009 circa, in risposta alle difficoltà di estendere su vasta scala le architetture di dati di grandi organizzazioni complesse. L'idea alla base del data mesh era quella di decentralizzare la proprietà e l'architettura dei dati, trattandoli come prodotto e assegnandone la responsabilità ai team orientati al dominio. Il data mesh coniuga i principi della progettazione basata sui domini, del product thinking e dell'infrastruttura self-service, per consentire alle organizzazioni di scalare i sistemi di dati senza creare colli di bottiglia monolitici.
Sono vari i motivi per cui nelle grandi organizzazioni i modelli centralizzati di gestione dei dati si rivelano spesso inefficaci:
- Colli di bottiglia nella distribuzione: un singolo team centrale diventa sovraccarico, rallentando l'accesso ai dati e l'analisi.
- Vuoti di proprietà: l'assenza di responsabilità chiaramente definite per la qualità dei dati nei vari domini dà luogo a standard incoerenti e a problemi di fiducia.
- Questioni di scalabilità: all'aumentare del volume e della complessità dei dati, i sistemi centralizzati faticano a scalare senza costi eccessivi.
- Scarsa conoscenza dei domini: i team centrali non hanno una conoscenza approfondita dei domini aziendali, dando così luogo a prodotti di dati di scarsa qualità o non allineati.
- Limitata agilità: i cambiamenti che richiedono un coordinamento attraverso un unico team rallentano la capacità di adattamento all'evoluzione delle esigenze aziendali.
Vantaggi del data mesh
Le banche dati di stampo tradizionale e le limitate infrastrutture di gestione dei dati hanno radicato la convinzione che i dati fossero qualcosa da custodire in un unico caveau e da centellinare a discrezione di pochi gestori. Oggi i dati sono il carburante che alimenta il tuo business; devono essere messi liberamente a disposizione degli specialisti più capaci di metterli al servizio del profitto in tempi competitivi.
I principali vantaggi dell'architettura di data mesh possono essere riassunti in tre categorie:
Scalabilità e agilità
Maggiore accessibilità ai dati: il data mesh fa in modo che tutte le persone giuste all'interno dell'organizzazione possano accedere ai dati di cui hanno bisogno, per essere messe in condizione di lavorare al meglio.
Pipeline e processi di dati personalizzabili: molti dei progetti meglio riusciti e potenzialmente più redditizi finiscono per essere accantonati a causa di enormi difficoltà nel curare i set di dati specifici e personalizzati necessari per mandarli in porto. Con il data mesh, i team possono accedere rapidamente a nuovi modelli di progetto e testarli senza la tradizionale perdita di tempo o risorse.
Riduzione dei colli di bottiglia: un esito, questo, chiaramente vantaggioso sia per i team IT che per i proprietari dei dati. Peraltro, circoscrivendo una fonte di frustrazione e irritazione, le imprese possono contribuire ad abbattere i silos che ostacolano un sano sviluppo del business.
Qualità e fiducia
Miglioramento delle capacità analitiche: quando le organizzazioni vedono nei dati un prodotto da utilizzare ogni giorno, i team iniziano ad adottare un approccio data-first alla pianificazione e alla strategia. Il risultato è una riduzione degli errori e un approccio allo sviluppo dell'impresa più obiettivo e meno condizionato dalle opinioni.
Collaborazione e riutilizzo tra domini
Minore pressione sui team centrali di gestione dati: questo significa non solo ridurre i carichi di lavoro e la frustrazione, ma anche liberare innumerevoli ore che i talenti dei tuoi team di IT possono dedicare ad attività più specializzate, interessanti e redditizie.
Decentralizzando la proprietà e trattando i dati alla stregua di un prodotto, il data mesh permette alle organizzazioni di muoversi più rapidamente, creare fiducia negli insight e scalare senza soluzione di continuità in tutti i domini.
I principi fondamentali del data mesh
Quando parliamo di data lake e data mesh, parliamo sostanzialmente di big data. Ciò che rende i dati “big” non è semplicemente il volume smisurato; tra gli altri criteri, i big data hanno infatti anche la particolarità di essere complessi, variabili, generati rapidamente e non strutturati.
Il database lineare è come un foglio di calcolo, con colonne, righe e categorie immutabili in cui devono rientrare tutti i componenti dei dati. Alcuni tipi di dati generati da macchine, sensori e fonti industriali sono strutturati e si inseriscono perfettamente in un database lineare. Indipendentemente dal volume di dati con cui ti devi misurare, se sono strutturati al 100% non soddisfano i criteri dei big data e possono essere ospitati in un database lineare, che li renderà relativamente semplici da filtrare ed estrarre.
Sempre più spesso, tuttavia, i big data di oggi non sono strutturati e si presentano sotto forma di componenti visuali, testo aperto e persino video e contenuti multimediali elaborati. Questi dati possono contenere migliaia di terabyte di informazioni che, per quanto cruciali per molte aziende, semplicemente non possono essere memorizzate in un normale database lineare.
È qui che entra in gioco il data lake. Quando i volumi di big data hanno iniziato a crescere, sono stati messi a punto i data lake come luogo in cui i dati complessi potevano essere archiviati e resi accessibili da un repository centrale nel loro formato grezzo. Pur proponendosi come ottima soluzione al problema dei big data, i data lake presentano comunque alcuni punti deboli. Non disponendo di talune funzionalità analitiche, i data lake dipendono da altri servizi per le funzionalità di recupero, indicizzazione, trasformazione, interrogazione e analisi.
Quattro principi del data mesh dati rispondono alle criticità sollevate dai data lake:
1. Proprietà dei domini
La proprietà nei data lake diventa difficile da attribuire quando sono troppi i soggetti che generano e accedono ai dati. In assenza di ruoli e responsabilità chiaramente definiti, lo stesso set di dati può essere gestito in modo diverso da parti diverse, creando incoerenze che ne rendono difficile l'utilizzo. Analogamente, altri dati finiscono per essere trascurati se non gestiti attivamente da coloro che in definitiva li utilizzeranno.
L'architettura data mesh risolve questo problema decentralizzando la proprietà. Fa in modo che la governance dei dati sia distribuita chiaramente per dominio, creando un sistema in cui ogni team o esperto di dominio governa i dati che produce e utilizza. A sostegno di questo impianto, i data mesh ricorrono anche a una struttura di governance federata che consente il controllo centrale della modellazione, delle policy di sicurezza e della compliance dei dati. La proprietà del data mesh crea responsabilità e migliora l'usabilità dei dati.
2. I dati come prodotto
Quando il volume di dati diventa troppo grande o quando gli stessi responsabili centrali dei dati non ne comprendono la natura, è possibile che i data lake non riescano a garantire la qualità dei dati. L'architettura di data mesh tratta fondamentalmente i dati alla stregua di un prodotto di valore, assegnando pertanto alla qualità e completezza un ruolo prominente nella gestione dei dati. Presumibilmente, ogni team conosce i criteri e le questioni più importanti che desidera estrapolare dai dati che sta raccogliendo. Integrando questi criteri e queste priorità nell'architettura, il data mesh può contribuire a garantire la disponibilità continua e prioritaria di dati puliti, aggiornati e completi, anche quando sono contenuti in set di grandi dimensioni. Quando poi vengono applicati gli algoritmi di machine learning, gli stessi criteri e set di dati risultanti diventano nel tempo ancor più accurati e utili.
3. Piattaforma di dati self-service
A causa dell'architettura centralizzata che li contraddistingue e dei processi e protocolli di recupero dei dati tradizionalmente difficili, i data lake possono creare colli di bottiglia. Il fenomeno avviene tipicamente quando il controllo di una grande quantità di dati consolidati ricade su un singolo team di IT o di gestione dei dati. E con il progressivo incremento dei volumi dei dati (e delle richieste di recupero degli stessi), il carico sui team di IT non può che aggravarsi.
Inoltre, per garantire la compliance e il rispetto dei principi di governance dei dati, questi devono essere rivisti e correttamente strutturati. Sotto l'incalzare di pressioni eccessive, può verificarsi la tendenza ad attraversare questi passaggi di compliance con una certa superficialità, con conseguenti potenziali rischi e perdite per l'azienda. I principi del data mesh affrontano questo problema abilitando una piattaforma dati self-service, che concede l'accesso e il controllo a utenti specializzati e autorizzati che hanno un maggiore interesse specifico verso i dati, sempre con l'applicazione di rigorosi protocolli di sicurezza incorporati. In questo modo si riducono i colli di bottiglia e si accelera la distribuzione dei dati.
4. Governance federata
Se da un lato la decentralizzazione è cruciale, dall'altro le organizzazioni non possono rinunciare alla governance. Per conciliare l'autonomia con la coerenza, il data mesh adotta un modello di governance federato. In sostanza, pur gestendo i propri prodotti di dati, i domini devono rispettare standard condivisi per la sicurezza, la compliance e l'interoperabilità nell'intera organizzazione. Questo approccio ibrido di governance del data mesh garantisce agilità senza sacrificare la fiducia o l'adesione alle normative.
Ferme restando le difficoltà del data mesh, l'architettura di gestione dati decentralizzata e democratizzata ha reso le aziende più intelligenti, agili e accurate. Come? Facendo in modo che i dati giusti risultassero immediatamente disponibili a chi ne avesse avuto bisogno, in qualsiasi luogo e momento. Il data mesh trasforma in realtà effettiva il principio dei "dati come prodotto", abbassando le barriere e dando priorità al valore delle informazioni, permettendo ai team di accedere più rapidamente e senza ostacoli ai dati essenziali.
Framework e architettura del data mesh
Abbiamo accennato a come il data mesh sia una forma decentralizzata di architettura dei dati che li tratta al pari di uno strumento essenziale di gestione aziendale. E, altrettanto importante, a come siano presenti team indipendenti responsabili della gestione dei dati all'interno dei loro ambiti di lavoro ed expertise, garantendo al contempo la conformità alle pratiche di gestione dati stabilite centralmente. Questo cambiamento di mentalità è al centro del data mesh.
Visione d'insieme dell'architettura data mesh
In un data mesh, i principali produttori e consumatori di dati sono i domini, ciascuno dei quali possiede i propri dati come prodotto per garantirne qualità e pertinenza. La piattaforma self-service fornisce l'infrastruttura per la pubblicazione, il reperimento e il consumo di questi prodotti di dati, unicamente alle funzionalità automatizzate di sicurezza e compliance. La governance opera nel quadro di un modello federato, che concilia standard globali di interoperabilità e sicurezza con l'autonomia locale, in modo che i domini possano innovare mantenendo la fiducia e la coerenza nell'intera organizzazione.
Per capire meglio come l'architettura del data mesh costituisce un quadro organico, osserviamone da vicino le tre componenti principali.
Fonti di dati
Queste rappresentano il repository (come un data lake) in cui confluiscono i dati grezzi primari. A prescindere che provengano da reti IIoT in cloud, moduli di feedback dei clienti o siano ricavati dal web, i dati grezzi di input sono quelli che gli utenti consulteranno ed elaboreranno secondo necessità in tutta la rete. A differenza dell'approccio data lake, che convoglierebbe tutti questi dati in un unico punto centrale, la metodologia data mesh distribuisce piuttosto la responsabilità delle fasi di immissione, archiviazione, trattamento ed estrazione di questi dati grezzi nell'ambito di una serie di domini competenti.
Infrastruttura del data mesh
Le informazioni non sono isolate unicamente all'interno dei singoli domini dipartimentali, ma possono anche essere condivise liberamente attraverso la rete operativa dell'organizzazione, sempre restando conformi alle linee guida fissate per la governance dei dati. È il risultato diretto di due dei pilastri chiave del data mesh: una piattaforma di dati self-service e una governance federata. La piattaforma dati self-service fornisce gli strumenti e l'infrastruttura di cui ha necessità ciascun dominio per inserire, trasformare, elaborare e servire universalmente i propri dati. Parallelamente, i principi di governance federata assicurano la standardizzazione all'interno di un'organizzazione, rendendo possibile l'interoperabilità dei dati tra tutti i team di dominio.
Proprietari di dati
In quanto componente finale del data mesh, i proprietari dei dati sono responsabili dell'applicazione dei protocolli di compliance, governance e categorizzazione dei dati dei rispettivi reparti. I file delle Risorse Umane, per esempio, devono essere archiviati seguendo determinati protocolli di sicurezza, non devono essere utilizzati per scopi non definiti e devono essere rilasciati solo a determinati soggetti. Per ogni reparto vi saranno ovviamente categorie e tipologie di dati uniche in funzione dei vari scopi. In un sistema di data lake, i team IT devono fare i conti con questo complesso di protocolli e categorie per tutti i diversi proprietari di dati che li hanno... sversati nel "lago". L'architettura di data mesh, dal canto suo, riconosce piena autorità e controllo su queste materie ai proprietari di dominio, dal momento che chi meglio degli esperti in materia è in grado di gestire i propri dati e garantirne l'adesione agli standard di qualità?
Il modello operativo del data mesh
Il modello operativo del data mesh mette insieme persone, processi e tecnologia per abilitare la gestione decentralizzata dei dati su vasta scala. Questa collaborazione fa sì che i dati circolino liberamente in ogni area dell'organizzazione, promuovendo fiducia, agilità e riutilizzo senza dover ricorrere a un singolo team centralizzato. Il data mesh supporta l'interoperabilità e la scopribilità applicando standard condivisi e offrendo una piattaforma comune, formati e termini di ricerca coerenti e regole di governance per la pubblicazione e il consumo dei prodotti di dati. Gli strumenti di data mesh come i cataloghi e i registri di dati permettono ai team di individuare rapidamente i prodotti di dati, accedervi in modo sicuro e utilizzarli in ogni area dell'organizzazione.
Il data mesh richiama per certi versi l'immagine di una città moderna: ogni quartiere (dominio) gestisce i propri servizi pubblici (acqua, elettricità e rifiuti) perché conosce al meglio le esigenze locali. La città fornisce infrastrutture condivise, come le strade e i trasporti pubblici (la piattaforma self-service) e le norme di sicurezza (la governance), in modo che i quartieri possano connettersi, accedere alle risorse della città e collaborare senza creare caos. In questo modo, le risorse circolano liberamente in ogni angolo della città, tutti seguono regole comuni e l'innovazione trova terreno fertile a livello locale mentre l'intera città funziona regolarmente.
Il data mesh nella pratica: esempi e casi d'uso
Perché possano evolvere e diventare più efficaci, le soluzioni di gestione dei dati devono essere fruibili e pertinenti per un'ampia gamma di applicazioni e operazioni. Con il progressivo miglioramento dei data mesh in termini di architettura e facilità d'uso, assistiamo a un ampliamento della gamma di funzioni aziendali che le organizzazioni possono perfezionare con un approccio sicuro e distribuito ai dati come prodotto e strumento.
Esploriamo alcuni casi d'uso del data mesh in ambito aziendale.
Vendite
Per i team di vendita, tutto dipende da come si acquisiscono, coltivano e chiudono i lead. Più tempo passano alla scrivania a sbrigare pratiche amministrative, minore sarà l'impegno che i membri del tuo team di vendita potranno dedicare alla costruzione di relazioni con nuovi clienti. Con l'architettura di data mesh, gli utenti del team di vendita non devono essere necessariamente esperti di gestione e recupero dei dati per avere a portata di mano i set e le combinazioni di dati più efficaci e pertinenti. Una volta che dispongono di tutti i dati giusti da analizzare, i reparti vendite possono tradurli in insight e strategie più fruibili.
Esempio di data mesh nelle vendite: i team di vendita regionali o di un prodotto specifico possono essere proprietari dei rispettivi domini di dati di pipeline e CRM, in modo da consentire previsioni accurate e cruscotti in tempo reale senza dover attendere le risposte da un team IT centrale.
Supply chain e logistica
Le moderne supply chain mostrano vulnerabilità rispetto a un'enorme gamma di elementi perturbatori. Le aziende che riescono a muoversi rapidamente, rispondendo sia alle minacce che alle opportunità con pari agilità, hanno dalla loro un indubbio vantaggio competitivo. I dati della supply chain globale di oggi affluiscono velocemente e in grandi quantità da fonti come il feedback dei clienti, le reti IIoT e i digital twin. Se possono contare su direttori della supply chain esperti e accorti, capaci personalmente di curare e approfondire in tempo reale questi vari set di dati, le aziende dispongono di una potente fonte di insight e acume.
Esempio di data mesh nella supply chain: l'ottimizzazione della supply chain presuppone visibilità in tempo reale sui livelli di stock, sulle prestazioni dei fornitori e sui dati logistici. Il data mesh offre a ciascun dominio (procurement, magazzinaggio, trasporto) la proprietà dei rispettivi prodotti di dati, rendendo possibili decisioni più rapide e operazioni a costi contenuti.
Produzione
In quanto parte della supply chain, le attività produttive di un'azienda sono altrettanto vulnerabili ai rapidi cambiamenti del mercato e alla volatilità delle richieste dei clienti. In passato, i team di progettazione e R&D erano soliti fare affidamento sui dati storici dei clienti che ricevevano dagli altri reparti. Oggi il data mesh rende possibile l'accesso ai dati in tempo reale agli utenti al tavolo da disegno, ai team di R&D e collaudo e persino ai reparti produttivi. Il feedback dei clienti in tempo reale può incidere sullo sviluppo dei prodotti all'istante, mentre le informazioni aggiornate al minuto provenienti dalle reti IIoT e dalle simulazioni digitali possono aiutare le fabbriche a funzionare in modo più sicuro, rapido ed efficiente.
Esempio di data mesh nella produzione: i team a livello di stabilimento possono avere la titolarità sui dati di funzionamento di sensori e macchine, consentendo la manutenzione predittiva e riducendo i tempi di inattività grazie all'analisi decentralizzata.
Marketing
Le richieste e le aspettative dei clienti di oggi cambiano e crescono a un ritmo senza precedenti, tracciando i connotati del futuro. Ogni singolo brand offre generalmente una miriade di punti di contatto con i consumatori tra social media, annunci digitali mirati e portali di shopping online e omnicanale. Il mercato attuale registra un crescente desiderio di una rapida personalizzazione, con cicli di vita dei prodotti più brevi e livelli vertiginosi di scelta e concorrenza. Per comprendere e stare al passo con queste tendenze, gli specialisti del marketing più evoluti devono avere accesso simultaneo e in tempo reale a un'ampia gamma di set di dati. In passato, questo significava richiedere (e attendere) questi dati da altri reparti. Con una configurazione di data mesh, invece, gli addetti al marketing possono accedere a questi dati e curarli in tempo reale, secondo necessità.
Esempio di data mesh nel marketing: la costruzione di una visione a 360 gradi del cliente richiede l'integrazione dei dati provenienti da più canali, quali e-mail, social media e annunci a pagamento. In un data mesh ogni canale è proprietario del rispettivo prodotto di dati, garantendo così insight accurati e in tempo reale per campagne personalizzate e customer experience migliori.
Risorse umane
I team di HR devono gestire grandi quantità di dati estremamente complessi e sensibili. E con la crescente tendenza verso gli ambienti di lavoro remoti e ibridi, i dati diventano ogni giorno più complicati e geograficamente diversificati. Per non parlare del quadro in continua evoluzione di questioni legali e di conformità con cui i team HR devono urgentemente restare al passo. Dall'assunzione al pensionamento, i leader HR devono essere messi in condizione di validare, valutare e analizzare alcuni tra i set di dati più eterogenei con cui abbia a che fare un'azienda. L'architettura di data mesh rende possibile l'applicazione degli adeguati protocolli di sicurezza e di un accesso rigorosamente limitato. Allo stesso tempo, consente agli utenti HR autorizzati di accedere ai dati e alle informazioni rapidamente e senza dipendere da complessi protocolli interni e dalla burocrazia multidipartimentale.
Esempio di data mesh nell'HR: i team di recruiting, calcolo delle retribuzioni e gestione delle performance possono governare i propri domini di dati, migliorando la compliance e rendendo possibile l'analisi della forza lavoro in tempo reale ai fini del processo decisionale strategico.
Finance
Come nel caso delle Risorse Umane, anche i team di finance e contabilità sono responsabili di dati estremamente cruciali e sensibili. I moderni sistemi ERP stanno rivoluzionando l'area Finance, utilizzando la tecnologia del database in-memory per personalizzare report, analisi e proiezioni aggiornati all'istante. Tuttavia, anche utilizzando i migliori database e ERP, spesso i team finanziari si scontrano comunque con vari ostacoli dovuti a culture rigide e retrograde, silos irremovibili e obsolete procedure burocratiche. L'architettura di data mesh apporta un cambiamento fondamentale nel modo in cui i dati finanziari vengono esaminati e gestiti. Può persino dare una scossa al pensiero stagnante, specie quando le organizzazioni concedono ai team la libertà di gestire e rivedere in autonomia i propri processi involuti di dati.
Esempio di data mesh nella finanza: i team di pianificazione finanziaria possono essere proprietari dei rispettivi domini di dati di ricavi, spese e investimenti, garantendo previsioni accurate e modelli di scenari agili senza dover dipendere da un unico team centrale.
Appare chiaro quindi come il data mesh non sia solo l'ennesima espressione di moda, ma una tendenza nella strategia di dati da prendere sul serio. Aziende di ogni settore e ordine di grandezza ricorrono al data mesh per capire come sfruttare i dati per creare insight e valore.
Alternative al data mesh
Il data mesh offre un approccio decentralizzato alla gestione dei dati, ma non è l'unica opzione disponibile. Architetture tradizionali come il data lake e il data warehouse rimangono ampiamente utilizzate per centralizzare e archiviare grandi volumi di dati, spesso abbinati a data lakehouse che combinano funzionalità per dati strutturati e non strutturati. Altri modelli, come il data fabric, si concentrano sulla creazione di un layer unificato per l'integrazione e l'orchestrazione dei dati di sistemi diversi. Ogni alternativa affronta la scalabilità, la governance e l'accessibilità in modo diverso, rendendo la scelta vincolata alle esigenze e alla maturità dell'organizzazione.
Diamo un'occhiata alle alternative al data mesh e mettiamole a confronto.
Data mesh e data lake/lakehouse
Data mesh e data warehouse
Data mesh e data fabric
Implementazione del data mesh
L'implementazione del data mesh richiede un approccio strategico che possa conciliare la decentralizzazione con gli standard condivisi. Questi i passaggi chiave del data mesh:
- Individua i domini pilota: inizia in piccolo selezionando due o tre domini con un chiaro valore di business e una forte maturità dei dati. Questi team fungeranno da 'early adopter', mettendo alla prova il modello del data mesh prima che venga esteso all'intera organizzazione.
- Istituisci la piattaforma: crea una piattaforma dati self-service che fornisca strumenti comuni per la pubblicazione, l'individuazione e il consumo dei prodotti di dati. Si tratterà di cataloghi di dati, API e funzionalità di protezione automatizzate per ridurre gli attriti tra team di domini.
- Definisci una governance federata: elabora policy di governance che rispettino gli standard globali in materia di sicurezza, conformità e interoperabilità, senza tuttavia intaccare l'autonomia dei domini. La governance dovrebbe includere ruoli chiari, definizioni dei prodotti di dati e aspettative di qualità.
Anti-pattern da evitare
Quando il data mesh viene eseguito in modo errato, senza seguire pattern organizzativi naturali, può portare a confusione e contestazioni. Un anti-pattern nel data mesh è un approccio o una pratica ricorrente apparentemente utile, ma che in realtà mina i principi fondamentali dell'architettura. Questi gli anti-pattern da evitare:
- Trattare il data mesh come se fosse un data lake centralizzato.
- Ignorare il cambiamento culturale: la tecnologia da sola non risolve i problemi di proprietà.
- Iperingegnerizzazione della piattaforma prima di dimostrarne il valore per il business.
- Mancanza di una chiara responsabilità per la qualità dei dati.
- Estensione troppo rapida su vasta scala senza prima aver validato il modello di data mesh nei domini pilota.
Cinque best practice per il data mesh
- Partire in piccolo e procedere con iterazioni: utilizza i domini pilota per perfezionare i processi prima di estenderli su vasta scala.
- Trattare i dati come prodotto: definisci proprietà, contratti di servizio e standard di usabilità per ogni set di dati.
- Investire in strumenti condivisi: semplifica la pubblicazione e la scoperta per i team di dominio.
- Integrare la governance precocemente: cerca fin dall'inizio di conciliare l'autonomia con la compliance.
- Puntare sui risultati di business: allinea i prodotti di dati al valore misurabile, non solo agli obiettivi tecnici.
Coniugando la proprietà dei domini, una solida piattaforma e una governance federata, le organizzazioni possono rafforzare l'agilità, la fiducia e la collaborazione trasversale ai domini, evitando le strozzature dei tradizionali modelli centralizzati.
Misurazione e metriche
Per poter valutare il buon esito del data mesh occorrono metriche che tengano conto tanto della performance tecnica quando dei risultati di business. Queste le metriche applicabili:
-
Obiettivi/contratti di servizio sulla qualità dei prodotti di dati: essenziali, ma devono essere adattati in base al contesto di ogni dominio anziché essere applicati uniformemente. Questi alcuni esempi di KPI per i prodotti di dati:
- Stato di aggiornamento dei dati: percentuale di prodotti di dati aggiornati entro la finestra temporale concordata, per esempio su base oraria o giornaliera
- Completezza: percentuale di campi obbligatori compilati in tutti i set di dati
- Disponibilità: tempo di operatività dei prodotti di dati, per esempio il 99,9%
-
Adozione e riutilizzo da parte dei consumatori: può essere un forte indicatore di valore, ma la sua misurazione accurata comporta spesso il tracciamento degli schemi di utilizzo e del feedback dei team. Questi alcuni esempi di KPI di adozione e riutilizzo da parte dei consumatori:
- Numero di consumatori univoci per prodotto di dati
- Tasso di riutilizzo nei domini: percentuale di prodotti di dati consumati da più domini
- Punteggio di soddisfazione dei consumatori ricavato da sondaggi o feedback
-
Time-to-insight e costo del servizio: evidenziano gli incrementi di efficienza rispetto ai modelli centralizzati, ma questi miglioramenti dipendono dalla maturità organizzativa e dai processi di riferimento. Questi alcuni esempi di KPI del time-to-insight e del costo del servizio:
- Tempo medio dalla richiesta di dati agli insight fruibili
- Riduzione dei costi operativi rispetto al modello centralizzato
- Percentuale di riduzione del backlog delle richieste di dati
-
Ritardi comuni dei competitor da cogliere: punta sulle aree in cui i competitor accusano difficoltà e sfrutta i principi del data mesh per superarli. Questi alcuni esempi di KPI di ritardi di competitor da cogliere:
- Numero di punti deboli identificati dei competitor affrontati attraverso le funzionalità dei prodotti di dati, per esempio una migliore scopribilità e un accesso più rapido ai dati
- Vantaggio del time-to-market per i nuovi prodotti di dati rispetto ai competitor
- Aumento del tasso di adozione self-service rispetto alle stime dei competitor
Insieme, queste metriche forniscono insight di indirizzo per capire se il data mesh stia fornendo o meno agilità, fiducia e scalabilità senza il ricorso a benchmark generici.
Domande frequenti sul data mesh
Per "interoperabilità" si intende la capacità di un sistema o di un prodotto di funzionare con altri sistemi o prodotti senza richiedere particolari sforzi all'utente. Secondo Techtarget permette alle organizzazioni di raggiungere una maggiore efficienza e una visione più olistica delle informazioni e dei dati. Per informazioni più dettagliate, questa lezione Open MOOC presenta le basi dell'interoperabilità dei dati, declinata nelle sue diverse tipologie e livelli.
Nel contesto dei dati, l'interoperabilità va oltre la semplice connettività, abbracciando anche la scopribilità (rendere i prodotti di dati facili da reperire in tutti i domini attraverso cataloghi o registri); contratti (accordi chiari e leggibili elettronicamente su schemi di dati, API e contratti di servizio per contribuire a garantire un consumo coerente) e standard condivisi (governance, metadati e pratiche di sicurezza comuni per lo scambio di dati senza attriti tra domini).
Siamo in presenza di interoperabilità, per esempio, quando il dominio Cliente pubblica un prodotto di dati con profili cliente, e in seguito il dominio Vendite consuma tali dati per arricchire l'analisi della pipeline. L'interoperabilità fa sì che il team Vendite possa reperire il prodotto di dati del cliente in un catalogo, basarsi sul suo contratto per le garanzie di schema e qualità e integrarlo utilizzando standard condivisi senza alcun intervento manuale.
Il data mesh e il data fabric sono approcci architetturali diversi all'interno della strategia di gestione dati di un'azienda.
Il data fabric è un approccio tecnocentrico che punta a elaborare metodi sempre più fluidi per gestire metadati complessi e informazioni non strutturate fondendo AI, machine learning e analisi avanzata. Il data mesh invece, pur dipendendo da tutti gli sviluppi tecnologici che investono il data fabric, si concentra maggiormente sull'integrazione dei processi di gestione dei dati con gli utenti umani che da essi dipendono, oltre che sulla ricerca di soluzioni atte a snellire e semplificare l'accesso e la fruibilità dei dati dal punto di vista delle persone.
Il rapporto tra data mesh e data fabric evoca per certi versi il dilemma dell'uovo e della gallina: se la gestione dei dati vuole evolversi alla velocità di cui ha bisogno, non può prescindere da tecnologie di data fabric sempre più avanzate. D'altro canto, senza una concomitante evoluzione nei processi umani e nelle strategie organizzative, le persone non saranno in grado di sfruttare adeguatamente le tecnologie avanzate del data fabric. Così come i sistemi DOS e simili interfacce complesse hanno ceduto il passo ai sistemi operativi informatici più fluidi di cui usufruiamo oggi, allo stesso modo le architetture di data mesh e data fabric sono destinate a diventare sempre più integrate con il progressivo avanzamento di tali processi e tecnologie.
PRODOTTO SAP
Connetti i dati, stimola l'innovazione
Scopri come SAP Business Data Cloud accelera gli insight basati sui dati su scala enterprise.