Qu'est-ce qu'un maillage de données ?
Le maillage de données est une approche de la gestion des données qui utilise une structure architecturale distribuée.
Présentation du maillage de données
Le maillage de données correspond à une nouvelle façon d'examiner les données. Il est le fruit d'un concept grandissant, celui qui affirme que les données sont en fait elles-mêmes un produit, un outil, un moyen d'atteindre une fin, et pas simplement quelque chose que les entreprises collectent et analysent plus tard dans une tentative rétrospective de comprendre ce qui s'est déjà passé.
Définition du maillage de données
Le maillage de données est une approche de la gestion des données qui utilise une structure architecturale distribuée. En d'autres termes, il étend la propriété et la responsabilité d'ensembles de données spécifiques dans toute l'entreprise, aux utilisateurs possédant l'expertise d'un spécialiste pour comprendre ce que ces données signifient et comment les utiliser au mieux.
Une architecture de maillage de données connecte et extrait les données provenant de diverses sources, telles que les lacs de données et les entrepôts de données et distribue les ensembles de données pertinents aux experts humains et aux équipes sectorielles appropriés dans toute l'entreprise. En bref, une immense quantité de données résidant dans un lac de données central est triée et distribuée en petites portions gérables à ceux qui sont le mieux à même de les comprendre et de les exploiter.
Le maillage de données pour relever les défis liés aux lacs de données
Lorsque nous parlons de lacs de données et de maillage de données, nous parlons essentiellement du Big Data. Le terme « Big » n'est pas seulement lié au volume impressionnant de données. Le Big Data se définit également, entre autres critères, par le fait qu'il est complexe, variable, généré rapidement et non structuré.
Une base de données linéaire ressemble à une feuille de calcul : elle comporte des colonnes et des lignes, ainsi que des catégories immuables dans lesquelles tous les composants des données doivent rentrer. Certaines des données générées par les machines, les capteurs et les sources industrielles sont structurées et s'insèrent parfaitement dans une base de données linéaire. Quel que soit le volume de données que vous devez traiter, du moment où elles sont entièrement structurées, elles ne répondent pas aux critères du Big Data et peuvent être hébergées dans une base de données linéaire, ce qui les rend relativement simples à filtrer et à extraire.
Mais, de plus en plus, le Big Data moderne est non structuré et se compose d'éléments visuels, de textes ouverts, voire de vidéos et de contenus multimédias enrichis. Ces données cruciales peuvent représenter des milliers de téraoctets d'informations pour de nombreuses entreprises, et il est tout simplement impossible de les stocker dans une base de données linéaire standard.
C'est là qu'intervient le lac de données. Lorsque le volume de Big Data a commencé à augmenter, les lacs de données ont été mis au point pour permettre le stockage de données complexes et leur accès à partir d'un référentiel central dans leur format brut. Si les lacs de données représentent une excellente solution au problème du Big Data, ils n'en présentent pas moins quelques faiblesses. Les lacs de données ne disposent pas de toutes les fonctions analytiques, ce qui signifie qu'ils dépendent d'autres services pour les fonctionnalités d'extraction, d'indexation, de transformation, de requête et d'analytique. Du point de vue de la gestion d'entreprise, les lacs de données présentent également trois autres défis :
1. Propriété difficile à définir La propriété des données contenues dans les lacs de données est complexe à définir lorsque de nombreux acteurs génèrent des données et y accèdent. En l'absence de rôles et de responsabilités clairement définis, le même ensemble de données peut être géré différemment par différentes parties, ce qui crée des incohérences et complique son utilisation. De même, d'autres données finissent par être négligées lorsqu'elles ne sont pas gérées activement par ceux qui les utiliseront en dernier ressort. De par son architecture, le maillage de données garantit que la gouvernance des données est clairement distribuée par domaine afin que chaque équipe ou expert du domaine puisse régir les données qu'il produit et utilise. Pour ce faire, les maillages de données utilisent également une structure de gouvernance fédérée qui permet de contrôler de manière centrale la modélisation des données, les politiques de sécurité et la conformité.
2. Qualité des données Les lacs de données peuvent ne pas garantir la qualité des données lorsque le volume de données devient trop important ou lorsque les principaux gestionnaires de données ne les comprennent pas eux-mêmes. L'architecture du maillage de données traite essentiellement les données comme un produit de valeur, ce qui place la qualité et l'exhaustivité des données au premier plan de la gestion des données. On peut supposer que chaque équipe connaît les critères et les priorités les plus importants qu'elle souhaite extrapoler à partir des données qu'elle collecte. En intégrant ces critères et ces priorités à l'architecture, le maillage de données peut contribuer à garantir la livraison continue et prioritaire de données propres, à jour et complètes, même lorsqu'il s'agit d'ensembles de données plus importants. Et, bien sûr, lorsque des algorithmes de Machine Learning sont appliqués, ces critères et les ensembles de données qui en résultent deviennent de plus en plus précis et utiles au fil du temps.
3. Goulets d'étranglement Les lacs de données peuvent créer des goulets d'étranglement en raison de leur architecture centralisée et de leurs processus et protocoles d'extraction de données traditionnellement complexes. Cela signifie généralement que le contrôle d'une grande quantité de données consolidées est confié à une seule équipe IT ou de gestion des données. Et, à mesure que les volumes de données (et la demande pour les extraire) augmentent, ces équipes IT se retrouvent surchargées.
En outre, les données doivent être révisées et structurées correctement pour garantir la conformité et le respect des principes de gouvernance des données. Lorsque l'on est soumis à une pression excessive, on peut avoir tendance à bâcler ces étapes liées à la conformité, ce qui entraîne des risques potentiels et des pertes pour l'entreprise. Toutefois, grâce à l'architecture du maillage de données, les utilisateurs autorisés peuvent contrôler les données dans lesquels ils ont un intérêt direct et y accéder, et ce à l'aide de protocoles de sécurité rigoureux et intégrés.
Le concept de maillage des données est né en réponse directe à ces défis croissants liés aux lacs de données. L'architecture de gestion des données, décentralisée et démocratisée, a rendu les entreprises plus intelligentes, plus agiles et plus précises en garantissant que les bonnes données sont immédiatement disponibles pour les bonnes personnes, partout et à tout moment. Grâce au maillage de données, les données en tant que produit deviennent réalité. Les obstacles sont réduits et la pertinence de l'information est hiérarchisée afin que les équipes puissent accéder plus rapidement et plus facilement aux données essentielles.
Explication de l'architecture de maillage de données
Nous avons vu que le maillage de données est une forme décentralisée d'architecture des données qui traite les données comme un outil essentiel de gestion d'entreprise. Par ailleurs, des équipes indépendantes sont chargées de traiter les données dans leurs domaines de travail et d'expertise, tout en assurant la conformité avec les pratiques de gestion des données déterminées au niveau central. C'est ce changement d'état d'esprit qui est au cœur du maillage de données.
Pour mieux comprendre le fonctionnement de ce système, il suffit de concevoir l'architecture du maillage de données comme étant composée de trois éléments principaux :
1. Les sources de données représentent le référentiel (comme un lac de données) au sein duquel les données brutes primaires sont acheminées. Qu'elles soient collectées à partir de réseaux IIoT dans le cloud, de formulaires de feedback des clients ou de données web récupérées, il s'agit des données brutes entrantes qui seront référencées et traitées en fonction des besoins par les utilisateurs à travers le réseau. Tandis qu'une approche de type « lac de données » permettrait d'acheminer toutes ces données vers un lieu central, la méthodologie de maillage des données répartit la responsabilité de la réception, du stockage, du traitement et de l'extraction de ces données brutes entre plusieurs responsables.
2. L'infrastructure du maillage de données signifie que l'information ne reste pas isolée au sein des différents départements, mais qu'elle peut également être partagée à volonté à travers le réseau opérationnel de l'organisation, tout en restant conforme aux lignes directrices établies en matière de gouvernance des données. C'est le résultat direct de deux des piliers clés du maillage de données : une plateforme de données en libre-service et une gouvernance fédérée. La plateforme de données en libre-service fournit les outils et l'infrastructure nécessaires à chaque domaine pour ingérer, transformer, traiter et servir leurs données de manière universelle. Parallèlement, les principes de gouvernance fédérée garantissent la standardisation à l'échelle de l'organisation, ce qui facilite l'interopérabilité des données entre toutes les équipes de domaine.
3. Les propriétaires de données constituent la composante finale d'un maillage de données et sont responsables de l'application des protocoles de conformité, de gouvernance et de catégorisation pour les données de leurs services. Par exemple, les dossiers RH doivent être conservés selon certains protocoles de sécurité ; ils ne doivent pas être utilisés à telle ou telle fin ; ils ne doivent être communiqués qu'à telle ou telle personne. Bien entendu, chaque service aura des catégories et des types de données propres à son activité ou à ses objectifs. Dans un système de lac de données, les équipes IT doivent gérer tous ces différents protocoles et catégories pour tous les propriétaires de données qui ont déposé des données dans le lac. En revanche, l'architecture de maillage de données confère aux propriétaires de domaine une autorité et un contrôle complets sur ces points car, une fois encore, qui mieux que les experts en la matière pour gérer leurs propres données et s'assurer qu'elles répondent aux normes de qualité ?
Le maillage des données en pratique : qui l'utilise et pourquoi
Pour que les solutions de gestion des données évoluent et deviennent plus performantes, elles doivent être utilisables et convenir à un large éventail d'applications et d'opérations. Au fur et à mesure que l'architecture de maillage des données et la convivialité s'améliorent, nous constatons que de plus en plus de fonctions métier peuvent être optimisées grâce à une approche sécurisée et distribuée des données en tant que produit et en tant qu'outil.
Voici quelques cas d'utilisation courants :
Ventes : pour les équipes de vente, tout se résume à l'acquisition, à la maturation et à la finalisation des pistes. Plus les membres de votre équipe de vente passent de temps à effectuer des tâches administratives, moins ils ont le temps de nouer des relations avec de nouveaux clients. Grâce à l'architecture de maillage des données, les utilisateurs de l'équipe de vente n'ont pas besoin d'être des experts en gestion et en extraction de données pour avoir à portée de main les ensembles et les combinaisons de données les plus puissants et les plus pertinents. Lorsque les équipes de vente disposent de toutes les données appropriées à analyser, cela se traduit par des insights et des stratégies plus exploitables.
Supply Chain et logistique : les Supply Chains modernes sont exposées à un très grand nombre de disruptions. Les entreprises peuvent acquérir un avantage concurrentiel lorsqu'elles sont capables de s'adapter rapidement et de réagir avec la même agilité aux menaces et aux opportunités qui se présentent à elles. Aujourd'hui, les données issues des Supply Chains mondiales sont abondantes et rapides : retours clients, réseaux IIoT, jumeaux numériques, etc. Lorsque des gestionnaires de la Supply Chain expérimentés et avisés sont eux-mêmes capables d'analyser et d'approfondir ces ensembles de données en temps réel, les entreprises disposent alors d'une source puissante d'insights et d'expertise.
Production : dans le cadre de la Supply Chain, les opérations de production d'une entreprise sont tout aussi vulnérables aux changements rapides du marché et à la volatilité des exigences des clients. Par le passé, les équipes de conception et de R&D devaient s'appuyer sur les données historiques des clients, qui leur étaient fournies par d'autres services. Aujourd'hui, le maillage de données offre un accès en temps réel aux données aux travailleurs de bureau, aux équipes de R&D et de test, et même à l'atelier de production. Les commentaires des clients en temps réel peuvent éclairer le développement des produits en un instant, et les informations de dernière minute provenant des réseaux IIoT et des simulations numériques peuvent aider les usines à fonctionner de manière plus sûre, plus rapide et plus efficace.
Marketing : les demandes et les attentes des clients façonnent l'avenir et évoluent à un rythme sans précédent. Une marque a généralement une multitude de points de contact avec les consommateurs sur les réseaux sociaux, les publicités numériques ciblées et les portails d'achat en ligne et omnicanal. Le marché actuel est caractérisé par un désir croissant de personnalisation rapide, par des cycles de vie des produits plus courts et par des niveaux de choix et de concurrence énormes. Pour comprendre et exploiter ces tendances, les spécialistes modernes du marketing doivent avoir un accès simultané et en temps réel à une grande variété d'ensembles de données. Dans le passé, cela signifiait qu'il fallait demander ces données à d'autres services, et attendre. Avec une configuration de maillage de données, cependant, les spécialistes du marketing peuvent sélectionner ces données et y accéder en temps réel, selon leurs propres conditions.
Ressources humaines : les équipes RH doivent gérer de grandes quantités de données extrêmement complexes et sensibles. Et avec la tendance croissante à travailler à distance et de manière hybride, ces données deviennent chaque jour plus compliquées et géographiquement plus diverses. Sans parler de l'évolution constante des questions juridiques et de conformité que les équipes RH doivent impérativement maîtriser. De l'embauche à la retraite, les responsables RH doivent être en mesure de valider, d'évaluer et d'analyser certains des ensembles de données les plus disparates qui existent. L'architecture de maillage des données permet de mettre en place les protocoles de sécurité appropriés et de restreindre étroitement l'accès, tout en permettant aux utilisateurs RH autorisés d'accéder aux données et aux informations rapidement et sans dépendre de protocoles internes complexes et de procédures bureaucratiques multiservices.
Fonction Finance : tout comme les RH, les fonctions Finance et de comptabilité sont également responsables de données extrêmement cruciales et sensibles. Les systèmes ERP modernes révolutionnent la finance en utilisant la technologie des bases de données In-Memory pour personnaliser les rapports, les analyses et les projections les plus récents. Pourtant, même lorsque les équipes Finance utilisent les meilleures bases de données et les meilleurs ERP, elles restent souvent en proie à des cultures rigides et anciennes, à des silos lourds et à des processus bureaucratiques obsolètes. L'architecture de maillage de données apporte un changement fondamental dans la façon dont les données financières sont considérées et gérées, et peut même bousculer la pensée stagnante qui peut apparaître lorsque les équipes ont l'occasion de réviser leurs processus de gestion des données vieillissants.
Il est évident que le maillage de données n'est pas qu'un mot à la mode et qu'il s'agit d'une tendance de stratégie des données qui doit être prise au sérieux. Les entreprises de toutes tailles et de tous secteurs utilisent le maillage de données afin de trouver des moyens d'utiliser les données pour générer des insights et de la valeur.
Avantages d'un maillage de données
Les bases de données héritées du passé et les infrastructures limitées de gestion des données ont contribué à donner l'impression que les données devaient être conservées dans un seul coffre-fort et distribuées à la discrétion de quelques gestionnaires de données. Aujourd'hui, les données sont le carburant de votre entreprise, et elles doivent être confiées sans restriction aux spécialistes qui savent le mieux comment les exploiter et générer des bénéfices en temps de concurrence.
Voici un résumé des principaux avantages d'une architecture de maillage de données :
Amélioration de l'accessibilité des données. Le maillage de données garantit que toutes les personnes appropriées au sein de votre organisation peuvent accéder aux données dont elles ont besoin et ainsi donner le meilleur d'elles-mêmes.
Amélioration des capacités analytiques. Lorsque les données sont considérées comme un produit à utiliser au quotidien, les équipes commencent à adopter une approche de la planification et de la stratégie fondée sur les données. Cela permet de réduire les erreurs et d'adopter une approche du développement plus objective et moins biaisée.
Processus et pipelines de données personnalisables. De nombreux projets, parmi les meilleurs et potentiellement les plus rentables, sont mis de côté en raison de l'énorme difficulté à rassembler les ensembles de données uniques et personnalisées nécessaires à leur réussite. Avec un maillage de données, les équipes peuvent rapidement accéder à de nouveaux modèles de projet et les tester sans perte de temps ou de ressources.
Réduction des goulets d'étranglement. C'est une situation gagnant-gagnant pour les équipes IT et les propriétaires de données. En outre, en réduisant une source de frustration et d'énervement, les entreprises peuvent contribuer à briser les silos qui font obstacle à un développement sain.
Moins de pression sur les équipes centrales de gestion des données. Non seulement les retards et les frustrations sont réduits, mais en plus vos équipes IT talentueuses peuvent consacrer un nombre d'heures incalculables à des activités plus ciblées, plus intéressantes et plus rentables.
FAQ sur le maillage de données
Les solutions SAP de gestion des données et d'analytique
Identifiez, analysez et transformez les données les plus pertinentes de votre entreprise.
Idées que vous ne trouverez nulle part ailleurs
Inscrivez-vous pour recevoir une dose de Business Intelligence directement dans votre boîte de réception.