מהי רשת נתונים?
Data Mesh היא גישה לניהול נתונים המשתמשת במסגרת ארכיטקטונית מבוזרת.
סקירת רשת נתונים
רשת נתונים מייצגת דרך חדשה להסתכל על מידע. נולדת מהתפיסה הצומחת שנתונים הם בעצם עצמם מוצר, כלי, אמצעי עד הסוף – לא פשוט משהו שעסקים מתאספים ומנתחים מאוחר יותר בניסיון במבט לאחור להבין דברים שכבר קרו.
הגדרת רשת נתונים
Data Mesh היא גישה לניהול נתונים המשתמשת במסגרת ארכיטקטונית מבוזרת. במילים אחרות: היא מפיצה בעלות ואחריות על ערכות נתונים ספציפיות ברחבי העסק, לאותם משתמשים שיש להם מומחיות מומחית להבין מה המשמעות של הנתונים וכיצד לעשות בהם את השימוש הטוב ביותר.
ארכיטקטורת Data Mesh מחברת ושואבת נתונים ממקורות שונים כמו אגמי נתונים ומחסנים ומפיצה את ערכות הנתונים הרלוונטיות למומחי האדם ולצוותי התחום המתאימים ברחבי העסק. בעיקרון, קפיצת נפח של נתונים באגם נתונים מרכזי ממוינת ומופצת לנתחים הניתנים לניהול לאלה המתאימים ביותר להבנה ולמנף אותם.
עקרונות Data Mesh לאתגרים של אגם נתונים
כשאנחנו מדברים על אגמי נתונים ושרשת נתונים, אנחנו בעצם מדברים על Big Data. מה שהופך את הנתונים ל"גדולים" זה לא פשוט הנפח העצום שלו. בין היתר, ביג דאטה מוגדר גם על ידי היותו מורכב, משתנה, נוצר במהירות ולא מובנה.
בסיס נתונים לינארי הוא כמו גיליון אלקטרוני: יש בו עמודות ושורות וקטגוריות לא ניתנות לשינוי שעבורן כל רכיבי הנתונים חייבים להתאים. חלק מהנתונים הנוצרים ממקורות מיכון, חיישנים ותעשייתיים מובנים ומתאימים באופן טבעי למסד נתונים לינארי. לא משנה עם כמה נפח נתונים עליך להתמודד, אם הוא מובנה ב-100% הוא לא עומד בקריטריונים של Big Data וניתן לשכנו בבסיס נתונים ליניארי, מה שהופך אותו לישיר יחסית לסינון ולשליפה.
אבל יותר ויותר, ביג דאטה המודרני אינו מובנה ומורכב מרכיבים חזותיים, טקסט בעל קצה פתוח ואפילו וידאו ומדיה עשירה. נתונים קריטיים אלה יכולים להכיל אלפי טרה-בייט של מידע עבור חברות רבות, ולא ניתן לאחסן אותם פשוט בבסיס נתונים ליניארי תקני.
הזן את אגם הנתונים. ככל שנפחי ביג דאטה החלו לגדול, פותחו אגמי נתונים כמקום בו ניתן היה לאחסן נתונים מורכבים ב ולגשת אליו ממאגר מרכזי בפורמט הגולמי שלו. בעוד אגמי המידע מייצגים פתרון מצוין לבעיית Big Data, יש להם בכל זאת חולשות. באגמי נתונים חסרים מאפיינים אנליטיים מסוימים, מה שהופך אותם לתלויים בשירותים אחרים לאחזור, מפתוח, טרנספורמציה, שאילתה ופונקציונאליות של כלי ניתוח. ומנקודת מבט של ניהול עסקי, אגמי נתונים מציגים גם שלושה אתגרים נוספים:
1. בעלות מורכבת בעלות על אגמי נתונים היא מורכבת להגדרה כאשר יותר מדי שחקנים מייצרים ומגישים נתונים. בהיעדר תפקידים ותחומי אחריות שהוגדרו בבירור, ניתן לנהל את אותו סט נתונים באופן שונה על-ידי גורמים שונים, וליצור מקרים של חוסר עקביות שמקשים על השימוש בהם. כמו כן, נתונים אחרים מוזנחים כאשר הם אינם מנוהלים באופן פעיל על ידי מי שישתמש בהם בסופו של דבר. ארכיטקטורת Data Mesh מבטיחה שפיקוח על נתונים מופץ באופן ברור לפי תחום, כך שכל צוות או מומחה בתחום ישלטו בנתונים שהם מייצרים ומשתמשים בהם. כדי לגבות זאת, שירותי Data Meshes משתמשים גם במבנה פיקוח מאוחד כדי לאפשר בקרה מרכזית גם על עיצוב נתונים, מדיניות אבטחה ותאימות.
2. איכות נתונים אגמי נתונים יכולים להיכשל בהבטחת איכות הנתונים כאשר נפח הנתונים הופך גדול מדי או כאשר מנהלי הנתונים המרכזיים עצמם לא מבינים זאת. ארכיטקטורת Data Mesh מתייחסת באופן מהותי לנתונים כמוצר בעל ערך, שמעמיד את האיכות והשלמות של הנתונים בחזית ניהול הנתונים. ככל הנראה, כל צוות מכיר את הקריטריונים והנושאים החשובים ביותר אותם מבקשים להוציא מתוך הנתונים שהם אוספים. על-ידי שילוב קריטריונים ועדיפויות אלה בארכיטקטורה, רשת נתונים יכולה לסייע להבטיח אספקה רציפה ומועדפת של נתונים מלאים, טריים ונקיים, גם כאשר מעורבים סטים גדולים יותר של נתונים. וכמובן, כאשר אלגוריתמים של למידת מכונה מיושמים, קריטריונים אלה וסטים של נתונים מתוגברים נעשים מדויקים ומועילים יותר ויותר לאורך זמן.
3. צווארי בקבוק אגמי נתונים יכולים ליצור צווארי בקבוק בגלל הארכיטקטורה המרוכזת שלהם ותהליכי אחזור המידע והפרוטוקולים הקשים באופן מסורתי. משמעות הדבר היא בדרך כלל שהבקרה על כמות גדולה של נתונים מאוחדים יורדת לצוות IT או ניהול נתונים יחיד. כמו שנפח הנתונים (והביקוש לשליפתו) גדל, צוותי IT אלה מקבלים מיסוי יתר.
יתר על כן, יש לסקור את הנתונים ולבנות אותם כראוי כדי להבטיח תאימות ודבקות בעקרונות הפיקוח על הנתונים. כאשר עומדים בפני לחץ בלתי סביר, יכולה להיות נטייה להזדרז בשלבי תאימות אלו אשר מייצרים סיכון פוטנציאלי ואובדן לחברה. ארכיטקטורת Data Mesh, לעומת זאת, מעניקה גישה ובקרה למשתמשים ייעודיים מורשים שיש להם עניין רב יותר בנתונים - כל זאת תוך שימוש בפרוטוקולי אבטחה מחמירים וחביבים.
עקרונות Data Mesh התעוררו כתגובה ישירה לאתגרים הצומחים של אגם הנתונים. ארכיטקטורת ניהול נתונים מבוזרת ודמוקרטית הפכה את העסקים לחכמים יותר, זריזים יותר ומדויקים יותר בכך שהם מבטיחים שהנתונים הנכונים זמינים מיידית לאנשים הנכונים, בכל מקום ובכל פעם שהם זקוקים להם. Data Mesh הופך את Data as-a-product למציאות בפועל, מה שמפחית מחסומים ומתעדף את ערך המידע כך שהצוותים יוכלו לקבל גישה מהירה יותר ולא מובנית לנתונים חיוניים.
ארכיטקטורת רשת נתונים הוסברה
דנו כיצד רשת נתונים היא צורה מבוזרת של ארכיטקטורת נתונים המתייחסת לנתונים ככלי ניהול עסקי חיוני. וחשוב מכך, צוותים עצמאיים אחראים על טיפול בנתונים בתחומי העבודה והמומחיות שלהם, תוך הבטחת תאימות עם פרקטיקות ניהול נתונים שנקבעו באופן מרכזי. שינוי זה בדפוס החשיבה הוא בליבת רשת נתונים.
כדי להבין טוב יותר כיצד זה מושלם, אנחנו יכולים להציג את ארכיטקטורת רשת הנתונים כבעלת שלושה רכיבים עיקריים:
1. מקורות נתונים מייצגים את המאגר (כמו אגם נתונים) שאליו מוזנים הנתונים הגולמיים העיקריים. בין אם היא נאספת מרשתות IIoT בענן, טופסי משוב של לקוחות או נתוני אינטרנט שנגזרו, אלה נתוני הקלט הגולמיים שיופנו ויעובדו לפי הצורך על ידי משתמשים ברחבי הרשת. בעוד שגישת אגם נתונים משפרת את כל הנתונים האלה למקום מרכזי אחד, מתודולוגיית Data Mesh מפיצה במקום זאת את האחריות על צריכה, אחסון, עיבוד ושליפה של נתונים גולמיים אלה בתוך סדרה של תחומים אחראיים.
2. תשתית Data Mesh משמעה שמידע זה אינו מבודד רק בתוך תחומים מחלקתיים יחידים, אך ניתן לשתף אותו גם ב- בכל הרשת התפעולית של הארגון, תוך שמירה על תאימות להנחיות מבוססות של פיקוח נתונים. זוהי תוצאה ישירה של שניים מעמודי התווך המרכזיים של רשת נתונים: פלטפורמת נתונים בשירות עצמי, וממשל מאוחד. פלטפורמת הנתונים בשירות עצמי מספקת כלים ותשתיות הדרושים לכל תחום כדי להפוך, לבצע טרנספורמציה, לעבד ולשרת את הנתונים שלהם באופן אוניברסלי. בינתיים, עקרונות הממשל המאוחד מבטיחים תקנון ברחבי הארגון, ומאפשר יכולת פעולה הדדית של נתונים ללא מאמץ בין כל צוותי התחום.
3. אחראים על נתונים הם הרכיב הסופי של רשת נתונים והם אחראים להחלת הפרוטוקולים של תאימות, פיקוח וסיווג עבור נתוני המחלקות שלהם. לדוגמה, יש לאחסן קובצי משאבי אנוש באמצעות פרוטוקולים מסוימים של אבטחה, אין להשתמש בהם למטרה זו או למטרה זו, יש לשחרר אותם לאדם מסוג Such-and מסוג זה בלבד. כמובן שלכל מחלקה יהיו קטגוריות וסוגי נתונים ייחודיים למחלקה או למטרות שלהם. במערכת אגם נתונים, צוותי IT חייבים להתמודד עם כל הפרוטוקולים השונים האלה וקטגוריות עבור כל בעלי הנתונים השונים שזרקו חומרים לתוך האגם. בעוד שארכיטקטורת Data Mesh מעניקה לבעלי המתחם סמכות מלאה ושליטה בעניינים אלה, כי שוב, מי שטוב יותר ממומחי תחום נושא לנהל את הנתונים שלהם ולהבטיח שהם יעמדו בתקני האיכות.
רשת נתונים בפועל: מי משתמש בו ומדוע
כדי שפתרונות ניהול נתונים יתפתחו ויהיו מוצלחים יותר, הם צריכים להיות שמישים ורלוונטיים עבור מגוון רחב של יישומים ופעולות. ככל שארכיטקטורת Data Mesh וידידות המשתמשים משתפרים, אנו רואים מגוון מוגבר של פונקציות של עסקים שניתן להרחיב אותן עם גישה מאובטחת ומפיצה לנתונים כמוצר וככלי.
הנה כמה מקרי שימוש עסקיים נפוצים:
מכירות: עבור צוותי מכירות, הכל מגיע עד רכישת, טיפוח וסגירת לידים. ככל שחברי צוות המכירות מבלים במוקדים שלהם, כך יהיה להם פחות זמן לבנות קשרים עם לקוחות חדשים. עם ארכיטקטורת רשת נתונים, משתמשי צוות מכירות לא צריכים להיות מומחי אחזור וניהול נתונים כדי שיהיו להם סטי נתונים ושילובים חזקים ורלוונטיים ביותר בקצות האצבעות שלהם. כאשר למחלקות מכירות יש את כל הנתונים הנכונים לנתח, הם מתורגמים לתובנות ואסטרטגיות ישימות יותר.
שרשרת אספקה ולוגיסטיקה: שרשראות אספקה מודרניות פגיעות לטווח עצום של שיבושים. יתרון תחרותי מגיע כאשר חברות יכולות לסגת במהירות ולהגיב גם לאיומים וגם להזדמנויות בזריזות שווה. נתוני שרשרת האספקה הגלובליים של היום מגיעים בעובי ובמהירות – החל במשוב לקוחות, וכלה ברשתות IIoT , ותאומים דיגיטליים. כאשר מנהלים מנוסים ובעלי שרשרת אספקה מנוסים מסוגלים בעצמם לבצע קיצוץ והרחבה של כל סטי הנתונים הללו בזמן אמת, עסקים מקבלים מקור חזק של תובנה ואקומן.
ייצור: כחלק משרשרת האספקה, פעולות הייצור של חברה פוגעות באותה מידה בשינויי שוק מהירים ובביקושים נדיפים של לקוחות. בעבר, צוותי עיצוב ומו"פ יצטרכו להסתמך על נתוני לקוחות היסטוריים, המוזנים להם ממחלקות אחרות. כיום, רשת הנתונים מביאה גישה לנתונים חיים למשתמשים מאחורי טבלת הטיוטה, בצוותי בדיקה ו-R&D, וכל הדרך לרצפת הייצור. משוב לקוחות בזמן אמת יכול ליידע את פיתוח המוצר באופן מיידי ועדכני יותר מרשתות IIoT והדמיות דיגיטליות יכול לסייע למפעלים לפעול בצורה בטוחה יותר, מהירה יותר ויעילה יותר.
שיווק: כיום, הביקושים והציפיות של הלקוחות מעצבים את העתיד ומשתנים וצומחים בקצב חסר תקדים. למותג יחיד יש בדרך כלל מספר נקודות מגע של צרכנים בכל המדיה החברתית, מודעות דיגיטליות ממוקדות ופורטלי קניות מקוונים ומעוררי ערוצים. השוק הנוכחי רואה את הרצון הגובר להתאמה אישית מהירה, מחזורי חיים קצרים יותר של מוצרים, ורמות עצומות של בחירה ותחרות. כדי להבין ולמנף מגמות אלו, משווקים מודרניים צריכים להיות בעלי גישה בזמן אמת ובסימולטנית למגוון רחב של סטים של נתונים. בעבר, הכוונה היא לבקש (ולהמתין) נתונים אלה ממחלקות אחרות. עם הגדרת רשת נתונים, עם זאת, משווקים יכולים לקעקע ולגשת לנתונים אלה ברגע, לפי התנאים שלהם.
משאבי אנוש: על צוותי משאבי האנוש לנהל כמויות גדולות של נתונים מורכבים ורגישים במיוחד. ועם המגמה ההולכת וגוברת לכיוון מקומות עבודה נידחים והיברידיים, הנתונים מסתבכים יותר ומגוונים גאוגרפית מדי יום. אין להזכיר את הסט המשתנה מתמיד של בעיות תאימות וסוגיות משפטיות שצוותי משאבי אנוש חייבים להישאר כל כך בדחיפות בראש. מגיוס ועד פרישה, מנהיגי משאבי אנוש חייבים להיות מסוגלים לאמת, להעריך ולנתח חלק מסטי הנתונים הנרחבים ביותר בכל ארגון. ארכיטקטורת Data Mesh מאפשרת פרוטוקולי אבטחה מתאימים וגישה מוגבלת באופן הדוק - ובמקביל מאפשרת למשתמשי משאבי אנוש לגשת לנתונים ולמידע במהירות וללא תלות בפרוטוקולים פנימיים מורכבים ובבירוקרטיה רב מחלקתית.
כספים: כמו משאבי אנוש, צוותי כספים וחשבונאות אחראים גם על נתונים חיוניים ורגישים מאוד. מערכות ERP מודרניות יוצרות מהפכה בכספים, תוך שימוש בטכנולוגיית בסיס נתונים בזיכרון כדי להתאים אישית דוחות, ניתוחים ותכנונים עדכניים. עם זאת, גם כאשר צוותי הכספים משתמשים במאגרי המידע הטובים ביותר ובמאגרי המידע הטובים ביותר, לעיתים קרובות הם מתמודדים עם מכשולים משום שהם מצוידים בתרבויות ארוכות ונוקשות, סילונים כבדים, ותהליכים בירוקרטיים, ישנים. ארכיטקטורת Data Mesh מביאה שינוי מהותי באופן שבו הנתונים הפיננסיים נראים ומנוהלים – ויכולים אפילו להתנער מחשיבה מדוקדקת שיכולה לקרות כאשר לצוותים יש הזדמנות להיות בבעלותם ולשנות את תהליכי נתוני ההזדקנות שלהם.
ברור ש-Data Mesh היא לא רק עוד מילת באזז והיא מגמת אסטרטגיית נתונים שצריך להתייחס אליה ברצינות. חברות בכל הגדלים והתעשיות משתמשות ברשת נתונים, ומחפשות דרכים להשתמש בנתונים כדי ליצור תובנות וערך.
יתרונות רשת נתונים
בעבר, בסיסי נתונים מדור קודם ותשתיות מוגבלות של ניהול נתונים תרמו לכך שנתונים הם דבר שיש להחזיק בכספת אחת ומוטטים לפי שיקול דעתם של כמה מנהלי נתונים. כעת, הנתונים הם הדלק שמניע את העסק שלכם, וצריך לתת אותם בחופשיות למומחים מהנושאים שיודעים הכי טוב איך להפוך אותו לעבודה ולהניע רווח בזמנים תחרותיים.
ניתן לסכם את היתרונות העיקריים של ארכיטקטורת Data Mesh כך:
נגישות נתונים מוגברת. Data Mesh מוודאת שכל האנשים הנכונים ברחבי הארגון שלך יכולים לגשת לנתונים שהם צריכים - כדי להיות הטובים ביותר במשרותיהם.
יכולות ניתוח משופרות. כאשר מסתכלים על נתונים כמוצר לשימוש כל יום, צוותים מתחילים לנקוט בגישה נתונים ראשונה לתכנון ואסטרטגיה. זה מוביל לירידה בשגיאות וגישה אובייקטיבית יותר, פחות מוּדחת, לפיתוח עסקי.
תהליכים וצינורות נתונים הניתנים להתאמה אישית. רבים מהפרויקטים הטובים והרווחיים ביותר נגנבים עקב ההקלה העצומה של צמצום מערכי הנתונים הייחודיים והמותאמים אישית הדרושים להצלחה. באמצעות רשת נתונים, צוותים יכולים לגשת ולבחון במהירות מודלים חדשים של פרויקטים ללא אובדן זמן או משאבים מסורתיים.
ניתן להפחית צווארי בקבוק. זהו ניצחון/ניצחון ברור עבור צוותי IT ובעלי נתונים. יתר על כן, על ידי צמצום מקור של עסקי תסכול וקירוי יכולים לסייע בפירוק סילונים העומדים בדרך של פיתוח עסקי בריא.
מתח מופחת בצוותים מרכזיים של ניהול נתונים. זה אומר לא רק להפחית צבר ותסכול, אלא גם לשחרר אינספור שעות עבור צוותי ה-IT המוכשרים שלך כדי להקדיש למטרה מיוחדת, מעניינת ורווחית יותר.
שאלות נפוצות של Data Mesh
רעיונות שלא תמצא בשום מקום אחר
הירשם למנה של בינה עסקית ישירות לתיבת הדואר הנכנס שלך.