Что такое сетка данных?
Сетка данных — это подход к управлению данными, использующий распределенную архитектуру.
Обзор сетки данных
Сетка данных представляет собой новый способ просмотра информации. В основе растущей концепции лежит тот факт, что данные сами по себе являются продуктом, инструментом, средством достижения цели, а не просто чем-то, что компании собирают и анализируют позже, пытаясь понять, что уже произошло.
Определение сетки данных
Сетка данных — это подход к управлению данными, использующий распределенную архитектуру. Другими словами, она распределяет ответственность за определенные наборы данных по всей компании, тем пользователям, которые обладают специальными знаниями, чтобы понять, что означают эти данные и как их наилучшим образом использовать.
Архитектура сетки данных соединяет и извлекает данные из различных источников, таких как озера и хранилища данных , и распределяет релевантные наборы данных соответствующим экспертам по персоналу и группам специалистов по всей компании. По сути, объемная совокупность данных в центральном озере данных сортируется и распределяется по управляемым блокам по наиболее подходящим для понимания и использования.
Принципы сетки данных для проблем с озером данных
Когда мы говорим о озерах данных и сетке данных, мы, по сути, говорим о больших данных. То, что делает данные «большими», — это не просто их огромный объем. Среди прочих критериев большие данные также определяются как сложные, переменные, быстро генерируемые и неструктурированные.
Линейная база данных похожа на электронную таблицу: она содержит столбцы, строки и неизменяемые категории, в которые должны помещаться все компоненты данных. Некоторые данные, получаемые из машин, датчиков и промышленных источников, структурированы и аккуратно вписываются в линейную базу данных. Независимо от объема данных, если они структурированы на 100%, они не соответствуют критериям больших данных и могут быть размещены в линейной базе данных, что делает фильтрацию и экстракцию относительно простой.
Однако современные большие данные все чаще являются неструктурированными и состоят из визуальных компонентов, открытого текста и даже видео и мультимедиа. Эти важные данные могут содержать тысячи терабайт информации для многих компаний и просто не могут храниться в стандартной линейной базе данных.
Введите озеро данных. По мере того, как объемы больших данных начали увеличиваться, озера данных были разработаны как место, в котором сложные данные могли храниться в центральном репозитории в необработанном формате и получать к ним доступ. Хотя озера данных представляют собой отличное решение проблемы больших данных, у них, тем не менее, есть слабые места. Озёрам данных не хватает определенных аналитических функций, что делает их зависимыми от других сервисов для извлечения, индексации, трансформации, запросов и аналитики. С точки зрения управления бизнесом, озера данных также представляют три дополнительные проблемы:
1. Комплексная собственность Владение озерами данных сложно для определения случаев, когда слишком много игроков создают данные и получают к ним доступ. В отсутствие четко определенных ролей и обязанностей один и тот же набор данных может по-разному управляться разными сторонами, что приводит к противоречиям, которые затрудняют его использование. Аналогичным образом, другие данные игнорируются, когда ими активно не управляют те, кто в конечном итоге будет ими пользоваться. Архитектура сетки данных обеспечивает четкое распределение данных по доменам, чтобы каждая команда или эксперт по домену управляли данными, которые они производят и используют. Для этого в сетках данных также используется объединенная структура управления, позволяющая централизованно управлять моделированием данных, политиками безопасности и соответствием.
2. Качество данных Озера данных могут не обеспечить качество данных, если объем данных становится слишком большим или центральные менеджеры данных не понимают их. Архитектура сетки данных фундаментально рассматривает данные как ценный продукт, что ставит качество и полноту данных на передний план управления данными. Предположительно, каждая группа знает наиболее важные критерии и вопросы, которые они хотят экстраполировать из собираемых данных. Интегрируя эти критерии и приоритеты в архитектуру, сетка данных может помочь обеспечить непрерывную и приоритетную поставку чистых, свежих и полных данных даже при наличии больших наборов данных. И, конечно же, при применении алгоритмов машинного обучения эти критерии и результирующие наборы данных со временем становятся все более точными и полезными.
3. Узкие места Озера данных могут создавать узкие места из-за их централизованной архитектуры и традиционно сложных процессов и протоколов извлечения данных. Как правило, это означает, что контроль большого объема консолидированных данных передается в единую группу ИТ или отдела управления данными. По мере увеличения объема данных (и спроса на их извлечение) эти ИТ-команды перегружаются.
Кроме того, данные должны быть проверены и структурированы должным образом, чтобы обеспечить соответствие и соблюдение принципов управления данными. При неоправданном давлении может возникнуть тенденция спешить через эти этапы соответствия, которые порождают потенциальный риск и убытки для компании. Архитектура сетки данных, с другой стороны, предоставляет доступ и контроль авторизованным специализированным пользователям, которые имеют большую корыстную заинтересованность в данных, при этом применяя строгие, закрытые протоколы безопасности.
Принципы сетки данных возникли непосредственно в ответ на эти растущие проблемы с озером данных. Децентрализованная и демократичная архитектура управления данными сделала компании более интеллектуальными, гибкими и точными, обеспечивая оперативный доступ к нужным данным нужным людям в любое время и в любом месте. Сетка данных превращает данные в продукт в реальность, снижая барьеры и определяя приоритетность ценности информации, чтобы команды могли быстрее и беспрепятственно получать доступ к важным данным.
Описание архитектуры сетки данных
Мы обсудили, как сетка данных является децентрализованной формой архитектуры данных, которая рассматривает данные как важный инструмент управления бизнесом. И, что важно, независимые команды отвечают за обработку данных в рамках своей работы и опыта, сохраняя при этом соблюдение централизованных практик управления данными. Это изменение образа мышления лежит в основе сетки данных.
Чтобы лучше понять, как это делается, мы можем рассматривать архитектуру сетки данных как имеющую три основных компонента:
1. Источники данных представляют собой репозитарий (например, озеро данных), в который передаются первичные необработанные данные. Независимо от того, собираются ли они из облачных сетей IIoT, форм обратной связи от клиентов или очищенных веб-данных, это необработанные входные данные, на которые будут ссылаться и обрабатывать при необходимости пользователи по всей сети. В то время как подход на базе озера данных объединяет все эти данные в одном центральном месте, методология сетки данных вместо этого распределяет ответственность за поступление, хранение, обработку и экстракцию этих необработанных данных в серии ответственных доменов.
2. Инфраструктура сетки данных означает, что эта информация не только изолирована в отдельных отделах, но и может передаваться по собственному желанию в рамках операционной сети организации и при этом соответствовать установленным директивам по управлению данными. Это является прямым результатом двух ключевых компонентов сетки данных: платформа данных с самообслуживанием и федеративное управление. Платформа данных с самообслуживанием предоставляет инструменты и инфраструктуру, необходимые каждому домену для повсеместного получения, преобразования, обработки и обслуживания своих данных. Между тем, федеративные принципы управления обеспечивают стандартизацию в масштабе всей организации, обеспечивая легкую совместимость данных между всеми доменными группами.
3. Владельцы данных являются конечным компонентом сетки данных и отвечают за применение протоколов соответствия, управления и категоризации данных своих отделов. Например, файлы HR должны храниться с использованием определенных протоколов безопасности, они не должны использоваться для той или иной цели, они должны быть деблокированы только для такого лица. Конечно, каждый отдел будет иметь категории и типы данных, уникальные для их отдела или целей. В системе озера данных ИТ-команды должны установить все эти различные протоколы и категории для всех владельцев данных, сбросивших данные в озеро. В то время как архитектура сетки данных дает владельцам доменов полный контроль над этими вопросами, потому что опять же, кто лучше, чем эксперты предметной области, управлять своими собственными данными и гарантировать, что они соответствуют стандартам качества.
Сетка данных на практике: кто ее использует и почему
Чтобы решения по управлению данными развивались и становились более успешными, они должны быть пригодными и релевантными для широкого спектра приложений и операций. По мере улучшения архитектуры и удобства работы с сеткой данных мы наблюдаем увеличение спектра бизнес-функций, которые можно расширить с помощью безопасного и распределенного подхода к данным как к продукту и инструменту.
Вот несколько распространенных бизнес-сценариев использования:
Продажи. Для отделов продаж все сводится к приобретению, взращиванию и закрытию потенциальных возможностей. Чем больше времени сотрудники отдела продаж тратят на выполнение административных задач, тем меньше времени им приходится выстраивать отношения с новыми клиентами. Благодаря архитектуре сетки данных пользователям отдела продаж не нужно быть экспертами по управлению данными и извлечению данных, чтобы иметь под рукой самые мощные и релевантные наборы данных и комбинации. Когда отделы продаж имеют все необходимые данные для анализа, они преобразуются в более полезные сведения и стратегии.
Цепочка поставок и логистика. Современные логистические цепочки уязвимы перед лицом огромных перебоев. Конкурентное преимущество заключается в том, что компании могут быстро меняться и реагировать на угрозы и возможности с одинаковой гибкостью. Сегодня глобальные данные о цепочке поставок поступают очень быстро — от обратной связи с клиентами до сетей IIoT и цифровых двойников. Когда опытные и опытные менеджеры по управлению цепочками поставок самостоятельно получают доступ к любым из этих наборов данных в режиме реального времени, компании получают мощный источник информации и проницательности.
Производство. В рамках цепочки поставок производственные операции компании в равной степени уязвимы для быстрых изменений рынка и изменчивых потребностей клиентов. В прошлом отделам проектирования и исследований и разработок приходилось полагаться на исторические данные о клиентах, поступающие из других отделов. Сегодня сетка данных предоставляет пользователям доступ к актуальным данным за черновой таблицей, в группах исследований и разработок и тестирования, а также до производственного участка. Обратная связь от клиентов в реальном времени позволяет мгновенно получать информацию о разработке продукции, а актуальные сведения от сетей IIoT и цифрового моделирования помогают заводам работать безопаснее, быстрее и эффективнее.
Маркетинг. Сегодня потребности и ожидания клиентов определяют будущее, меняются и растут беспрецедентными темпами. Единый бренд, как правило, имеет множество точек взаимодействия с потребителями в социальных сетях, таргетированную цифровую рекламу, а также онлайн-и омниканальные торговые порталы. На нынешнем рынке наблюдается растущее стремление к быстрой кастомизации, более коротким жизненным циклам продуктов, а также огромный уровень выбора и конкуренции. Для понимания и использования этих тенденций современные маркетологи должны иметь одновременный доступ в реальном времени к широкому спектру наборов данных. В прошлом это означало запрос (и ожидание) этих данных из других отделов. Однако при настройке сетки данных маркетологи могут управлять этими данными и получать к ним доступ на собственных условиях.
Управление персоналом: отделы кадров должны управлять большими объемами чрезвычайно сложных и конфиденциальных данных. В связи с растущей тенденцией к удаленным и гибридным рабочим местам эти данные с каждым днем становятся все более сложными и географически разнообразными. Не говоря уже о постоянно меняющемся наборе нормативно-правовых вопросов, которые отделы кадров должны в срочном порядке держать в курсе. От приема на работу до выхода на пенсию руководители кадровых служб должны иметь возможность проверять, оценивать и анализировать некоторые из самых разрозненных наборов данных в любой организации. Архитектура сетки данных обеспечивает соответствующие протоколы безопасности и жестко ограниченный доступ, в то же время позволяя авторизованным пользователям отдела кадров быстро получать доступ к данным и информации без зависимости от сложных внутренних протоколов и бюрократии с несколькими отделами.
Финансы. Как и в случае с отделом кадров, отделы финансов и бухгалтерии также несут ответственность за чрезвычайно важные и конфиденциальные данные. Современные ERP-системы радикально меняют подходы к управлению финансами, используя технологию базы данных in-memory для настройки актуальных отчетов, анализов и прогнозов. Однако даже в тех случаях, когда финансовые группы используют лучшие базы данных и ERP-системы, они все еще сталкиваются с препятствиями, поскольку они страдают от давних и жестких культур, сильной разрозненности и бюрократических процессов старой школы. Архитектура сетки данных коренным образом меняет подход к анализу и управлению финансовыми данными и даже может изменить застойное мышление, которое может произойти, когда у команд будет возможность владеть и пересматривать собственные процессы старения данных.
Понятно, что сетка данных — это не просто еще одно мозаичное слово, и это тенденция к стратегии управления данными, к которой необходимо относиться серьезно. Компании любых размеров и отраслей используют сетку данных и ищут способы использования данных для получения ценной информации.
Преимущества сетки данных
В прошлом устаревшие базы данных и ограниченные инфраструктуры управления данными вносили свой вклад в понимание того, что данные должны храниться в едином хранилище и собираться по усмотрению нескольких администраторов данных. Теперь данные - это топливо, которое движет вашим бизнесом, и оно должно быть свободно предоставлено тем профильным специалистам, которые лучше всего знают, как сделать его работать и приносить прибыль в конкурентное время.
Основные преимущества архитектуры сетки данных можно обобщить следующим образом:
Повышение доступности данных. Сетка данных гарантирует, что все нужные сотрудники в вашей организации смогут получить доступ к необходимым данным, чтобы быть максимально эффективными в своей работе.
Улучшенные аналитические функции. Когда данные рассматриваются как продукт, который будет использоваться каждый день, команды начинают применять подход к планированию и стратегии, ориентированный на данные. Это приводит к уменьшению числа ошибок и к более объективному, менее основанному на мнении подходу к развитию бизнеса.
Настраиваемые конвейеры данных и процессы. Многие из лучших и потенциально наиболее прибыльных проектов откладываются из-за огромного хлопота по курированию уникальных и персонализированных наборов данных, необходимых для достижения успеха. Благодаря сетке данных команды могут быстро получать доступ к новым моделям проектов и тестировать их без традиционной потери времени или ресурсов.
Узкие места можно сократить. Это очевидная победа как для ИТ-команд, так и для владельцев данных. Кроме того, снижение уровня разочарования и раздражения позволяет компаниям устранить разрозненность, стоящую на пути здорового развития бизнеса.
Снижение нагрузки на центральные группы по управлению данными. Это означает не только сокращение отставаний и разочарований, но и высвобождение бесчисленных часов для ваших талантливых ИТ-команд, чтобы посвятить их более специализированным, интересным и прибыльным занятиям.
Часто задаваемые вопросы по сетке данных
Решения SAP для работы с данными и аналитикой
Выявляйте, анализируйте и преобразуйте наиболее актуальные данные в масштабе всей компании.
Идеи, которые вы больше нигде не найдете
Зарегистрируйтесь, чтобы получить дозу бизнес-информации и аналитики, доставляемую прямо в ваш почтовый ящик.