Что такое управление данными?
Управление данными — это практика сбора, организации, управления и доступа к данным для повышения производительности, эффективности и принятия решений.
Обзор управления данными
Данные важны для функционирования и функционирования компании. Компании должны понимать данные и находить актуальность в шуме, создаваемом различными системами и технологиями, поддерживающими современную высокоподключенную глобальную цифровую экономику. В связи с этим данные занимают центральное место. Данные сами по себе бесполезны. Компаниям необходима эффективная стратегия, управление и модель управления данными, чтобы использовать все формы данных для практического и эффективного использования в цепочках поставок, сетях сотрудников, экосистемах клиентов и партнеров... и многое другое.
Определение и процесс управления данными
Управление данными — это практика сбора, организации, управления и доступа к данным для повышения производительности, эффективности и принятия решений. Учитывая ключевую роль, которую сегодня играют данные в бизнесе, эффективная корпоративная стратегия и современная платформа для управления данными важны для каждой компании независимо от ее размера и отрасли. Управление данными важно для различных сценариев использования на основе данных, включая комплексное выполнение бизнес-процессов, соблюдение нормативных требований, точную аналитику и искусственный интеллект, миграцию данных и цифровую трансформацию.
Процесс управления данными охватывает широкий спектр задач и процедур, таких как:
Сбор, обработка и проверка данных
Интеграция различных типов данных из разрозненных источников, включая структурированные и неструктурированные данные
Управление качеством данных в соответствии с бизнес-стандартами
Самообслуживание, сотрудничество и доступ к данным
Защита и обеспечение безопасности данных, а также поддержка конфиденциальности данных
Управление жизненным циклом данных от создания до удаления
Обеспечение высокой доступности данных и восстановления после сбоев
Ключевые элементы процесса управления данными
Почему управление данными играет такую важную роль?
Каждое приложение, аналитическое решение и алгоритм, используемые в бизнесе (правила и связанные процессы, позволяющие технологии решать проблемы и выполнять задачи), зависит от беспрепятственного доступа к высококачественным данным. В основе этой системы лежит система управления данными, которая обеспечивает безопасность, доступность и точность данных. Но на этом преимущества управления данными не заканчиваются.
Превращение данных в ценный актив бизнеса
Слишком большой объем данных может оказаться избыточным (и бесполезным), если они не управляются должным образом. Добавим к этому постоянно растущие уровни разнообразия данных, распределения и требований, и легко увидеть, как организации могут с трудом использовать данные в качестве актива для удовлетворения своих потребностей цифрового бизнеса. Однако при помощи правильных инструментов можно использовать данные, чтобы предоставить компаниям не только аналитическую информацию, но и более точные прогнозы и инновационные бизнес-процессы. Это позволяет компаниям лучше понимать, чего хотят клиенты, и помогать компаниям обеспечивать безупречное качество клиентского опыта на основе предоставленных данных обучения. Это также может помочь создать новые бизнес-модели на основе данных, такие как предложения услуг на основе генеративного ИИ, которые не были бы точными без использования высококачественных данных для создания моделей обучения.
&Quot;Ориентированность на данные означает использование данных независимо от сложности состояния, хранения, доступа, качества и контекста, что позволяет организациям реализовать свои ориентированные на данные устремления и стать ключевым фактором успеха в цифровом бизнесе.&Квота;
Gartner «Data Management Solutions Primer for 2023». Адам Ронталь, Ehtisham Zaidi, 14 февраля 2023 г.
Не секрет, что организации, использующие данные, имеют серьезные конкурентные преимущества. С помощью расширенных инструментов компании могут управлять большим количеством данных из большего числа источников, чем когда-либо прежде. Они также могут использовать множество различных типов данных, структурированных и неструктурированных, в режиме реального времени, включая данные устройств Интернета вещей (IoT), видео- и аудиофайлы, данные из каналов перемещения по Интернету и комментарии в социальных сетях, открывая больше возможностей монетизировать данные и использовать их в качестве актива.
Создание фундамента данных для цифровой трансформации
Часто говорят, что данные — это жизненная сила цифровой трансформации, и это правда. Лидеры в области данных и аналитики (D&A) должны уметь соответствовать требованиям цифрового бизнеса и растущей сложности ландшафта данных (включая влияние облачных технологий). Искусственный интеллект, машинное обучение, «Индустрия 4.0», расширенная аналитика, Интернет вещей и интеллектуальная автоматизация требуют больших объемов своевременных, точных и защищенных данных, чтобы делать то, что они делают.
Например, для машинного обучения и генеративного искусственного интеллекта необходимы очень большие и разнообразные наборы данных для обучения, выявления сложных закономерностей, решения проблем, поддержания актуальности и эффективности работы моделей и алгоритмов. Расширенная аналитика (которая часто использует машинное обучение и искусственный интеллект) также зависит от больших объемов высококачественных данных для получения релевантных и действенных аналитических данных, которые можно уверенно использовать. Сценарии Интернета вещей и промышленного Интернета вещей зависят от постоянного потока машинных данных и данных с датчиков, поставляемых с очень высокой скоростью.
В любом проекте цифровой трансформации общим знаменателем являются данные. Чтобы преобразовать процессы, воспользоваться преимуществами новых технологий и стать интеллектуальными предприятиями, компаниям необходима надежная основа для работы с данными. Иными словами, им нужна современная система управления данными.
&Quot;Дальнейшее выживание любого бизнеса будет зависеть от гибкой, ориентированной на данные архитектуры, способной реагировать на постоянные изменения.&Квота;
Дональд Файнберг (Donald Feinberg), вице-президент Gartner
Обеспечение соблюдения законов о конфиденциальности данных
Эффективное управление данными также необходимо для обеспечения соблюдения национальных и международных законов о защите данных, таких как Общий регламент по защите данных (GDPR) и Закон Калифорнии о защите конфиденциальности потребителей в США, а также отраслевых требований к конфиденциальности и безопасности. И для того, чтобы эти меры защиты были доказаны или подвергнуты аудиту, крайне важно иметь прочные политики и процедуры в области управления данными.
Подходы к управлению данными
В последние годы ткань данных и сетка данных стали популярными элементами терминологии управления данными, и многие организации адаптировали их под свою архитектуру управления данными. Стиль архитектуры "ткань данных" предназначен для создания связующего уровня для различных источников данных, что упрощает самообслуживание, доступ к данным и доставку данных по всему предприятию. Архитектура ткани данных предназначена для абстракции различных мест хранения данных с точки зрения конечного пользователя, представляя единый унифицированный ракурс, который можно использовать как таковой, даже если базовая архитектура широко распределена.
Сетка данных
Сетка данных — это подход к управлению данными, использующий распределенную архитектуру. Другими словами, он распределяет ответственность за определенные наборы данных по всей компании, тем пользователям, которые обладают специальными знаниями, чтобы понять, что означают эти данные и как их наилучшим образом использовать. Архитектура сетки данных соединяет и извлекает данные из различных источников, таких как озера и хранилища данных, и распределяет релевантные наборы данных соответствующим экспертам по персоналу и группам специалистов по всей компании. По сути, объемная совокупность данных в центральном озере данных сортируется и распределяется по управляемым блокам по наиболее подходящим для понимания и использования.
Фабрика данных
Фабрика данных представляет собой комбинацию архитектуры данных и специализированных программных решений, которые централизуют, соединяют данные, управляют ими и управляют ими в различных системах и приложениях. Решения для фабрик данных позволяют подключать данные и управлять ими в режиме реального времени в различных системах и приложениях. Это позволяет создать единый источник достоверной информации, использовать и получать доступ к этим данным в любое время и в любом месте, обеспечивая демократизацию и автоматизацию процессов управления данными. Кроме того, ткань данных оптимизирует данные, особенно в сложных распределенных архитектурах, обеспечивая их готовность к использованию в приложениях аналитики, искусственного интеллекта и машинного обучения за счет объединения, очистки, обогащения и обеспечения безопасности. Архитектура и решения Data Fabric позволяют компаниям эффективно использовать свои данные и масштабировать свои системы, адаптируясь при этом к быстро меняющимся рынкам.
Управление основными данными (MDM)
Управление основными данными — это дисциплина создания единого достоверного справочника (единой версии достоверных данных) для всех важных бизнес-данных, таких как данные о продуктах, клиентах, активах, финансах и т. д. MDM помогает компаниям не использовать несколько потенциально противоречивых версий данных в разных подразделениях компании, включая процессы, операции, аналитику, искусственный интеллект и отчетность. Три ключевых компонента эффективного управления основными данными (MDM): консолидация данных, управление данными и управление качеством данных.
"Технологическая дисциплина, в которой бизнес и ИТ-организация совместно работают, обеспечивая единообразие, точность, управляемость, семантическую согласованность и подотчетность официальных активов основных данных предприятия.&Квота;
Определение MDM от Gartner
Интеграция данных
Интеграция данных — это практика получения, преобразования, объединения и предоставления данных там, где и когда это необходимо. Такая интеграция осуществляется на предприятии и за его пределами — как для партнеров, так и для внешних источников данных и сценариев использования — для удовлетворения требований к потреблению данных во всех приложениях и бизнес-процессах. Техники включают перемещение массовых/пакетных данных, извлечение, преобразование, загрузку (ETL), сбор данных изменений, репликацию данных, виртуализацию данных, интеграцию потоковых данных, оркестрацию данных и многое другое.
Обнаружение и каталогизация данных
Обнаружение и каталогизация данных позволяют находить имеющиеся у вас данные и определять их связь. Обнаружение часто предоставляется в рамках профилирования данных (которое само по себе существует для создания общего обзора ваших данных с точки зрения их структуры, содержимого и т. д.) и указывает местонахождение и взаимосвязи между различными наборами данных в нескольких (гетерогенных) источниках данных. В более широком смысле, это фундаментальный инструмент для понимания ландшафта данных. Обнаружение конфиденциальных данных – это заметная подкатегория, которая особенно связана с поиском и классификацией персональных или других конфиденциальных данных в вашей организации, чтобы обеспечить их надлежащую защиту в целях обеспечения конфиденциальности, безопасности и соблюдения нормативных требований.
Обнаружение данных также используется для создания каталогов данных вместе с другими более продвинутыми технологиями автоматизации, такими как искусственный интеллект и машинное обучение. Каталоги данных предоставляют репозитарий информации (известной как метаданные) об активах данных: какие данные хранятся, где они находятся, в каком формате и в каких доменах они релевантны. Большая часть этой информации должна собираться автоматически, и ее можно дополнительно классифицировать по географии, времени, контролю доступа и т. д. Каталоги индексируются и доступны для поиска, а также поддерживают самообслуживание и сотрудничество. Более полные каталоги будут получать метаданные из различных производных источников, таких как аналитические отчеты и инструментальные панели, в дополнение к физическим источникам данных. Каталоги обычно используются в сочетании с инструментами подготовки данных и важны для поддержки управления данными и совместного доступа к данным на основе сервисов самообслуживания.
Стратегическое управление данными, безопасность и соблюдение требований
Управление данными — это совокупность правил и обязанностей по обеспечению доступности, качества, соответствия и безопасности данных в масштабе организации. Управление данными создает инфраструктуру и назначает лиц (или штатных должностей) в организации, которые имеют полномочия, а также несут ответственность за обработку и защиту определенных видов и типов данных. Управление данными является ключевой составляющей нормативного соответствия. Системы будут заботиться о механике безопасности, хранения и доступа, а также о правильном удалении и удержании. Управление данными также помогает убедиться, что данные являются точными для начала и соответствуют бизнес-стандартам перед вводом в систему, при их использовании и при извлечении из системы для использования или хранения в другом месте. Организационное управление определяет, как ответственные лица используют процессы и технологии для управления данными и их защиты.
Безопасность данных является серьезной проблемой в современном мире хакеров, вирусов, кибератак и утечек данных. Хотя безопасность встроена в системы и приложения, управление данными обеспечивает надлежащую настройку и администрирование этих систем для защиты данных, а также соблюдение процедур и обязанностей по защите данных вне систем и баз данных.
Что такое корпоративная стратегия управления данными и зачем она вам нужна?
Сегодня бизнес-стратегии зависят от данных, позволяющих автоматизировать процессы, настраивать клиентский опыт и опыт сотрудников, стимулировать рост на новых рынках или приобретении, а также внедрять инновации. Таким образом, успех бизнеса во все большей степени зависит от согласования стратегии управления данными с бизнес-стратегией компании. Стратегия управления данными должна быть ориентирована на все уровни организации. Он должен иметь смысл и контекст для бизнеса.
Компании требуется стратегия управления данными для приоритизации своей работы. Мы все знаем, что объем данных, генерируемых и используемых компанией, значительно растет. Проблем и требований к данным всегда будет больше, чем ресурсов. Компаниям необходим способ приоритизации операций с данными на основе того, что позволит получить максимальную отдачу от стратегии управления данными. Стратегия должна быть «живой и дышащей» и полностью согласованной с приоритетами бизнеса, но при этом достаточно гибкой, чтобы меняться по мере трансформации и развития бизнеса. Это не только слова в документе, но и должны «жить» внутри организации.
Стратегия данных описывает все возможности данных, которые должны быть разработаны для достижения бизнес-результатов. Сюда относятся не только возможности и инструменты управления данными, но и бизнес-возможности, такие как организационная структура, стратегия сбора и сети данных, соответствие требованиям и этические возможности. В нем заложена маршрутная карта для разработки возможностей на протяжении нескольких лет, в которой определяются возможные варианты поставки, сроки, затраты и необходимая поддержка со стороны руководства.
Эволюция управления данными
Эффективное управление данными уже более 50 лет имеет решающее значение для успешной работы любой компании. Оно поддерживает целый спектр функций — от повышения точности информационной отчетности, выявления тенденций и принятия более взвешенных решений до подпитки цифровой трансформации и внедрения новых технологий и бизнес-моделей. Данные стали новым видом капитала, и дальновидные организации всегда находятся в поиске новых оптимальных способов использования данных в своих интересах. Вот некоторые из последних тенденций в области современного управления данными, за которыми важно следить и изучать их применимость для вашего бизнеса и отрасли:
Фабрика данных. Большинство организаций сегодня используют различные типы данных, развертываемые как локально, так и в облаке, а также множество систем управления базами данных, технологий обработки и инструментов. В фабрике данных, которая представляет собой индивидуальное сочетание архитектуры и технологий, используются метаданные, динамическая интеграция и оркестрация данных для обеспечения беспрепятственного доступа к данным и совместного использования в распределенной среде.
Управление данными в облаке. Многие компании переносят часть или все свои платформы управления данными в облако. Управление облачными данными использует все преимущества, которые предлагает облако, включая масштабируемость, расширенную безопасность данных, улучшенный доступ к данным, автоматическое резервное копирование и аварийное восстановление, экономию затрат и многое другое. Растет популярность облачных баз данных и решений по модели «база данных как услуга» (DBaaS), облачных хранилищ данных и облачных озер данных.
Данные как продукт. Под данными как продуктом понимается практика обращения с внутренними данными как с продуктом первого заказа, с работой групп по обработке данных — и, как следствие, к директору по данным или аналогичному руководителю — предоставить остальным сотрудникам вашей организации нужные данные в нужное время и на нужном уровне качества. Цель состоит в том, чтобы обеспечить более широкое использование данных в целом, например, повысить своевременность и точность аналитических данных.
Управление дополненными данными: одна из новых тенденций называется «дополненным управлением данными». Управление дополненными данными использует искусственный интеллект и машинное обучение для самостоятельной настройки и настройки процессов управления данными. Расширенное управление данными позволяет автоматизировать все процессы, от качества данных и управления основными данными до интеграции данных, что позволяет освободить квалифицированный технический персонал и сосредоточиться на более важных операциях.
Дополненная аналитика. Дополненная аналитика использует технологии искусственного интеллекта (ИИ), машинного обучения и обработки естественного языка (NLP), чтобы не только автоматически находить наиболее важные сведения, но и демократизировать доступ к расширенной аналитике, чтобы все, не только специалисты по обработке данных, могли задавать вопросы по своим данным и получать ответы естественным, диалоговым способом.
Заключение
Мы знаем, что информация выводится из данных. А если информация является мощью, то эффективное управление и капитализация ваших данных вполне могут стать сверхдержавой вашей компании. Таким образом, обязанности по управлению данными и роль директора по данным (и аналитике) эволюционируют, чтобы стать ключевыми исполнителями изменений в организации — в ускорении освоения облачных технологий, использовании новых тенденций и технологий и обеспечении стратегической ценности для бизнеса.
Решения для управления данными и базами данных
SAP помогает управлять корпоративными данными, управлять ими и интегрировать их.
Идеи, которые вы больше нигде не найдете
Зарегистрируйтесь, чтобы получить дозу бизнес-информации и аналитики, доставляемую прямо в ваш почтовый ящик.