Глоссарий управления данными

Что такое база данных?

База данных — это средство для организации, хранения, управления, защиты и контроля доступа к данным. Базы данных проектируются в соответствии с рядом различных схем, многие из которых придерживаются реляционной модели для удобства доступа программами и выполнения запросов к данным. К распространенным типам баз данных относятся реляционные системы управления базами данных (СУБД), базы данных в оперативной памяти, объектно-ориентированные базы данных (ООБС), базы данных NoSQL и базы данных NewSQL — каждая из которых имеет свои преимущества.

Что такое управление данными?

Управление данными включает в себя все функции, необходимые для сбора, контроля, защиты, обработки и предоставления данных. Системы управления данными включают в себя базы данных, хранилища данных и витрины данных; инструменты для сбора, хранения и извлечения данных; а также утилиты для содействия проверке, обеспечению качества и интеграции с приложениями и аналитическими инструментами. Предприятиям необходима стратегия работы с данными, чтобы обеспечить подотчетность в отношении данных, которые поступают из определенных областей ответственности или являются неотъемлемой частью этих областей.

Что такое управление базами данных?

Управление базами данных включает в себя процессы и процедуры, необходимые для хранения, обработки, манипулирования и защиты данных. Во многих организациях ответственность за разработку и контроль таких процедур лежит в основном на администраторе баз данных (DBA) или сотруднике аналогичной должности. Большинство организаций используют коммерческую систему управления базами данных (СУБД) в качестве основного инструмента для управления своими базами данных.

Что такое система управления базами данных (СУБД)?

Система управления базами данных (СУБД) — это программный инструментарий, предоставляющий структуру хранения и средства управления данными для управления базами данных. Система управления базами данных (СУБД) может быть неотъемлемой частью лицензированной системы планирования ресурсов предприятия (ERP), приобретаться отдельно, являться частью системного программного обеспечения (операционной системы) или приобретаться по отдельной лицензии. Независимо от источника, крайне важно, чтобы приложения строились на основе СУБД и/или были полностью интегрированы с ней, поскольку они взаимозависимы для эффективного функционирования как приложений, так и СУБД. Система управления базами данных (СУБД) по сути представляет собой набор инструментов для управления базами данных.

Что такое база данных SQL?

SQL-база данных — это реляционная база данных, которая хранит данные в таблицах и строках. Элементы данных (строки) связаны между собой на основе общих элементов данных, что обеспечивает эффективность, позволяет избежать избыточности и упрощает, делает более гибким поиск. Название SQL происходит от Structured Query Language (структурированный язык запросов) — инструментария и протокола запросов на естественном языке, который пользователи могут изучить и применять к любой совместимой базе данных для хранения, обработки и извлечения данных.

Что такое база данных NoSQL?

Базы данных NoSQL были разработаны для обработки неструктурированных данных, которые SQL не может поддерживать из-за отсутствия структуры. NoSQL использует нестандартные методы для преодоления этого ограничения, включая динамические схемы и различные методы предварительной обработки. Наиболее распространенными типами баз данных для неструктурированных данных являются базы данных типа «ключ-значение», документные, столбцовые и графовые базы данных, которые часто включают в себя такие данные, как видео, графика, свободный текст и необработанные данные с датчиков.

Что такое реляционная система управления базами данных (СУБД)?

Реляционная система управления базами данных — это система управления базами данных (СУБД), основанная на реляционной модели данных. Содержимое СУБД хранится в таблицах, состоящих из строк и столбцов, причем каждая таблица представляет собой конкретный объект или сущность в базе данных, которая может быть связана с другой. СУБД обычно содержит множество таблиц и включает дополнительные функции, обеспечивающие точность, согласованность, целостность и безопасность данных, а также SQL-интерфейс для доступа к данным относительно друг друга посредством сложных запросов.

Что такое СУБД?

CDBMS — это термин, введенный компанией Gartner, который в основном описывает модель развертывания в облаке для вышеупомянутых СУБД.

Что такое структурированные данные?

Структурированные данные аккуратно отформатированы в строки и столбцы и сопоставлены с предопределенными полями. Как правило, эти данные хранятся в электронных таблицах Excel или реляционных базах данных; к примерам относятся финансовые транзакции, демографическая информация и журналы работы оборудования. До недавнего времени структурированные данные были единственным пригодным для использования типом данных для бизнеса.

Что такое неструктурированные данные?

Неструктурированные данные не организованы в строки и столбцы, что затрудняет их хранение, анализ и поиск. В качестве примеров можно привести необработанные данные Интернета вещей (IoT), видео- и аудиофайлы, комментарии в социальных сетях и расшифровки разговоров из колл-центров. Неструктурированные данные обычно хранятся в озерах данных, базах данных NoSQL или современных хранилищах данных.

Что такое полуструктурированные данные?

Полуструктурированные данные обладают некоторыми организационными свойствами, такими как семантические теги или метаданные, но не соответствуют строкам и столбцам электронных таблиц или реляционных баз данных. Хорошим примером полуструктурированных данных является электронная почта, которая включает в себя как структурированные данные, такие как адреса отправителя и получателя, так и неструктурированные данные, например, само сообщение.

Что такое сопоставление данных?

Сопоставление данных — это процесс сопоставления полей между различными структурами данных или базами данных. Это необходимый шаг, если планируется объединение баз данных, миграция данных из одной системы или базы данных в другую, или если в рамках одного приложения или аналитического инструмента предполагается использование различных источников данных — что часто происходит в хранилищах данных. Сопоставление данных позволит выявить уникальную, противоречивую и дублирующуюся информацию, чтобы разработать набор правил для приведения всех данных к согласованной схеме или формату.

Что такое моделирование данных?

При создании новой или альтернативной структуры базы данных разработчик начинает с диаграммы, показывающей, как данные будут поступать в базу данных и выходить из нее. Построение диаграмм потоков данных называется моделированием данных. На основе этой блок-схемы инженеры-программисты могут определить характеристики форматов данных, структур и функций обработки баз данных для эффективной поддержки требований к потоку данных.

Что такое хранилище данных?

Хранилище данных представляет собой единое, комплексное средство хранения данных из множества различных источников — как внутренних, так и внешних. Его основная цель — предоставление данных для бизнес-аналитики (BI), отчетности и анализа данных. Современные хранилища данных могут хранить и управлять всеми типами данных, структурированными и неструктурированными, и, как правило, развертываются в облаке для большей масштабируемости и удобства использования.

Что такое озеро данных?

Озеро данных — это обширный массив данных, хранящихся в необработанном или естественном формате. Озера данных обычно используются для хранения больших данных, включая структурированные, неструктурированные и полуструктурированные данные.

Что такое большие данные?

Большие данные — это термин, описывающий чрезвычайно большие наборы структурированных, неструктурированных и полуструктурированных данных. Большие данные часто характеризуются пятью «V»: огромный объем собираемых данных, разнообразие типов данных, скорость генерации данных, достоверность данных и их ценность . Системы управления большими данными и аналитика позволяют компаниям извлекать из них ценную информацию, которая помогает принимать решения и предпринимать необходимые действия.

Что такое малые данные?

В отличие от больших данных, которые представляют собой огромный объем и сложность, небольшие объемы данных легко понять человеку. Небольшие наборы данных могут включать в себя все что угодно, от маркетинговых опросов до обычных электронных таблиц, и даже могут быть такими «маленькими», как одна публикация в социальных сетях или электронное письмо. Всё чаще компании, помимо больших данных, используют малые объёмы данных для обучения своих алгоритмов искусственного интеллекта и машинного обучения, чтобы получать ещё более глубокие аналитические выводы.

Что такое «толстые данные»?

«Щёлкие данные» — это качественная информация, позволяющая получить представление о повседневной эмоциональной жизни потребителей. Оно включает в себя наблюдения, чувства и реакции — вещи, которые, как правило, трудно поддаются количественной оценке. В сочетании с большими данными вырисовывается очень полная картина предпочтений и потребностей потребителей.

Что такое интеграция данных?

Интеграция данных — это практика сбора, преобразования, объединения и предоставления данных там и тогда, где и когда это необходимо. Эта интеграция осуществляется как внутри предприятия, так и за его пределами — между партнерами, а также сторонними источниками данных и сценариями использования — для удовлетворения потребностей в потреблении данных всех приложений и бизнес-процессов. К числу используемых методов относятся: пакетное перемещение данных, извлечение, преобразование и загрузка данных (ETL), отслеживание изменений данных, репликация данных, виртуализация данных, интеграция потоковых данных, оркестрация данных и многое другое.

Что такое виртуализация данных?

Виртуализация данных предоставляет компаниям единое представление всех корпоративных данных — из разрозненных систем и форматов — на виртуальном уровне данных. Вместо дублирования данных, виртуализация данных оставляет данные в исходных системах и просто предоставляет пользователям и приложениям их виртуальное представление в режиме реального времени. Виртуализация данных — это современный подход к интеграции данных, позволяющий пользователям обнаруживать и обрабатывать данные независимо от их физического местоположения, формата или протокола.

Что такое DataFrame?

Data Fabric — это индивидуально подобранное сочетание архитектуры и технологий. Она использует динамическую интеграцию и оркестрацию данных для соединения различных местоположений, источников и типов данных. Благодаря правильно организованной структуре и потокам данных, определенным в рамках платформы Data Fabric, компании могут быстро получать доступ к данным и обмениваться ими независимо от того, где они находятся и как были сгенерированы.

Что такое сеть передачи данных?

Data Mesh — это подход к управлению данными, использующий распределенную архитектурную структуру. Иными словами: это распределяет право собственности и ответственность за конкретные наборы данных по всей компании между теми пользователями, которые обладают необходимыми знаниями, чтобы понимать значение этих данных и как наилучшим образом их использовать.

Что такое конвейер обработки данных?

Конвейер обработки данных описывает набор автоматизированных и повторяемых процессов для поиска, очистки, преобразования и анализа любых типов данных непосредственно в источнике. Благодаря тому, что данные анализируются непосредственно в месте их генерации, пользователи могут быстро анализировать и обмениваться необходимой информацией с меньшими затратами для организации. Технологии, такие как машинное обучение, также могут быть усовершенствованы для повышения скорости и эффективности обработки данных.

Что такое хранилища данных?

«Информационный разрозненный массив» — это сленговый термин, обозначающий ситуацию, когда отдельные подразделения или функциональные области внутри предприятия не обмениваются данными и информацией с другими подразделениями. Такая изоляция препятствует скоординированным усилиям по достижению целей компании и приводит к низкой производительности (и низкому качеству обслуживания клиентов), высоким затратам и общей неспособности реагировать на рыночные требования и изменения. Дублирующиеся и избыточные данные трудно согласовать, что еще больше препятствует координации действий и эффективному управлению бизнесом.

Что такое обработка данных?

Обработка данных — это процесс преобразования исходных данных в формат, совместимый с существующими базами данных и приложениями. Этот процесс может включать структурирование, очистку, обогащение и проверку данных по мере необходимости, чтобы сделать исходные данные полезными.

Что такое безопасность данных?

Защита данных — это обеспечение безопасности данных: защита от несанкционированного доступа или утечки, стихийных бедствий или сбоев системы, и в то же время обеспечение легкого доступа к данным для законных пользователей и приложений. К методам и инструментам относятся шифрование данных, управление ключами, резервирование и обеспечение избыточности, а также контроль доступа. Обеспечение безопасности данных является обязательным требованием для организаций всех размеров и типов, чтобы защитить данные клиентов и самой организации от постоянно растущей угрозы утечек данных и рисков нарушения конфиденциальности. Избыточность и резервное копирование важны для обеспечения непрерывности бизнеса и восстановления после катастроф.

Что такое защита персональных данных?

Конфиденциальность данных относится к политике и практике обработки данных таким образом, чтобы защитить их от несанкционированного доступа или разглашения. Политика и практика защиты данных регулируют порядок сбора и хранения информации в соответствии со стратегией организации в отношении данных, порядок ее передачи третьим сторонам, а также порядок соблюдения нормативных ограничений. Защита персональных данных — это важнейший бизнес-императив, который удовлетворяет ожидания клиентов, одновременно обеспечивая целостность и безопасность хранимой информации.

Что такое качество данных?

Качество данных — это расплывчатый термин, описывающий пригодность и надежность данных. Качественные данные просто означают, что данные являются точными (действительно отражают то, что они описывают), надежными (последовательными, поддающимися аудиту, надлежащим образом управляемыми и защищенными) и полными в той степени, в которой это требуется пользователям и приложениям. Качество данных может быть обеспечено только при наличии правильно разработанной и реализованной стратегии работы с данными, осуществляемой с использованием передовых инструментов и систем, а также при строгом соблюдении политик и процедур управления данными.

Что такое проверка данных?

Проверка достоверности данных — это процесс определения качества, точности и обоснованности данных перед их импортом или использованием. Проверка достоверности данных может включать в себя ряд действий и процессов для подтверждения подлинности данных и общей «очистки» элементов данных, включая удаление дубликатов, исправление очевидных ошибок или отсутствующих элементов, а также возможные изменения форматирования (очистка данных). Проверка данных гарантирует точность и достоверность информации, необходимой для принятия важных решений.

Что такое очистка данных?

Очистка данных — это процесс удаления или исправления ошибок в наборе данных, таблице или базе данных. К таким ошибкам может относиться искаженная, неточная, нерелевантная или неполная информация. Этот процесс, также называемый очисткой данных, выявляет дублирующиеся данные и другие несоответствия, такие как опечатки и несоответствующие числовые наборы. Очистка данных может включать удаление неверной информации или исправление очевидных ошибок, таких как пустые поля или отсутствующие коды.

Что такое целостность данных?

Целостность данных означает достоверность данных в долгосрочной перспективе. После ввода или импорта данных, их обработки, проверки, очистки и хранения, целостность данных гарантирует сохранение их качества, и пользователи могут быть уверены, что введенные данные не изменились и не изменятся в будущем. Полученные данные идентичны тем, которые были сохранены изначально. Целостность данных, иногда используемая как синоним качества данных, в большей степени связана с надежностью и достоверностью.

Что такое управление данными?

Управление данными — это набор политик и практик, обеспечивающих надлежащее управление данными в масштабах всей организации. В нем определяется ИТ-инфраструктура и назначаются лица (или должности), обладающие полномочиями и ответственностью за обработку и защиту определенных типов данных. Эффективное управление данными гарантирует их доступность, достоверность, безопасность и соответствие нормативным требованиям, а также предотвращает неправомерное использование.

Что такое управление данными?

Управление данными — это внедрение политик и процедур управления данными для обеспечения точности, надежности, целостности и безопасности данных. Лица, ответственные за управление данными, управляют и контролируют процедуры и инструменты, используемые для обработки, хранения и защиты данных.

Что такое архитектура данных?

Архитектура данных — это общий проект структуры, политик и правил, определяющих данные организации, а также способы их использования и управления. Архитектура данных включает в себя детальное описание того, как стратегия работы с данными реализуется в поддержку бизнес-потребностей и целей, и служит основой для разработки баз данных, процедур, мер защиты, обеспечения безопасности и управления данными.

Что такое управление основными данными?

Управление основными данными (MDM) — это практика создания единого, «главного» источника справочной информации для всех важных бизнес-данных. Он включает в себя политики и процедуры определения, управления и контроля (или регулирования) обработки основных данных. Централизованное управление основными данными устраняет конфликты и путаницу, возникающие из-за разрозненных баз данных с дублирующейся информацией и нескоординированными данными, которые могут быть устаревшими, поврежденными или смещенными во времени — обновленными в одном месте, но не в другом. Наличие единой версии, подходящей для всего предприятия, означает, что все подразделения организации работают с одними и теми же определениями, стандартами и предположениями.

Что такое аналитика?

Термин «аналитика» относится к систематическому анализу данных. Аналитические приложения и инструментарии содержат математические алгоритмы и вычислительные механизмы, способные обрабатывать большие массивы данных для выявления закономерностей, тенденций, взаимосвязей и другой информации, позволяющей пользователям задавать вопросы и получать полезные сведения о своем бизнесе, операциях и рынках. Многие современные аналитические инструментарии разработаны для использования нетехническими специалистами в сфере бизнеса, что позволяет им проводить подобные анализы с минимальной помощью специалистов по анализу данных или ИТ-специалистов.

Что такое дополненная аналитика?

Расширенная аналитика — это аналитика, которая «дополняется» технологиями искусственного интеллекта, включая машинное обучение и обработку естественного языка (NLP). Расширенная аналитика не только помогает пользователям быстрее получать более глубокие выводы, но и автоматизирует многие сложные этапы процесса, позволяя даже нетехническим пользователям запрашивать данные естественным, разговорным образом.

Что такое интеллектуальный анализ данных?

Добыча данных — это процесс извлечения полезной информации из больших наборов данных. Анализ данных часто проводится бизнес-пользователями с использованием аналитических инструментов для выявления закономерностей, тенденций, аномалий, взаимосвязей, зависимостей и другой полезной информации. Анализ данных имеет широкий спектр применений: от выявления мошенничества и проблем кибербезопасности до улучшения прогнозов и поиска возможностей для повышения эффективности.

Что такое профилирование данных?

Профилирование данных — это практика сбора статистических данных и характеристик набора данных, таких как его точность, полнота и достоверность. Профилирование данных — это один из методов, используемых в процессе проверки и очистки данных, поскольку он помогает выявлять проблемы качества данных, такие как избыточность, пропущенные значения и несоответствия.