Глоссарий по управлению данными

Что такое база данных?

База данных — это средство организации, хранения, управления, защиты и контроля доступа к данным. Базы данных разработаны в соответствии с рядом различных схем (схем), многие из которых соответствуют реляционной модели для упрощения доступа программами и запросами данных. К общим типам баз данных относятся системы управления реляционными базами данных (RDBMS), базы данных in-memory, объектно-ориентированные базы данных (OODBMS), базы данных NoSQL и базы данных NewSQL — каждый со своими преимуществами.

Что такое управление данными?

Управление данными — это все функции, необходимые для сбора, контроля, защиты, обработки и доставки данных. К системам управления данными относятся базы данных, хранилища данных и витрины данных; инструменты для сбора, хранения и извлечения данных; а также утилиты для проверки, контроля качества и интеграции с приложениями и аналитическими инструментами. Компаниям требуется стратегия управления данными для обеспечения ответственности за данные, которые происходят или являются эндемичными для конкретных сфер ответственности.

Что такое управление базами данных?

Управление базами данных — это процессы и процедуры, необходимые для хранения, обработки, обработки и защиты данных. Во многих организациях ответственность за установление таких процедур и контроль за ними лежит на администраторе базы данных (DBA) или аналогичной должности. Большинство организаций используют коммерческую систему управления базами данных (СУБД) в качестве основного инструмента управления базами данных.

Что такое система управления базами данных (СУБД)?

Система управления базами данных (СУБД) — это программный инструментарий, который предоставляет структуру хранения и средство управления данными для управления базами данных. СУБД может быть неотъемлемой частью лицензированной системы планирования ресурсов предприятия (ERP), требуемой отдельной покупкой, частью системного программного обеспечения (операционной системы) или отдельно лицензированного программного продукта. Независимо от источника важно, чтобы приложения строились и/или полностью интегрировались с СУБД, поскольку они взаимозависимы для эффективной функциональности как приложений, так и СУБД. СУБД по сути представляет собой инструментарий для управления базами данных.

Что такое база данных SQL?

База данных SQL — это реляционная база данных, в которой хранятся данные в таблицах и строках. Элементы данных (строки) связываются на основе общих элементов данных для обеспечения эффективности, предотвращения избыточности и упрощения и гибкого извлечения. Название SQL происходит от Structured Query Language, инструментария и протокола запросов на естественном языке, который пользователи могут изучать и применять к любой совместимой базе данных для хранения, обработки и извлечения данных.

Что такое база данных NoSQL?

Базы данных NoSQL были разработаны для обработки неструктурированных данных, которые SQL не может поддерживать из-за отсутствия структуры. NoSQL использует творческие методы для преодоления этого ограничения, включая динамические схемы и различные методы предварительной обработки. Наиболее распространенными типами баз неструктурированных данных являются базы данных с ключевыми значениями, документами, столбцами и графиками, которые часто включают видео, графику, произвольный текст и необработанный вывод датчиков.

Что такое система управления реляционной базой данных (RDBMS)?

Система управления реляционными базами данных — это система управления базами данных (СУБД), основанная на реляционной модели данных. Содержимое СУРБД хранится в таблицах, состоящих из строк и столбцов, при этом каждая таблица представляет определенный объект или сущность в базе данных, которая может быть связана с другой. РСУБД, как правило, содержит несколько таблиц и включает дополнительные функции, обеспечивающие точность, непротиворечивость, целостность и безопасность данных, а также интерфейс SQL для доступа к данным относительно друг друга с помощью сложных запросов.

Что такое CDBMS?

КСУБД — это термин, введенный Gartner, который в основном описывает модель облачного развертывания для СУРБД выше.

Что такое структурированные данные?

Структурированные данные аккуратно форматируются в строки и столбцы и сопоставляются с предварительно определенными полями. Как правило, хранятся в электронных таблицах Excel или реляционных базах данных, примеры включают финансовые операции, демографическую информацию и машинные журналы. До недавнего времени структурированные данные были единственным используемым типом данных для бизнеса.

Что такое неструктурированные данные?

Неструктурированные данные не организованы в строки и столбцы, что затрудняет хранение, анализ и поиск. Примерами являются необработанные данные Интернета вещей (IoT), видео- и аудиофайлы, комментарии в социальных сетях и стенограммы центра обработки звонков. Неструктурированные данные обычно хранятся в озерах данных, базах данных NoSQL или современных хранилищах данных.

Что такое полуструктурированные данные?

Полуструктурированные данные имеют некоторые организационные свойства, такие как семантические теги или метаданные, но не соответствуют строкам и столбцам электронной таблицы или реляционной базы данных. Хорошим примером полуструктурированных данных является электронная почта, которая включает некоторые структурированные данные, такие как адреса отправителя и получателя, а также неструктурированные данные, такие как само сообщение.

Что такое мэппинг данных?

Мэппинг данных — это процесс сопоставления полей между различными структурами данных или базами данных. Это необходимый шаг, если базы данных должны быть объединены, если данные переносятся из одной системы или базы данных в другую или если в одном приложении или аналитическом инструменте должны использоваться разные источники данных, как это часто бывает в хранилище данных. Мэппинг данных определяет уникальную, конфликтующую и дублирующуюся информацию, чтобы можно было разработать набор правил для переноса всех данных в согласованную схему или формат.

Что такое моделирование данных?

При создании новой или альтернативной структуры базы данных разработчик начинает с диаграммы потока данных в базу данных и из нее. Диаграммы потоков данных называются моделированием данных. На этой схеме разработчики программного обеспечения могут определить признаки форматов данных, структур и функций обработки базы данных для эффективной поддержки требований к потокам данных.

Что такое хранилище данных?

Хранилище данных предоставляет единое комплексное хранилище данных из разных источников — как внутренних, так и внешних. Его основной целью является предоставление данных для бизнес-аналитики (BI), отчетности и аналитики. Современные хранилища данных могут хранить и управлять всеми типами данных, структурированными и неструктурированными, и обычно развертываются в облаке для большей масштабируемости и простоты использования.

Что такое озеро данных?

Озеро данных — это обширный пул данных, хранящихся в необработанном или естественном формате. Озера данных обычно используются для хранения больших данных, включая структурированные, неструктурированные и полуструктурированные данные.

Что такое большие данные?

Большие данные — это термин, описывающий очень большие наборы структурированных, неструктурированных и полуструктурированных данных. Большие данные часто характеризуются пятью вариантами: большой объем собранных данных, разнообразие типов данных, скорость генерации данных, достоверность данных и их ценность. С помощью систем управления большими данными и аналитики компании могут извлекать из больших данных глубокие сведения, которые помогают принимать решения и действовать.

Что такое небольшие данные?

В отличие от больших данных, которые являются чрезвычайно объемными и сложными, небольшие данные легко понять людям. Небольшие наборы данных могут включать в себя все, от маркетинговых опросов до ежедневных электронных таблиц, и даже могут быть «маленькими», как единая публикация в социальных сетях или электронная почта. Компании все чаще используют небольшие данные, помимо больших данных, для обучения алгоритмов искусственного интеллекта и машинного обучения еще более глубокому пониманию.

Что такое толстые данные?

Толстые данные — это качественная информация, которая дает представление о повседневной эмоциональной жизни потребителей. Она включает в себя наблюдения, чувства и реакции — вещи, которые обычно трудно количественно определить. В сочетании с большими данными формируется всесторонняя картина предпочтений и требований потребителя.

Что такое интеграция данных?

Интеграция данных — это практика приема, преобразования, объединения и предоставления данных там и тогда, где и когда они необходимы. Такая интеграция осуществляется на предприятии и за ее пределами — как для партнеров, так и для сторонних источников данных и сценариев использования — в целях удовлетворения требований к потреблению данных во всех приложениях и бизнес-процессах. Методы включают массовое/пакетное перемещение данных, извлечение, преобразование, загрузку (ETL), сбор данных изменений, репликацию данных, виртуализацию данных, интеграцию потоковых данных, оркестрацию данных и многое другое.

Что такое виртуализация данных?

Виртуализация данных обеспечивает компаниям единое представление всех корпоративных данных — в разрозненных системах и форматах — на виртуальном уровне данных. Вместо дублирования данных виртуализация данных оставляет данные в исходных системах и просто предоставляет виртуальное представление их пользователям и приложениям в реальном времени. Виртуализация данных — это современный подход к интеграции данных, который позволяет пользователям находить данные и управлять ими независимо от их физического местоположения, формата или протокола.

Что такое ткань данных?

Фабрика данных — это настраиваемое сочетание архитектуры и технологий. Она использует динамическую интеграцию и оркестрацию данных для соединения различных местоположений, источников и типов данных. Правильные структуры и потоки, определенные на платформе фабрики данных, позволяют компаниям быстро получать доступ к данным и обмениваться ими независимо от того, где и как они были созданы.

Что такое сетка данных?

Сетка данных — это подход к управлению данными, использующий распределенную архитектурную структуру. Другими словами, он распределяет ответственность и владение определенными наборами данных по всей компании на тех пользователей, которые обладают специальными знаниями, чтобы понять, что означают эти данные и как их наилучшим образом использовать.

Что такое пайплайн данных?

Конвейер данных описывает набор автоматизированных и повторяемых процессов для поиска, очистки, преобразования и анализа данных любого типа в источнике. Поскольку данные анализируются вблизи места их создания, бизнес-пользователи могут быстро анализировать и совместно использовать необходимую информацию с меньшими затратами для организации. Конвейеры данных также могут быть расширены такими технологиями, как машинное обучение, для ускорения и повышения их эффективности.

Что такое разрозненность данных?

Разрозненность данных — это сленговый термин, в котором отдельные отделы или функциональные сферы предприятия не обмениваются данными и информацией с другими отделами. Такая изоляция предотвращает скоординированные усилия по достижению целей компании и приводит к низкой производительности (и низкому обслуживанию клиентов), высоким затратам и общей неспособности реагировать на рыночные требования и изменения. Дублирующиеся и избыточные данные трудно сверить, что препятствует любым попыткам координировать операции и эффективно управлять бизнесом.

Что такое преобразование и очистка данных?

Обработка данных — это процесс извлечения необработанных данных и их преобразования в формат, совместимый с установленными базами данных и приложениями. Процесс может включать структурирование, очистку, пополнение и проверку данных по мере необходимости, чтобы сделать необработанные данные полезными.

Что такое защита данных?

Безопасность данных — это операция по обеспечению безопасности данных — защита от несанкционированного доступа или воздействия, аварий или системных сбоев и, в то же время, легкодоступность для законных пользователей и приложений. К методам и инструментам относятся шифрование данных, управление ключами, практика резервирования и резервного копирования, а также контроль доступа. Безопасность данных — это требование к организациям любых размеров и типов защитить данные клиентов и организационные данные от постоянно растущей угрозы утечки данных и рисков конфиденциальности. Избыточность и резервное копирование важны для обеспечения непрерывности бизнеса и аварийного восстановления.

Что такое конфиденциальность данных?

Конфиденциальность данных — это политики и практики обработки данных, защищающие их от несанкционированного доступа или раскрытия. Политики и практики защиты данных охватывают сбор и хранение информации в соответствии со стратегией организации в отношении данных, способы их передачи третьим лицам и соблюдение нормативных ограничений. Конфиденциальность данных — это императив бизнеса, отвечающий ожиданиям клиентов и защищающий целостность и безопасность хранимой информации.

Что такое качество данных?

Качество данных — это туманный термин, описывающий пригодность и надежность данных. Хорошее качество данных просто означает, что данные являются точными (действительно отражающими то, что они описывают), надежными (непротиворечивыми, проверяемыми, должным образом управляемыми и защищенными) и полными в той степени, в которой это требуется пользователям и приложениям. Качество данных может быть обеспечено только надлежащим образом разработанной и выполненной стратегией данных, осуществляемой с помощью инструментов и систем промышленной прочности, а также скрупулезно соблюдаемыми политиками и процедурами управления данными.

Что такое проверка данных?

Проверка данных — это процесс определения качества, точности и действительности данных перед их импортом или использованием. Проверка может состоять из ряда операций и процессов для аутентификации данных и, как правило, "очистки" элементов данных, включая удаление дубликатов, исправление очевидных ошибок или отсутствие элементов, а также возможные изменения форматирования (очистка данных). Проверка данных гарантирует точность и надежность информации, необходимой для принятия важных решений.

Что такое очистка данных?

Очистка данных – это процесс удаления или исправления ошибок из набора данных, таблицы или базы данных. Эти ошибки могут включать поврежденную, неточную, нерелевантную или неполную информацию. Этот процесс, также называемый очисткой данных, находит дубликаты данных и другие противоречия, такие как опечатки и числовые наборы, которые не суммируются. Очистка данных может привести к удалению неверной информации или исправлению очевидных ошибок, таких как пустые поля или отсутствующие коды.

Что такое целостность данных?

Целостность данных — это достоверность данных в долгосрочной перспективе. После ввода или импорта, обработки, проверки, очистки и сохранения данных целостность данных является выражением о том, что качество данных поддерживается, и пользователи могут быть уверены, что поступившие данные не изменились и не изменятся. Вызываются те же данные, что и первоначально сохраненные. Иногда используется в качестве синонима качества данных, целостность данных в большей степени связана с надежностью и надежностью.

Что такое управление данными?

Управление данными — это набор политик и практик для обеспечения надлежащего управления данными в масштабе всей организации. Он определяет ИТ-инфраструктуру и назначает лиц (или штатные должности), которые уполномочены и отвечают за обработку и защиту данных определенных типов. Эффективное управление данными обеспечивает доступность, надежность, безопасность и соответствие требованиям данных и предотвращает их неправильное использование.

Что такое управление данными?

Управление данными — это реализация политик и процедур управления данными для обеспечения точности, надежности, целостности и безопасности данных. Лица, ответственные за управление данными, управляют процедурами и инструментами, используемыми для обработки, хранения и защиты данных, и контролируют их.

Что такое архитектура данных?

Архитектура данных — это общий дизайн структуры, политик и правил, определяющих данные организации, а также способы их использования и управления. Архитектура данных включает подробные сведения о том, как стратегия данных реализуется в соответствии с бизнес-потребностями и целями, и служит основой для разработки баз данных, процедур, гарантий, безопасности и управления данными.

Что такое управление основными данными?

Управление основными данными (MDM) — это практика создания единого "основного" ссылочного источника для всех важных бизнес-данных. Он включает политики и процедуры для определения, управления и контроля (или управления) обработки основных данных. Централизованное управление основными данными устраняет конфликты и путаницы, возникающие в результате разрозненных баз данных с дублирующейся информацией и несогласованными данными, которые могут быть устаревшими, испорченными или перемещенными вовремя, обновляемыми в одном месте, но не в другом. Наличие одной версии для всего предприятия означает, что все подразделения организации работают с одними и теми же определениями, стандартами и допущениями.

Что такое аналитика?

Термин "аналитика" относится к систематическому анализу данных. Аналитические приложения и наборы инструментов содержат математические алгоритмы и вычислительные механизмы, которые могут управлять большими наборами данных для выявления закономерностей, тенденций, отношений и других интеллектуальных возможностей, которые позволяют пользователям задавать вопросы и получать полезную информацию о своем бизнесе, операциях и рынках. Многие современные наборы инструментов аналитики предназначены для использования нетехническими бизнес-специалистами, что позволяет им выполнять такой анализ с минимальной помощью специалистов по обработке данных или ИТ-специалистов.

Что такое дополненная аналитика?

Дополненная аналитика — это аналитика, «дополненная» технологиями искусственного интеллекта, включая машинное обучение и обработку на естественном языке (NLP). Дополненная аналитика не только помогает пользователям быстрее получать более глубокие сведения, но и автоматизирует множество сложных шагов процесса и позволяет даже нетехническим пользователям запрашивать данные естественным, диалоговым способом.

Что такое сбор данных?

Сбор данных — это извлечение полезной информации из больших наборов данных. Сбор данных часто выполняется бизнес-пользователями, использующими аналитические инструменты для выявления закономерностей, тенденций, аномалий, отношений, зависимостей и другой полезной информации. Сбор данных имеет широкий спектр приложений: от выявления проблем мошенничества и кибербезопасности до улучшения прогнозов и поиска возможностей повышения производительности.

Что такое профилирование данных?

Профилирование данных — это практика сбора статистики и признаков о наборе данных, таких как его точность, полнота и действительность. Профилирование данных — это один из методов, используемых при проверке и очистке данных, поскольку он помогает выявлять проблемы с качеством данных, такие как избыточность, отсутствие значений и противоречивость.