Глосарій керування даними

Що таке база даних?

База даних – це засіб для організації, зберігання, керування, захисту та контролю доступу до даних. Бази даних розроблені за низкою різних схем (схем), багато з яких дотримуються реляційної моделі для зручності доступу програмами та запитами даних. Загальні типи баз даних включають реляційні системи керування базами даних (RDBMS), бази даних in-memory, об'єктно-орієнтовані бази даних (OODBMS), бази даних NoSQL і бази даних NewSQL — кожна з яких має свої переваги.

Що таке управління даними?

Управління даними відноситься до всіх функцій, необхідних для збору, контролю, захисту, маніпулювання та доставки даних. Системи управління даними включають бази даних, сховища даних і вітрини даних; інструменти для збору, зберігання та пошуку даних; і утиліти для допомоги в перевірці, якості та інтеграції з додатками та аналітичними інструментами. Підприємствам потрібна стратегія даних для встановлення відповідальності за дані, які походять або є ендемічними для певних сфер відповідальності.

Що таке управління базами даних?

Управління базами даних відноситься до процесів і процедур, необхідних для зберігання, обробки, маніпулювання та захисту даних. У багатьох організаціях відповідальність за створення та нагляд за такими процедурами є основною відповідальністю Адміністратора баз даних (DBA) або аналогічної посади. Більшість організацій покладаються на комерційну систему управління базами даних (СУБД) як основний інструмент управління своєю базою даних.

Що таке система управління базами даних (СУБД)?

Система управління базами даних (СУБД) - це програмний інструментарій, який забезпечує структуру зберігання та об'єкт управління даними для управління базами даних. СУБД може бути невід'ємною частиною ліцензованої системи планування ресурсів підприємства (ERP), необхідною окремою покупкою, частиною системного програмного забезпечення (операційної системи) або окремо ліцензованим програмним продуктом. Незалежно від джерела, дуже важливо, щоб додатки були побудовані навколо і/або повністю інтегровані з СКБД, оскільки вони взаємозалежні від ефективної функціональності як додатків, так і СКБД. СУБД по суті є інструментарієм для управління базами даних.

Що таке база даних SQL?

База даних SQL — це реляційна база даних, яка зберігає дані в таблицях і рядках. Позиції даних (рядки) пов’язані на основі загальних елементів даних, щоб забезпечити ефективність, уникнути надмірності та полегшити легкий, гнучкий виклик. Ім'я SQL походить від Structured Query Language, інструментарію та протоколу запитів природною мовою, який користувачі можуть вивчати та застосовувати до будь-якої сумісної бази даних для зберігання, маніпулювання та пошуку даних.

Що таке база даних NoSQL?

NoSQL бази даних були розроблені для обробки неструктурованих даних, які SQL не підтримує через відсутність структури. NoSQL використовує творчі методи для подолання цього обмеження, включаючи динамічні схеми та різні методи попередньої обробки. Найбільш поширеними типами баз даних для неструктурованих даних є ключ-значення, документ, стовпчик і графові бази даних і часто включають такі речі, як відео, графіка, вільний текст і необроблений вихід датчика.

Що таке реляційна система управління базами даних (RDBMS)?

Реляційна система управління базами даних — це система управління базами даних (СУБД), яка базується на реляційній моделі даних. Вміст RDBMS зберігається в таблицях, що складаються з рядків і стовпчиків, при цьому кожна таблиця, що представляє певний об'єкт, або сутність, в базі даних, яка може бути пов'язана з іншим. RDBMS, як правило, містить кілька таблиць і включає додаткові функції, які підтримують точність, узгодженість, цілісність і безпеку даних, а також інтерфейс SQL для доступу до даних по відношенню один до одного через складні запити.

Що таке CDBMS?

CDBMS — це термін, введений Gartner, який в основному описує хмарну модель розгортання для RDBMS вище.

Що таке структуровані дані?

Структуровані дані акуратно відформатовано в рядки та стовпчики та зіставлено з попередньо визначеними полями. Як правило, зберігаються в електронних таблицях Excel або реляційних базах даних, приклади включають фінансові операції, демографічну інформацію та машинні журнали. До недавнього часу структуровані дані були єдиним придатним для використання типом даних для бізнесу.

Що таке неструктуровані дані?

Неструктуровані дані не впорядковані в рядки та стовпчики, що ускладнює зберігання, аналіз і пошук. Прикладами є необроблені дані Інтернету речей (IoT), відео та аудіо файли, коментарі в соціальних мережах та розшифровки колл-центру. Неструктуровані дані зазвичай зберігаються в озерах даних, базах даних NoSQL або сучасних сховищах даних.

Що таке напівструктуровані дані?

Напівструктуровані дані мають деякі організаційні властивості, такі як семантичні теги або метадані, але не відповідають рядкам і стовпчикам електронної таблиці або реляційної бази даних. Хорошим прикладом напівструктурованих даних є електронна пошта, яка включає деякі структуровані дані, такі як адреси відправника та одержувача, але також неструктуровані дані, як і саме повідомлення.

Що таке відображення даних?

Меппінг даних - це процес звірення полів між різними структурами даних або базами даних. Це необхідний крок, якщо бази даних мають бути об'єднані, якщо дані переносяться з однієї системи або бази даних в іншу, або якщо різні джерела даних повинні використовуватися в одному додатку або аналітичному інструменті, як це часто відбувається у сховищі даних. Меппінг даних визначить унікальну, конфліктну та дубльовану інформацію, щоб можна було розробити набір правил для виведення всіх даних у скоординовану схему або формат.

Що таке моделювання даних?

При створенні нової або альтернативної структури бази даних дизайнер починає з діаграми того, як дані будуть надходити в базу даних і виходити з неї. Діагностика потоків даних називається моделюванням даних. На цій потоковій діаграмі інженери програмного забезпечення можуть визначити характеристики форматів даних, структур і функцій обробки баз даних для ефективної підтримки вимог до потоку даних.

Що таке зберігання даних?

Сховище даних надає єдине комплексне сховище для даних з багатьох різних джерел — як внутрішніх, так і зовнішніх. Його основною метою є надання даних для бізнес-аналітики, звітності та аналітики. Сучасні сховища даних можуть зберігати та керувати всіма типами даних, структурованими та неструктурованими, і, як правило, розгорнуті в хмарі для більшої масштабованості та зручності використання.

Що таке озеро даних?

Озеро даних – це великий пул даних, що зберігається в його необробленому або природному форматі. Озера даних зазвичай використовуються для зберігання великих даних, включаючи структуровані, неструктуровані та напівструктуровані дані.

Що таке великі дані?

Big Data — це термін, який описує надзвичайно великі набори даних структурованих, неструктурованих і напівструктурованих даних. Big Data часто характеризується п'ятьма Vs: повний обсяг зібраних даних, різноманітність типів даних, швидкість, з якою генеруються дані, правдивість даних і їх значення. За допомогою систем управління великими даними та аналітики компанії можуть видобувати великі дані для глибоких аналітичних висновків, які керують прийняттям рішень та діями.

Що таке невеликі дані?

На відміну від Big Data, які є надзвичайно об'ємними і складними, маленькі дані легко зрозуміти людям. Невеликі набори даних можуть включати в себе все, що завгодно від маркетингових опитувань до щоденних електронних таблиць, і навіть можуть бути такими ж «малими», як один пост у соціальних мережах або електронна пошта. Все частіше компанії використовують невеликі дані, на додаток до Big Data, для навчання своїх алгоритмів штучного інтелекту та машинного навчання, для ще глибшого розуміння.

Що таке товсті дані?

Товсті дані – це якісна інформація, яка дає уявлення про повсякденне емоційне життя споживачів. Вона включає спостереження, почуття та реакції — речі, які зазвичай важко кількісно оцінити. У поєднанні з Big Data з'являється дуже вичерпна картина про уподобання та вимоги споживача.

Що таке інтеграція даних?

Інтеграція даних – це практика прийняття, перетворення, об’єднання та надання даних, де і коли це необхідно. Ця інтеграція відбувається на підприємстві та за його межами (між партнерами, а також сторонніми джерелами даних і випадками використання) для задоволення вимог щодо споживання даних усіма застосунками та бізнес-процесами. Методи включають масовий/пакетний рух даних, екстракцію, перетворення, завантаження (ETL), збір даних, реплікацію даних, віртуалізацію даних, інтеграцію потокових даних, оркестрацію даних тощо.

Що таке віртуалізація даних?

Віртуалізація даних забезпечує компаніям уніфіковане подання всіх корпоративних даних — у різних системах і форматах — у віртуальному рівні даних. Замість дублювання даних віртуалізація даних залишає дані в своїх вихідних системах і просто розкриває віртуальне представлення їх користувачам і додаткам в режимі реального часу. Віртуалізація даних – це сучасний підхід до інтеграції даних, який дозволяє користувачам виявляти та маніпулювати даними незалежно від їх фізичного розташування, формату або протоколу.

Що таке тканина даних?

Тканина даних - це індивідуальне поєднання архітектури та технології. Він використовує динамічну інтеграцію даних і оркестрацію для з'єднання різних місцезнаходжень, джерел і типів даних. Маючи правильні структури та потоки, визначені в межах платформи тканини даних, компанії можуть швидко отримувати доступ до даних і ділитися ними незалежно від того, де вони або як вони були створені.

Що таке сітка даних?

Сітка даних - це підхід до управління даними, який використовує розподілену архітектурну структуру. Іншими словами: він розподіляє право власності та відповідальність за конкретні набори даних у всьому бізнесі, на тих користувачів, які мають досвід спеціаліста, щоб зрозуміти, що це означає ці дані та як їх використовувати якнайкраще.

Що таке конвеєр даних?

Конвеєр даних описує набір автоматизованих і повторюваних процесів для пошуку, очищення, трансформації та аналізу будь-якого типу даних у його джерелі. Оскільки дані аналізуються поблизу місця їх генерування, бізнес-користувачі можуть швидко аналізувати та ділитися потрібною їм інформацією за меншими витратами для організації. Трубопроводи даних також можуть бути вдосконалені такими технологіями, як машинне навчання, щоб зробити їх швидшими та ефективнішими.

Що таке силоси даних?

Силос даних - це сленговий термін для ситуації, коли окремі відділи або функціональні області в межах підприємства не обмінюються даними та інформацією з іншими відділами. Ця ізоляція запобігає скоординованим зусиллям щодо цілей компанії та призводить до низької продуктивності (і поганого обслуговування клієнтів), високих витрат і загальної нездатності реагувати на потреби ринку та зміни. Дубльовані та надлишкові дані важко узгодити, що ще більше заважає будь-яким спробам координувати діяльність та ефективно керувати бізнесом.

Що таке обробка даних?

Обробка даних - це процес прийняття необроблених даних і перетворення їх у формат, сумісний зі встановленими базами даних і додатками. Процес може включати структурування, очищення, збагачення та перевірку даних, якщо це необхідно для того, щоб необроблені дані були корисними.

Що таке безпека даних?

Безпека даних – це акт забезпечення безпеки та безпеки даних — від несанкціонованого доступу або впливу, катастрофи або збою системи, і, в той же час, легко доступних для законних користувачів і додатків. Методи та інструменти включають шифрування даних, керування ключами, надмірність та методи резервного копіювання, а також засоби контролю доступу. Безпека даних є вимогою для організацій усіх розмірів і типів для захисту даних клієнтів і організацій від постійно зростаючої загрози витоку даних і ризиків конфіденційності. Резервування та резервні копії важливі для безперервності бізнесу та відновлення після аварії.

Що таке конфіденційність даних?

Конфіденційність даних відноситься до політики та практики обробки даних способами, що захищають їх від несанкціонованого доступу або розголошення. Політика та практика конфіденційності даних охоплює те, як інформація збирається та зберігається відповідно до стратегії даних організації, як вона може передаватися або не передаватися третім сторонам, а також як дотримуватися регуляторних обмежень. Конфіденційність даних є діловим імперативом, який задовольняє очікування клієнта, захищаючи при цьому цілісність і безпеку збереженої інформації.

Що таке якість даних?

Якість даних - це туманний термін, що описує придатність і надійність даних. Хороші, якісні дані просто означають, що дані є точними (дійсно репрезентативними щодо того, що вони описують), надійними (послідовними, придатними для аудиту, належним чином керованими та захищеними) та повними тією мірою, якою цього потребують користувачі та застосунки. Якість даних може бути забезпечена лише належним чином розробленою та виконаною стратегією даних, що виконується за допомогою інструментів та систем промислової міцності разом із скрупульозно дотриманими політиками та процедурами управління даними.

Що таке перевірка даних?

Перевірка даних – це процес визначення якості, точності та достовірності даних перед їх імпортом або використанням. Перевірка може складатися з ряду операцій і процесів для автентифікації даних і, як правило, «очищення» елементів даних, включаючи видалення дублікатів, виправлення очевидних помилок або відсутніх елементів, а також можливих змін форматування (очищення даних). Перевірка даних гарантує, що інформація, необхідна для прийняття важливих рішень, є точною та надійною.

Що таке очищення даних?

Очищення даних – це процес видалення або виправлення помилок із набору даних, таблиці або бази даних. Ці помилки можуть включати пошкоджену, неточну, неактуальну або неповну інформацію. Цей процес, який також називається очищенням даних, знаходить дублікати даних та інші суперечності, такі як друкарська помилка та числові набори, які не додаються. Очищення даних може видалити неправильну інформацію або виправити очевидні помилки, такі як порожні поля або відсутні коди.

Що таке цілісність даних?

Цілісність даних відноситься до достовірності даних протягом тривалого періоду. Після введення або імпорту даних, перекручених, перевірених, очищених і збережених даних цілісність даних є заявою про те, що якість даних підтримується, і користувачі можуть бути впевнені, що дані, які увійшли, не змінилися і не будуть змінюватися. Отримані дані збігаються з даними, які спочатку зберігалися. Іноді використовується як синонім якості даних, цілісність даних більше стосується надійності та надійності.

Що таке управління даними?

Управління даними – це набір політик і практик для забезпечення належного управління даними в організації. Вона встановлює ІТ-інфраструктуру та називає осіб (або посади), які мають повноваження та відповідальність за обробку та захист конкретних типів даних. Ефективне управління даними гарантує, що дані доступні, надійні, безпечні та сумісні, і що вони не використовуються неправильно.

Що таке управління даними?

Управління даними – це реалізація політик і процедур управління даними для встановлення точності, надійності, цілісності та безпеки даних. Особи, призначені з обов'язками з управління даними, керують процедурами та інструментами, які використовуються для обробки, зберігання та захисту даних.

Що таке архітектура даних?

Архітектура даних – це загальний дизайн структури, політики та правил, які визначають дані організації та спосіб їх використання та керування. Архітектура даних включає в себе деталі того, як стратегія даних реалізується на підтримку бізнес-потреб і цілей, і служить основою для розробки баз даних, процедур, гарантій, безпеки та управління даними.

Що таке керування основними даними?

Керування основними даними (MDM) – це практика створення єдиного, «основного» посилального джерела для всіх важливих бізнес-даних. Вона включає політики та процедури для визначення, керування та контролінгу (або регулювання) обробки основних даних. Централізоване керування основними даними усуває конфлікт і плутанину, яка випливає з розкиданих баз даних з дубльованою інформацією та неузгодженими даними, які можуть бути застарілими, пошкодженими або зміщеними в часі — оновлюються в одному місці, але не в іншому. Наявність однієї версії для обслуговування всього підприємства означає, що всі частини організації працюють з однаковими визначеннями, стандартами та припущеннями.

Що таке аналітика?

Термін аналітика відноситься до систематичного аналізу даних. Аналітичні програми та набори інструментів містять математичні алгоритми та обчислювальні двигуни, які можуть маніпулювати великими наборами даних для розкриття шаблонів, тенденцій, відносин та іншого інтелекту, які дозволяють користувачам ставити запитання та отримувати корисну інформацію про свій бізнес, операції та ринки. Багато сучасних аналітичних інструментів призначені для використання нетехнічними діловими людьми, що дозволяє їм виконувати ці аналізи з мінімальною допомогою вчених даних або ІТ-фахівців.

Що таке доповнена аналітика?

Доповнена аналітика – це аналітика, яка «доповнюється» технологіями штучного інтелекту, включаючи машинне навчання та обробку природної мови (NLP). Не тільки доповнена аналітика може допомогти користувачам розкрити глибші аналітичні дані, а й швидше – вони можуть автоматизувати багато складних кроків у процесі та дозволити навіть нетехнічним користувачам запитувати дані природним, розмовним способом.

Що таке інтелектуальний аналіз даних?

Інтелектуальний аналіз даних – це акт вилучення корисної інформації з великих наборів даних. Інтелектуальний аналіз даних часто виконується бізнес-користувачами, які використовують інструменти аналітики для розкриття шаблонів, тенденцій, аномалій, відносин, залежностей та іншого корисного інтелекту. Інтелектуальний аналіз даних має широкий спектр додатків: від виявлення шахрайства та проблем кібербезпеки до покращення прогнозів та пошуку можливостей для покращення продуктивності.

Що таке профілювання даних?

Профілювання даних – це практика збору статистики та ознак щодо набору даних, таких як його точність, повнота та валідність. Профілювання даних – це одна з методик, які використовуються для перевірки даних і очищення даних, оскільки це може допомогти виявити проблеми з якістю даних, такі як надлишковість, відсутні значення та суперечності.