Глосарій управління даними

Що таке база даних?

База даних — це об'єкт для організації, зберігання, управління, захисту та контролю доступу до даних. Бази даних проектуються за низкою різних схем (схем), багато з яких дотримуються реляційної моделі для зручності доступу програм і запитів до даних. Поширені типи баз даних включають реляційні системи управління базами даних (RDBMS), бази даних у пам'яті, об'єктно-орієнтовані бази даних (OODBMS), бази даних NoSQL та бази даних NewSQL — кожна з яких має свої переваги.

Що таке управління даними?

Управління даними стосується всіх функцій, необхідних для збору, контролю, захисту, маніпуляції та доставки даних. Системи управління даними включають бази даних, сховища даних і торгові центри даних; інструменти для збору, зберігання та пошуку даних; а також утиліти для допомоги у валідації, якості та інтеграції з додатками та аналітичними інструментами. Бізнесу потрібна стратегія роботи з даними для встановлення відповідальності за дані, які походять або є ендемічними для певних сфер відповідальності.

Що таке управління базою даних?

Управління базами даних — це процеси та процедури, необхідні для зберігання, обробки, маніпуляції та захисту даних. У багатьох організаціях відповідальність за встановлення та нагляд за такими процедурами є основною відповідальністю адміністратора бази даних (DBA) або подібної посади. Більшість організацій покладаються на комерційну систему управління базами даних (СУБД) як основний інструмент для управління своєю базою даних.

Що таке система управління базами даних (СУБД)?

Система управління базами даних (СУБД) — це програмний набір інструментів, який забезпечує структуру зберігання та можливість управління даними для управління базами даних. СУБД може бути невід'ємною частиною ліцензованої системи планування ресурсів підприємства (ERP), обов'язковою окремою покупкою, частиною програмного забезпечення системи (операційної системи) або окремо ліцензованим програмним продуктом. Незалежно від джерела, важливо, щоб додатки були побудовані навколо СУБД або повністю інтегровані з нею, оскільки вони взаємозалежні для ефективної функціональності як додатків, так і СУБД. СУБД — це, по суті, набір інструментів для управління базами даних.

Що таке SQL-база даних?

SQL-база даних — це реляційна база даних, яка зберігає дані у таблицях і рядках. Елементи даних (рядки) пов'язані на основі спільних елементів даних для підвищення ефективності, уникнення надмірності та полегшення легкого та гнучкого пошуку. Назва SQL походить від Structured Query Language — інструментарію та протоколу запитів природною мовою, який користувачі можуть вивчати та застосовувати до будь-якої сумісної бази даних для зберігання, обробки та пошуку даних.

Що таке база даних NoSQL?

NoSQL бази даних були розроблені для обробки неструктурованих даних, які SQL не може підтримувати через відсутність структури. NoSQL використовує креативні методи для подолання цього обмеження, включаючи динамічні схеми та різні техніки попередньої обробки. Найпоширенішими типами баз даних для неструктурованих даних є ключові значення, документи, стовпці та графіки, які часто включають такі речі, як відео, графіка, вільний текст і сирий сенсорний вихід.

Що таке реляційна система управління базами даних (RDBMS)?

Реляційна система управління базами даних — це система управління базами даних (СУБД), яка базується на реляційній моделі даних. Вміст СУБД зберігається у таблицях, що складаються з рядків і стовпців, кожна таблиця представляє конкретний об'єкт або сутність у базі даних, який може бути пов'язаний з іншим. RDBMS зазвичай містить кілька таблиць і включає додаткові функції, які підтримують точність, узгодженість, цілісність і безпеку даних, а також SQL-інтерфейс для доступу до даних між собою через складні запити.

Що таке CDBMS?

CDBMS — це термін, введений Gartner і який переважно описує модель розгортання хмарних СУБД для СУБД, описану вище.

Що таке структуровані дані?

Структуровані дані акуратно форматуються у рядки та стовпці та відображаються у попередньо визначені поля. Зазвичай зберігаються у Excel-таблицях або реляційних базах даних, прикладами є фінансові операції, демографічна інформація та машинні журнали. До недавнього часу структуровані дані були єдиним придатним для бізнесу типом даних.

Що таке неструктуровані дані?

Неструктуровані дані не організовані у рядки та стовпці, що ускладнює зберігання, аналіз і пошук. Прикладами є сирі дані Інтернету речей (IoT), відео- та аудіофайли, коментарі в соціальних мережах та транскрипти кол-центрів. Неструктуровані дані зазвичай зберігаються в озерах даних, NoSQL базах даних або сучасних сховищах даних.

Що таке напівструктуровані дані?

Напівструктуровані дані мають певні організаційні властивості, такі як семантичні теги або метадані, але не відповідають рядкам і стовпцям електронної таблиці чи реляційної бази даних. Добрим прикладом напівструктурованих даних є електронна пошта, яка включає деякі структуровані дані, такі як адреси відправника та отримувача, а також неструктуровані дані, наприклад, саме повідомлення.

Що таке картографування даних?

Відображення даних — це процес зіставлення полів між різними структурами даних або базами даних. Це необхідний крок, якщо бази даних потрібно об'єднати, якщо дані мігруються з однієї системи чи бази даних в іншу, або якщо різні джерела даних використовуються в межах одного додатку чи аналітичного інструменту — як це часто трапляється у сховищах даних. Відображення даних виявляє унікальну, суперечливу та дубльовану інформацію, щоб розробити набір правил для об'єднання всіх даних у скоординовану схему або формат.

Що таке моделювання даних?

При створенні нової або альтернативної структури бази даних дизайнер починає з діаграми того, як дані будуть надходити до бази даних і з неї. Діаграмування потоків даних називається моделюванням даних. На основі цієї діаграми потоку програмісти можуть визначати характеристики форматів даних, структур і функцій обробки баз даних для ефективної підтримки вимог до потоків даних.

Що таке сховище даних?

Сховище даних забезпечує єдине, комплексне сховище даних з багатьох різних джерел — як внутрішніх, так і зовнішніх. Його основна мета — надання даних для бізнес-аналітики (BI), звітності та аналітики. Сучасні сховища даних можуть зберігати та керувати всіма типами даних, структурованими та неструктурованими, і зазвичай розгортаються в хмарі для більшої масштабованості та простоти використання.

Що таке озеро даних?

Озеро даних — це величезний пул даних, збережених у сирому або природному форматі. Data Lakes зазвичай використовуються для зберігання Big Data, включаючи структуровані, неструктуровані та напівструктуровані дані.

Що таке Big Data?

Великі дані — це термін, що описує надзвичайно великі набори даних зі структурованих, неструктурованих і напівструктурованих даних. Великі дані часто характеризуються п'ятьма V: величезним обсягом зібраних даних, різноманіттям типів даних, швидкістю генерації даних, достовірністю даних і їхньою цінністю . Завдяки системам управління Big Data та аналітиці компанії можуть аналізувати Big Data для отримання глибоких інсайтів, які керують прийняттям рішень і діями.

Що таке малі дані?

На відміну від Big Data, які є надзвичайно об'ємними та складними, малі дані легко зрозуміти людині. Невеликі набори даних можуть включати все — від маркетингових опитувань до щоденних таблиць — і навіть можуть бути такими «малими», як один пост у соцмережах або електронний лист. Все частіше компанії використовують малі дані, окрім Big Data, для навчання своїх алгоритмів штучного інтелекту та машинного навчання, щоб отримати ще глибші інсайти.

Що таке товсті дані?

Товсті дані — це якісна інформація, яка дає уявлення про повсякденне емоційне життя споживачів. Вона включає спостереження, почуття та реакції — речі, які зазвичай важко кількісно оцінити. У поєднанні з Big Data виникає дуже повна картина вподобань і потреб споживача.

Що таке інтеграція даних?

Інтеграція даних — це практика прийому, трансформації, комбінації та надання даних там, де і коли це потрібно. Ця інтеграція відбувається як у підприємстві, так і за його межами — між партнерами, а також сторонніми джерелами даних і кейсами використання — щоб задовольнити вимоги споживання даних усіх додатків і бізнес-процесів. Техніки включають масовий/пакетний переміщення даних, вилучення, трансформацію, завантаження (ETL), захоплення змін даних, реплікацію даних, віртуалізацію даних, інтеграцію потокових даних, оркестрацію даних та інше.

Що таке віртуалізація даних?

Віртуалізація даних надає компаніям єдиний огляд усіх корпоративних даних — у різних системах і форматах — у віртуальному шарі даних. Замість дублювання даних віртуалізація залишає їх у вихідних системах і просто відкриває віртуальне представлення для користувачів і додатків у реальному часі. Віртуалізація даних — це сучасний підхід до інтеграції даних, який дозволяє користувачам знаходити та маніпулювати даними незалежно від їхнього фізичного розташування, формату чи протоколу.

Що таке data fabric?

Data fabric — це індивідуальне поєднання архітектури та технологій. Він використовує динамічну інтеграцію та оркестрацію даних для з'єднання різних локацій, джерел і типів даних. Завдяки правильним структурам і потокам, визначеним у платформі data fabric, компанії можуть швидко отримувати доступ і обмінюватися даними незалежно від того, де вони знаходяться і як були створені.

Що таке data mesh?

Data mesh — це підхід до управління даними, який використовує розподілену архітектурну структуру. Інакше кажучи: це розподіляє право власності та відповідальності за конкретні набори даних по всьому бізнесу серед тих користувачів, які мають спеціалізовану експертизу, щоб зрозуміти, що означають ці дані і як їх найкраще використовувати.

Що таке пайплайн даних?

Конвеєр даних описує набір автоматизованих і повторюваних процесів для пошуку, очищення, трансформації та аналізу будь-якого типу даних у їхньому джерелі. Оскільки дані аналізуються поруч із місцем їх генерації, бізнес-користувачі можуть швидко аналізувати та ділитися необхідною інформацією за меншу вартість для організації. Конвеєри даних також можуть покращуватися за допомогою таких технологій, як машинне навчання, щоб зробити їх швидшими та ефективнішими.

Що таке силоси даних?

Силос даних — це сленговий термін для позначення ситуації, коли окремі відділи або функціональні сфери підприємства не діляться даними та інформацією з іншими відділами. Ця ізоляція заважає координованим зусиллям досягти цілей компанії і призводить до низької продуктивності (та поганого обслуговування клієнтів), високих витрат і загальної нездатності реагувати на ринкові вимоги та зміни. Дубльовані та надлишкові дані важко узгодити, що додатково унеможливлює будь-які спроби координувати діяльність і ефективно управляти бізнесом.

Що таке обробка даних?

Обробка даних — це процес перетворення сирих даних у формат, сумісний із усталеними базами даних і додатками. Процес може включати структурування, очищення, збагачення та валідацію даних за потреби, щоб зробити сирі дані корисними.

Що таке безпека даних?

Безпека даних — це акт забезпечення безпеки даних — захищених від несанкціонованого доступу або впливу, катастроф чи збою системи, і водночас легко доступними для легітимних користувачів і додатків. Методи та інструменти включають шифрування даних, управління ключами, практики резервування та резервного копіювання, а також контроль доступу. Безпека даних є вимогою для організацій будь-якого розміру та типу, щоб захистити дані клієнтів і організацій від постійно зростаючої загрози витоків даних і ризиків конфіденційності. Резервування та резервне копіювання важливі для безперервності бізнесу та відновлення після катастроф.

Що таке конфіденційність даних?

Конфіденційність даних стосується політик і практик поводження з даними таким чином, що захищає їх від несанкціонованого доступу або розголошення. Політики та практики конфіденційності даних охоплюють, як інформація збирається та зберігається відповідно до стратегії організації щодо даних, як вона може або не може передаватися третім сторонам, а також як дотримуватися регуляторних обмежень. Конфіденційність даних — це бізнес-імператив, який задовольняє очікування клієнтів, одночасно захищаючи цілісність і безпеку збереженої інформації.

Що таке якість даних?

Якість даних — це розмитий термін, що описує придатність і надійність даних. Якісні, якісні дані просто означає, що дані є точними (справді репрезентативними для того, що вони описують), надійними (послідовними, аудитуваними, належним управлінням і захищеними) і повними настільки, наскільки це потрібно користувачам і додаткам. Якість даних може бути забезпечена лише за допомогою належно розробленої та реалізованої стратегії даних, реалізованої з використанням промислових інструментів і систем, а також ретельно дотримуваних політик і процедур управління даними.

Що таке валідація даних?

Валідація даних — це процес визначення якості, точності та достовірності даних перед імпортом або використанням. Валідація може складатися з низки дій і процесів автентифікації даних та загального «очищення» елементів даних, включаючи видалення дублікатів, виправлення очевидних помилок або відсутніх елементів, а також можливі зміни форматування (очищення даних). Перевірка даних гарантує, що інформація, необхідна для прийняття важливих рішень, є точною та надійною.

Що таке очищення даних?

Очищення даних — це процес видалення або виправлення помилок із набору даних, таблиці або бази даних. Ці помилки можуть включати спотворену, неточну, нерелевантну або неповну інформацію. Цей процес, також званий очищенням даних, виявляє дублікати даних та інші невідповідності, такі як опечатки та числові набори, які не сходяться. Очищення даних може видалити неправильну інформацію або виправити очевидні помилки, такі як порожні поля чи відсутні коди.

Що таке цілісність даних?

Цілісність даних стосується достовірності даних у довгостроковій перспективі. Після внесення або імпорту даних, обробки, перевірки, очищення та збереження цілісності даних є заявою про збереження якості даних, і користувачі можуть бути впевнені, що дані, які були введені, не змінюються і не змінюються. Отримані дані збігаються з тими, що зберігалися спочатку. Іноді її використовують як синонім якості даних, цілісність даних більше стосується надійності та надійності.

Що таке управління даними?

Управління даними — це набір політик і практик для забезпечення належного управління даними в організації. Вона встановлює ІТ-інфраструктуру та призначає осіб (або посади), які мають повноваження та відповідальність за обробку та захист конкретних типів даних. Ефективне управління даними гарантує, що вони є доступними, надійними, безпечними та відповідними вимогам — і щоб вони не використовувалися неправильно.

Що таке управління даними?

Управління даними — це впровадження політик і процедур управління даними для встановлення точності, надійності, цілісності та безпеки даних. Особи, відповідальні за управління даними, керують і контролюють процедури та інструменти, що використовуються для обробки, зберігання та захисту даних.

Що таке архітектура даних?

Архітектура даних — це загальний дизайн структури, політик і правил, які визначають дані організації та спосіб їх використання та управління. Архітектура даних включає деталі того, як стратегія даних реалізується на підтримку бізнес-потреб і цілей — і слугує основою для розробки баз даних, процедур, заходів захисту, безпеки та управління даними.

Що таке управління основними даними?

Управління головними даними (MDM) — це практика створення єдиного, «головного» джерела довідки для всіх важливих бізнес-даних. Вона включає політики та процедури для визначення, управління та контролю (або регулювання) обробки головних даних. Централізоване управління головними даними усуває конфлікти та плутанину, що виникають через розкидані бази даних із дубльованою інформацією та неузгодженими даними, які можуть бути застарілими, пошкодженими або зміщеними з часом — оновлюватися в одному місці, але не в іншому. Наявність однієї версії для обслуговування всього підприємства означає, що всі частини організації працюють за однаковими визначеннями, стандартами та припущеннями.

Що таке аналітика?

Термін аналітика означає систематичний аналіз даних. Аналітичні додатки та набори інструментів містять математичні алгоритми та обчислювальні двигуни, які можуть маніпулювати великими наборами даних для виявлення закономірностей, тенденцій, взаємозв'язків та іншої інформації, що дозволяє користувачам ставити запитання та отримувати корисну інформацію про свій бізнес, операції та ринки. Багато сучасних аналітичних інструментарій розроблені для використання нетехнічними бізнесменами, що дозволяє їм проводити ці аналізи з мінімальною допомогою дата-сайентістів або ІТ-спеціалістів.

Що таке доповнена аналітика?

Доповнена аналітика — це аналітика, яка «доповнюється» технологіями штучного інтелекту, включаючи машинне навчання та обробку природної мови (NLP). Доповнена аналітика не лише допомагає користувачам швидше відкривати глибші інсайти — вона автоматизує багато складних етапів процесу та дозволяє навіть нетехнічним користувачам робити запити у вигляді природного, розмовного способу.

Що таке майнінг даних?

Добування даних — це процес вилучення корисної інформації з великих наборів даних. Добування даних часто здійснюється бізнес-користувачами, які використовують аналітичні інструменти для виявлення закономірностей, тенденцій, аномалій, взаємозв'язків, залежностей та іншої корисної інформації. Добування даних має широкий спектр застосувань — від виявлення шахрайства та проблем із кібербезпекою до покращення прогнозів і пошуку можливостей для покращення продуктивності.

Що таке профілювання даних?

Профілювання даних — це практика збору статистики та характеристик набору даних, таких як його точність, повнота та валідність. Профілювання даних — одна з технік, що використовуються у валідації даних та очищенні даних, оскільки допомагає виявляти проблеми з якістю даних, такі як надлишковість, відсутні значення та невідповідності.