データ管理とは？
データ管理は、生産性、効率性、意思決定を支援できるようにデータを収集、整理、管理し、これにアクセスするための手法です。
データ管理の概要
データはビジネスの運営に不可欠な存在です。今日の高度に接続されたグローバルなデジタル経済を支える多様なシステムおよびテクノロジーにはノイズが発生しますが、企業はその中でデータを理解し、関連性を見出す必要があります。この点において、データは中心的な存在になります。データは、それだけでは役に立ちません。企業はサプライチェーン、従業員ネットワーク、顧客やパートナーのエコシステムを含む、全ネットワークにおいて、あらゆる形態のデータを実用的かつ効率的に使用するために、効果的な戦略、ガバナンス、データ管理モデルが必要になります。
データ管理の定義とプロセス
データ管理は、生産性、効率性、意思決定を支援できるようにデータを収集、整理、管理し、これにアクセスするための手法です。今日のビジネスにおいてデータが担う重要な役割を考えると、規模や業種を問わず、すべての企業にとって効果的な企業戦略とモダンなデータ管理プラットフォームが不可欠です。データ管理は、エンドツーエンドのビジネスプロセスの実行、法規制コンプライアンス、正確なアナリティクスと AI、データ移行、デジタルトランスフォーメーションなど、データ主導のさまざまなユースケースにとって重要です。
データ管理プロセスには、以下のような幅広いタスクと手順が含まれています。
データの収集、処理、および検証
構造化データ、非構造化データを含む、ソースの異なるさまざまな種類のデータの統合
ビジネス標準に準拠するためのデータ品質の管理
セルフサービス、コラボレーション、データへのアクセスの提供
データの保護、セキュリティとプライバシーの確保
作成から削除までのデータライフサイクルの管理
データの高可用性と障害回復の保証
データ管理の主な要素
データ管理が重要である理由
ビジネスで使用されるすべてのアプリケーション、アナリティクスソリューション、およびアルゴリズム（テクノロジーが問題を解決し、タスクを完了するためのルールおよび関連プロセス）は、高品質のデータへのシームレスなアクセスに依存します。データ管理システムはその中核となり、データの安全性、可用性、正確性の確保を支援します。しかしデータ管理のメリットは、それだけではありません。
データを価値の高いビジネス資産に変える
適切に管理されていないデータは、役に立たないだけでなく、邪魔になります。また、データの多様性、分散、需要はますます高まっており、組織がデジタルビジネスのニーズを満たすためにデータを資産として活用することに苦労しているのは明白です。しかし、適切なツールを使用することで、データから深いインサイトを引き出し、精度の高い予測を行い、革新的なビジネスプロセスを実現することができます。これにより、企業は顧客が何を求めているかを把握し、データに基づいて卓越したカスタマーエクスペリエンスを提供できるようになります。また、生成 AI に基づくサービス提供などの新しいデータ主導型ビジネスモデルの推進にも役立ちます。こういったビジネスモデルは、トレーニングモデルの基礎となる高品質なデータがなければ正確な結果が得られません。
「データ主導型とは、データを利用することを意味します。つまり、状態、保存、アクセス、品質、コンテキストの複雑さに対処して、組織がデジタルビジネスの成功の中心となるデータ主導型の目標を実現できるようにします」
Gartner 社「Data Management Solutions Primer for 2023」Adam Ronthal、Ehtisham Zaidi、2023 年 2 月 14 日
データ主導型の組織が競争上優位であることはよく知られています。先進的なツールがあれば、企業はかつてないほど多くのソースから得たデータを管理することができます。また、IoT デバイスデータ、ビデオ/音声ファイル、インターネットのクリックストリームデータ、ソーシャルメディアのコメントなど、さまざまな種類の構造化データと非構造化データをリアルタイムに活用することができ、データを収益化するとともに資産として利用する機会を広げることができます。
デジタルトランスフォーメーションに向けたデータ基盤の構築
データはデジタルトランスフォーメーションの生命線であるとよく言われますが、それは事実です。データとアナリティクス (D&A) リーダーは、デジタルビジネスのニーズと複雑化するデータ環境（クラウドの影響を含む）に対応できなければなりません。AI、機械学習、インダストリー 4.0、高度なアナリティクス、IoT、インテリジェントな自動化はすべて、それを実行するためにタイムリーかつ正確で安全な大量のデータを必要とします。
例えば機械学習と生成 AI では、「学習」し、複雑なパターンを見出し、問題を解決し、モデルやアルゴリズムを最新の状態に保って効果的に実行するには、非常に大規模で多様なデータセットが必要です。高度なアナリティクス（多くの場合、機械学習と AI を活用）もまた、関連性が高く実用的なインサイトを生み出すために、膨大で高品質なデータに依存しています。また、IoT やインダストリアル IoT のシナリオは、非常に高速に配信されるマシンとセンサーデータの安定したストリームに依存します。
いかなるデジタルトランスフォーメーションプロジェクトにおいても、共通項はデータです。企業がプロセスを変革し、新しいテクノロジーを活用し、インテリジェントエンタープライズへと変貌を遂げるには、それに先だって確固たるデータ基盤が必要です。つまり、最新のデータ管理システムが必要なのです。
企業が存続し続けるかどうかは、絶え間ない変化に対応できる、俊敏でデータ中心のアーキテクチャーを持っているかどうかにかかっています。
ドナルド・ファインバーグ (Donald Feinberg) 氏、Gartner 社バイスプレジデント
データプライバシー関連法律への遵守
一般データ保護規則 (GDPR) や米国カリフォルニア州消費者プライバシー法、ならびに業界固有のプライバシーおよびセキュリティ要件など、国内外のデータプライバシー関連法規制へのコンプライアンスを確保するためにも、優れたデータ管理が不可欠です。また、これらの保護が証明または監査の対象となる場合、確固としたデータ管理ポリシーと手順が整備されていることが必要になります。
データ管理アプローチ
近年、データファブリックとデータメッシュはいずれも、データ管理用語として広く普及しており、多くの組織がデータ管理アーキテクチャーに採用しています。データファブリックスタイルのアーキテクチャーは、さまざまなデータソースの接続レイヤーを作成し、企業全体でのセルフサービス、データアクセス、データ配信を容易にします。データファブリックアーキテクチャーは、エンドユーザーの視点からデータを保存するさまざまな場所を抽象化し、基盤となるアーキテクチャーが高度に分散されている場合でも利用できる単一の統合ビューを提供します。
データメッシュ
データメッシュは、分散アーキテクチャーフレームワークを使用するデータ管理手法です。つまり、組織内のあるデータセットについて、そのデータが何を意味するのか、どうすればそのデータを最大限に活用できるのかについて専門知識を持っているユーザーに、そのデータセットの所有権と責任を分散します。データメッシュアーキテクチャーは、データレイクやデータウェアハウスなどのさまざまなソースからデータを接続して取得し、関連するデータセットをビジネス全体の適切なエキスパートやドメインチームに分散します。基本的に、中央のデータレイクにある大量のデータが分類され、管理しやすいチャンクに分割され、それを理解して活用するのに最適なユーザーに分散されます。
データファブリック
データファブリックとは、データアーキテクチャーと専用ソフトウェアソリューションを組み合わせることで、さまざまなシステムやアプリケーション間でデータを一元化し、接続、管理、統制する仕組みです。データファブリックは、さまざまなシステムやアプリケーション間で、データをリアルタイムで接続し、管理できるソリューションです。唯一の信頼できる情報源を構築するとともに、そのデータにいつでも、どこでもアクセスできるようになります。つまり、データ管理のプロセスが民主化され、自動化されます。データ、特に複雑な分散アーキテクチャーのデータを効率的に処理できるという効果もあります。データを統合、クレンジング、拡充、保護することで、分析、AI、機械学習などのアプリケーションにすぐに適用できるようになるからです。データファブリックのアーキテクチャーとソリューションによって、企業は急速に変化する市場に適応しながら、データを活用してシステムをスケーリングできるようになります。
マスターデータ管理 (MDM)
マスターデータ管理は、製品データ、顧客データ、資産データ、財務データなど、すべての重要なビジネスデータについて、1 つの信頼できるマスター基準（唯一の正確な情報源）を作成するための手法です。MDM により、企業が、プロセス、オペレーション、アナリティクス、AI レポーティングなどビジネス上のさまざまな領域で、不整合を発生させる可能性がある複数バージョンのデータを使用できないようにします。効果的な MDM を実現するための 3 つの柱は、データ統合、データガバナンス、およびデータ品質管理です。
「ビジネス部門と IT 部門が連携して、企業の公式な共有マスターデータ資産の統一性、正確性、管理責任、セマンティクスの一貫性、説明責任をテクノロジーによって確保する手法」
Gartner 社による MDM の定義
データ統合
データ統合とは、いつでもどこでも必要なデータを取得、変換、結合、プロビジョニングできるようにすることです。この統合は、社内だけでなく、社外のパートナーならびにサードパーティーのデータソースおよびユースケース全体で、すべてのアプリケーションおよびビジネスプロセスのデータ使用要件が満たされるように行われます。その手法には、バルク/バッチデータ移動、ETL（抽出、変換、ロード）、変更データのキャプチャ、データの複製、仮想化、ストリーミングデータ統合、データオーケストレーションなどがあります。
データディスカバリーとカタログ化
データディスカバリーとデータカタログ化により、どのようなデータがあり、どう関連しているのかを判断することができます。ディスカバリーは、多くの場合、データプロファイリング（それ自体は、データの構造、コンテンツなどを俯瞰的に把握するために存在）の一部として提供され、複数の（異種の）データソース内およびデータソース間の異なるデータセットの所在や関係を示します。より一般的に言えば、これはデータランドスケープを理解するための基本的なツールです。機密性の高いデータのディスカバリーは、組織の個人データやその他の機密データを特定、分類することに重点を置く重要なサブカテゴリーです。これにより、データのプライバシー、セキュリティ、法規制コンプライアンスを守り、機密データを適切に保護することができます。
データディスカバリーは、AI や機械学習などの他のより高度な自動化技術とともに、データカタログを構築するためにも使用されます。データカタログは、データ資産に関する情報（メタデータと呼ばれる）のリポジトリーを提供します。これには、保持されているデータ、データの保存場所、データの形式、関連するドメインなどが含まれます。この情報は可能な限り自動的に収集される必要があり、地理、時間、アクセス制御などによってさらに分類される可能性があります。カタログはインデックス化され、検索可能であり、セルフサービスとコラボレーションをサポートします。より包括的なカタログでは、データの物理ソースに加えて、分析レポートやダッシュボードなどのさまざまな派生ソースからメタデータを取り込みます。カタログは、データ準備ツールと組み合わせて使用されることが多く、データガバナンスや、コラボレーティブでセルフサービスベースのデータアクセスをサポートするために重要です。
データガバナンス、セキュリティ、コンプライアンス
データガバナンスは、組織全体にわたるデータの可用性、品質、コンプライアンス、およびセキュリティを確保するためのルールと責任の集合です。データガバナンスは、インフラを構築し、データタイプ別に、そのタイプのデータを処理および保護する権限と責任の両方を持つ個人（または職位）を指名します。データガバナンスは、コンプライアンスの重要な構成要素になります。セキュリティ、ストレージ、アクセス、適切な削除、保持の管理は、システムが担当します。また、データガバナンスは、開始時のデータが正確であることを確認したり、システムへの入力前、使用中、またはほかの場所で使用/保存するために取得される際に、ビジネス基準を満たしていることを確認したりする際にも役立ちます。ガバナンスは、責任のある個人が、組織的にプロセスやテクノロジーをどのように使用してデータを管理および保護するかを指定します。
ハッカー、ウイルス、サイバー攻撃、データ漏えいが頻繁に発生する今日においては、データセキュリティが大きな懸念事項となっています。セキュリティはシステムおよびアプリケーションに組み込まれていますが、このようなシステムがデータを適切に保護するには、適切なセットアップと管理が必要です。さらに、システムおよびデータベースの外部でデータを保護する手順と責任も確立しておく必要がありますが、それらのために、データガバナンスが存在します。
エンタープライズデータ戦略とは？それが必要な理由とは？
今日のビジネス戦略は、プロセスの自動化、顧客と従業員のエクスペリエンスのカスタマイズ、新規市場や買収による成長の促進、およびイノベーションを実現するためにデータに依存しています。したがって、ビジネスの成功には、データ戦略をビジネス戦略に整合させることがますます重要になってきています。データ戦略は組織のあらゆるレベルで共感を得る必要があります。ビジネスコンテキストに沿った意味のあるものでなければなりません。
企業には業務の優先順位を決めるためのデータ戦略が必要です。企業が生成し、使用するデータ量が大幅に増加していることは周知の事実ですが、今後もデータに関する課題や要件は常にリソースより多くなってしまうと予想されます。企業は、データ戦略を通じて最大の価値を実現する要素に基づいて、データアクティビティを優先順位付けする方法を必要としています。戦略は、「活力を与える役割」を備え、ビジネスの優先事項と完全に整合したものでなくてはなりませんが、ビジネスが変革し成熟するにつれて変化できるような柔軟性を持っておく必要もあります。戦略は文書に書かれた言葉であるだけでなく、組織内で「活力を与える役割」を果たさなければなりません。
データ戦略では、ビジネス成果を達成するために構築しなければならないすべてのデータ機能を明確化します。データ管理機能やツールだけでなく、組織構造、データ取得、データネットワーク戦略、コンプライアンス、倫理機能などのビジネス機能も含めます。データ戦略には、複数年にわたる機能開発のためのロードマップを示し、何を実現できるか、どのくらいの期間とコストがかかるか、経営陣のサポートが必要かといった期待値も設定します。
データ管理の進化
効果的なデータ管理は、50年以上にわたりビジネスの成功に不可欠なものでした。情報レポートの精度向上、トレンドの特定、意思決定の改善、デジタルトランスフォーメーションの促進、新しいテクノロジーやビジネスモデルの強化など、さまざまな場面で効果的なデータ管理が必要になります。今、データは新しい資本となり、将来を見据えた企業は、さらに新しく、より優れた方法でデータを活用できないか常に探っています。アプリ開発を含む多くのIT分野でも、データの活用がますます重要になっています。ここでは、貴社のビジネスや業界との関連性を探る上で重要な、現代のデータ管理の最新トレンドをご紹介します。
データファブリック：今日、ほとんどの組織はさまざまな種類のデータをクラウドとオンプレミスに展開しており、データベース管理システム、処理テクノロジー、およびツールを複数使用しています。データファブリックは、アーキテクチャーとテクノロジーをカスタマイズして組み合わせたもので、メタデータ、動的データ統合、オーケストレーションを使用して、分散環境全体にわたる円滑なアクセスと共有を可能にします。
クラウドデータ管理：多くの企業が、データ管理プラットフォームの一部またはすべてをクラウドに移行しています。クラウドデータ管理には、拡張性、高度なデータセキュリティ、データアクセスの改善、バックアップと障害回復の自動化、コスト削減など、クラウドがもたらすすべてのメリットが活かされています。クラウドデータベースと Database-as-a-Service (DBaaS) ソリューション、, クラウドデータウェアハウス、およびクラウドデータレイクは、いずれも人気が高まっています。
製品としてのデータ：製品としてのデータとは、社内データを一次製品のように扱い、データチーム、ひいては最高データ責任者や同等の役員が、組織の他の部門に必要な適切なデータを適切なタイミングで適切な品質レベルで提供することを意味します。目標は、よりタイムリーでより正確な分析情報など、データ全般の活用を向上させることにあります。
拡張データ管理：比較的新しいトレンドの一つが「拡張データ管理」です。拡張データ管理では、AI と機械学習を使ってデータ管理プロセスを自己設定したり自己チューニングしたりします。拡張データ管理では、データ品質やマスターデータの管理からデータ統合まであらゆるものが自動化され、高いスキルを持つ技術スタッフが、より価値の高い活動に集中できます。
拡張アナリティクス：拡張アナリティクスは、人工知能 (AI) テクノロジー、機械学習、自然言語処理 (NLP) を使用して、重要なインサイトを自動的に抽出できるだけでなく、高度なアナリティクスへのアクセスを民主化することで、データサイエンティストだけでなく、誰でもデータについて質問し、自然な会話形式で回答を得られます。
まとめ
データから情報が生まれることは周知の事実です。そして、情報に強いパワーがあるならば、データを効果的に管理し活用することが、貴社の大きな力となります。そのため、最高データ（およびアナリティクス）責任者の役割は、クラウド導入を推進し、新しいトレンドとテクノロジーを活用しながらビジネスから戦略的価値を生み出す、組織の主要チェンジエージェントへと進化しつつあります。