データ統合とは？
データ統合は、あらゆるタイプのデータの収集、結合、利用を可能にする一連のプラクティス、ツール、および体系的手順です。
データ統合の概要
データ統合は、あらゆるタイプのデータの収集、結合、利用を可能にする一連のプラクティス、ツール、および体系的手順です。異種システムからのデータの統合と併せて、データがクリーンでエラーがないことを保証し、ビジネス上の有用性を最大限に高めます。
ランドスケープが分散され、多数のデータソースや資産を抱える企業に、データの統合は特に役立ちます。そうした企業では、データがサイロ化され、ビジネスデータがばらばらに存在し、その結果、ビジネスを一元的に把握できない状態に陥りがちです。
データ統合は、企業の真の潜在能力を引き出すことを可能にします。正確な情報に基づいて重要な意思決定を行い、クリーンなデータを利用する新しいテクノロジーを導入し、最適化できるようになり、企業のイノベーションと繁栄に貢献します。
データ統合の歴史
異なるデータソースの集約は、ビジネスシステムによるデータの収集が始まって以来の問題でした。コンピューター科学者が異種データベース間の相互運用性に対応したシステムの設計に着手したのは、1980 年代初めになってからのことでした。
最初のデータ統合システムの一つとして、ミネソタ大学が 1991 年に何千もの人口データベースの相互運用を可能にすることを目的に開発したものが挙げられます。そのシステムは、異なるソースからデータを抽出し、変換し、ビュースキーマにロードすることでデータの互換性を維持するデータウェアハウスアプローチを採用していました。
その後数年間にわたり、データ品質、データガバナンス、データモデリング、さらにはデータ分離やデータのサイロ化など、さまざまな課題が生じました。
2010 年代初めになると、IoT の登場により、データの統合はビジネス要件となりました。突然、幅広いデバイス、アプリケーション、プラットフォームが膨大な量のデータを生み出し始め、企業はその量に圧倒されるようになりました。さらに、ビッグデータがブームとなり、企業はあらゆる情報の力を利用する方法を見つける必要に迫られました。
今や、あらゆる規模や業種の企業がデータ統合を利用して、社内のアプリケーションやプラットフォームに保管されているデータから価値を引き出しています。
データ統合のユースケース
企業が生み出したデータを統合して利用すれば、ビジネスに役立つリアルタイムの洞察を構築できます。世界各地で事業を展開する企業は、事業全体にわたってビューを統合することで、何がうまくいっていて、何がうまくいっていないのかを理解することができます。ビジネスに対する視点を一元化することで原因と効果が理解しやすくなり、リアルタイムに軌道修正し、リスクを最小限に抑えることができます。
データ統合により、次のことが可能になります。
アナリティクスの最適化：一般にデータウェアハウスと呼ばれる業務システム内のデータにアクセスする、キューに登録する、あるいは抽出してから変換し、信頼できるアナリティクスの形でビジネス部門に提供します。
業務アプリケーション間の一貫性の向上：アプリケーション間（社内および企業間）のデータベースレベルの一貫性を双方向または一方向で確保します。
社外とのデータ共有：顧客、サプライヤー、パートナーなどの外部関係者に信頼できるデータを提供します。
データサービスのオーケストレーション：すべての実行時データ統合機能をデータサービスとして展開してスピードと精度を確保します。
データの移行/連結の支援：レガシーアプリケーションの交換時や新しい環境への移行時など、データの移行/連結に関連するデータの移動や変換のニーズに対応します。
データ統合のメリット
データ統合は、あらゆる企業の全体的なデータ管理戦略に重要な要素です。データ統合は、適切な情報を提供し、組織をひとつにまとめて、高品質の製品やサービスを効果的かつ効率的に顧客に提供するという企業の目的を支えるあらゆる活動や意思決定を調整するのに役立ちます。
企業全体から収集されたデータは、クレンジングと検証によってエラーや不整合がないことが確認された後、1 つのデータセットに統合されるか、多数のデータセット間で連携されます。これはよくデータファブリック手法と呼ばれます。
包括的で正確な統合データソースは、ビジネスの成功に必要な革新的なプロセスやテクノロジーをサポートするのに役立ちます。例えば、人工知能、機械学習、インダストリー 4.0 イニシアチブは、大規模な統合データストアが利用できなければ持続可能ではありません。
データ統合を行わなければ、データは異種アプリケーションやプラットフォーム内でサイロ化されたままになり、企業の業務能力や戦略能力に支障を来します。例えば、データセットが限られているため、ビジネス上の重要な意思決定が不正確なアナリティクスに基づいて行われることになります。
以下は、データ統合のメリットを享受している企業の事例です。
Federal Mogul：自動車業界向けの独自の装置やスペア部品を手がける大手メーカーの Federal Mogul 社は、メルセデスベンツ、ベントレー、キャタピラーなど名門自動車ブランドの中核となる技術製品を製造しています。データソースを一元化して、リアルタイム情報へのアクセスによって迅速な意思決定を実現した事例をご紹介します。
Costain Group：英国政府機関のパートナーである Costain Group は、サイロ化したデータを統合して利用することにより、交通プロジェクトを効率化すると同時に排出量の削減と公的資金の節約を実現しています。データ統合を活用して、より多くのデータにアクセスすることで、データに基づく意思決定を迅速化し、成果を最大化しています。
データ統合の仕組み
最も一般的に用いられるデータ統合モデルは、抽出/変換/ロード (ETL) プロセスを利用するものです。
- 抽出：データをソースシステムから一時ステージングデータリポジトリーに移動し、そこでデータをクレンジングして品質を確保します。
- 変換：ターゲットソースに合わせてデータを構造化し、変換します。
- ロード：構造化したデータをデータウェアハウスやその他のストレージエンティティにロードします。
情報を統合した後、データ分析を実行し、情報に基づく意思決定に必要な情報をビジネスユーザーに提供します。
データソースから ETL、ビジネス上の意思決定を支援するアナリティクスまでのデータ統合プロセスを示す図
データ統合の種類
データ統合にはさまざまな種類があり、多くの場合、ソースやデータの種類に左右されます。
バルク/バッチデータ移動：これはデータの抽出/変換/ロードを含む最も一般的なスタイルです。
データ複製：あるデータベースから別のデータベースにデータをコピーし、変更されたデータのみを使用してセカンダリーデータベースに複製します。
データ仮想化：これは、仮想抽象化レイヤーを使用したデータベース内の全データの単一ビューで、場所、ソースシステム、またはタイプに関係なくデータへのリアルタイムアクセスが可能です。
ストリームデータ統合：これは、一定のフローまたはストリームで作成され、変換を即時実行しなければならないデータに用いられます。
メッセージ指向のデータ移動：データの塊をアプリケーションによって読み込まれるメッセージにグループ化しながら、リアルタイムでデータ交換を行います。
課題は、自社の環境やビジネスニーズに適したデータ統合スタイルを選択することです。ほとんどの企業では複数の統合スタイルが必要です。これらのデータ統合ツールを一貫した全体としてまとめる方法を理解することが重要です。
データ統合のトレンドとテクノロジー
データ価値に変革をもたらし、これを活かすことは、企業が今日の環境でレジリエンス（回復力）と俊敏性を実現する鍵となります。また、デジタルトランスフォーメーションや最新テクノロジーの導入にとっても重要です。新たなトレンドによりデータ統合は次の段階へと発展し、その重要な価値がすべて実現しつつあります。
データオーケストレーション
ビジネスランドスケープの分散化、データソースの増加、情報タイプの多様化が進む中、企業は大量のデータの整理に役立つデータオーケストレーションに注目しています。
このプロセスは、データ統合と従来の ETL モデルに、より包括的なアプローチを適用し、非構造化データやストリーミングデータなど、オンプレミス、クラウド、および外部のソースからのあらゆるタイプのデータを統合、強化、変換します。データオーケストレーションは、よりスマートな洞察をもたらすと同時に、データ統合の複雑さとそれに伴うコストを減らします。
データファブリック
近年、複雑なデータソース、接続性の制約などに起因する新たな課題の拡大により、標準的なデータ統合方法がうまくいかなくなっています。データファブリックは、プロセス、ワークフロー、パイプラインの自動化によって複雑さを最小限に抑えながら、より俊敏で弾力的なデータ統合アプローチを提供します。
ハイブリッドデータ統合
現在、多くの企業がクラウドシステムとオンプレミスシステムをサポートしていますが、これらのシステムのデータはさまざまなアプリケーションや場所に分散しています。ハイブリッドデータ統合は、データの場所に関係なく、あらゆるアプリケーションからデータにアクセスしたり、データを共有したりすることを可能にします。
包括的な統合
急速に変化する現代のデジタル経済において、ビジネスの俊敏性は戦略的優先事項です。統合に対する包括的なアプローチは、こうした成果を得るために不可欠です。ばらばらで行われているデータ/アプリケーション統合を包括的な活動にまとめることにより、ハイブリッドランドスケープ全体にわたってあらゆる種類の統合がサポートされます。
SAP Data Intelligence ソリューションの詳細について
データを重要なビジネス洞察に変えてイノベーションを推進しましょう。
SAP Data Intelligence ソリューションの詳細について
データを重要なビジネス洞察に変えてイノベーションを推進しましょう。