什麼是資料整合?
資料整合是一套實務、工具和架構程序,可讓公司使用、合併和善加運用所有類型的資料。
資料整合概觀
資料整合是讓公司能夠使用、結合及善用各類型資料的一套實務、工具及架構流程。此流程除了合併來自多個系統的資料以外,也能確認資料是否無誤,以優化其對企業的效用。
若公司組織架構多元且分散,且產生資訊的資料來源及資產過於廣泛,這時整合資料便特別有幫助。因為在這些情況中,資料通常各自獨立,未與其他企業資料連結,導致企業在無法整合檢視業務。
資料整合可讓企業發揮真正的潛能。重要決策應奠基在正確資訊上,新技術使用可導入及優化的清楚資料,協助公司達到創新及繁榮。
資料整合歷史
自從商業系統開始收集資料後,如何結合不同資料來源便是個問題。直到 1980 年代初,電腦科學家才開始設計協助異質或不同資料庫互通的系統。
最早的資料整合系統由明尼蘇達大學於 1991 年推出,目的是讓數千個人口資料庫得以互通。此系統使用資料倉儲法,從不同來源擷取、轉化及載入資料為檢視結構,使資料相容。
在此期間,各種挑戰也隨之出現,像是包括資料品質、資料管理、資料模型化等問題,甚至伴隨著資料各自孤立的狀況。
隨著物聯網(IoT)的出現,整合資料成為 2010 年代初期企業的首優先要務。突然間,各種裝置、應用程式和平台都產出了大量的數據,讓企業為之苦惱。隨著大數據開始興起,企業也需找到方法運用資訊的力量。
現今的企業運用資料整合,從企業內部的應用程式和平台儲存的資料中獲取最大價值。
資料整合應用案例
若公司產生了資料,則可將其整合並用於建立對企業有益的即時洞察。橫跨不同地理區域的公司可整合各營運區的觀點,以瞭解哪些是有效及無效觀點。統合的業務檢視可讓公司更容易瞭解問題的起因及營運成效,以便即時修正方向並將風險降至最低。
資料整合可讓公司:
將分析最佳化:從資料倉儲的作業系統中存取、排序或擷取資料,然後以可靠的分析形式,轉換資料並將其交付給企業。
推動營運應用程式間的一致性:以雙向和單向的方式確保跨應用程式(企業內部及跨企業)資料庫層的一致性。
在公司外共享資料:提供如客戶、供應商及夥伴等外部對象可靠資料。
彙整資料服務:將執行階段的資料整合功能部署為資料服務,以確保速度和精確度。
支援資料移轉和合併:因應取代舊應用程式或者移轉到新環境等狀況所產生的資料移轉及合併相關的資料移動及轉型需求。
整合資料的商業效益
資料整合對於任何企業的整體資料管理策略來說都是關鍵要素。資料整合協助提供正確的資訊並將企業整合在一起,以企業願景為目標,協調所有活動及決策,進而以兼具效益及效率的方式為客戶提供高品質的產品和服務。
從整個企業收集資料後,系統會進行清除及驗證,以確保在整合成單一資料集或跨多個資料集彙整前,資料架構並無任何錯誤和不一致,此過程常被稱為資料結構方法。
全面且準確的整合資料來源能協助企業利用所需的創新流程及技術來邁向成功之路。舉例來說,企業若無法存取大型整合資料儲存區,便無法持續運用人工智慧、機器學習和工業 4.0 方案。
如果缺乏資料整合,資料將被孤立於不同的應用程式和平台,這會影響公司的營運和策略能力。例如,公司可能會因資料集有限,而以不正確的分析作為重要的業務決策依據。
瞭解公司如何創造資料整合的效益:
Federal Mogul:Federal Mogul 是汽車產業原始設備和備用零件的頂尖生產商,其生產的技術是 Mercedes-Benz、Bentley、Caterpillar 等著名汽車品牌的核心技術。了解他們如何建立單一資料來源,並運用即時資訊快速制定決策。
Costain 集團:英國政府機構的合作夥伴,Costain 集團整合並存取孤立資料,提升交通運輸專案的效率,同時降低碳排放並節省公共資金。集團運用資料整合取得更多資料,提供快速資料導向的決策,將成效最大化。
資料整合的運作方式為何?
最常見的資料整合模型為擷取、轉換、載入(ETL)流程。
- 擷取:將資料自來源系統移動至已經清理且品質有保障的臨時資料庫。
- 轉換:為符合目標來源,進行資料結構化並轉換。
- 載入:將結構化資料載入至資料倉儲或其他儲存實體。
資訊整合後便會執行資料分析,為商務使用者提供制定明智決策所需的資訊。
資料整合流程概覽–包括資料來源階段、擷取、轉換、載入,以及有助於推動業務決策的分析。
資料整合的類型
來源及資料類型通常會決定資料整合的類型。
大量/批次資料移動:此為最常見的方式,它牽涉到資料擷取、資料轉換和資料載入。
資料複製:資料會從資料庫複製到另一個資料庫,僅有更改後複製到次要資料庫的資料會被使用。
資料虛擬化:運用虛擬抽象層呈現資料庫內所有資料的單一檢視,並提供資料的即時存取,無論其位置、來源系統或類型為何。
串流資料整合:用於整合必須即時進行轉換的資訊流或串流中建立的資料。
訊息導向的資料移動:資料區塊會組成可供應用程式讀取的訊息,並進行即時資料交換。
資料整合的挑戰在於選擇適合您獨特架構和業務需求的資料整合模式。大多數公司都需要一個以上的整合模式。瞭解如何將這些資料整合工具整合為一體相當重要。
資料整合趨勢與技術
在現今的環境中,企業若要保持彈性和靈活度,就必須要轉型並運用資料的價值。數位轉型和新技術的採用也至關重要。新興趨勢將資料整合提升至更高層次,並提供重要價值。
資料彙整
隨著商業結構日益分散、資料來源激增、資訊類型越趨多樣,各公司紛紛開始進行資料彙整,協助組織公司內的大量資料。
此流程採用更全面的資料整合和傳統擷取、轉型、載入模型,從就地部署、雲端和外部來源整合、擴充和轉換如非結構化及串流等類型的資料。資料彙整能產生更臻睿智的洞察,同時降低資料整合的複雜性和相關成本。
深入瞭解 SAP Date Intelligence 解決方案
將資料轉化為重要的商業洞察並推動創新。
深入瞭解 SAP Date Intelligence 解決方案
將資料轉化為重要的商業洞察並推動創新。