何謂資料架構?
資料架構是用於規劃資料使用方式的藍圖,屬於組織內部資料及相關資源的高層次結構,作為整體資料運作的框架,涵蓋資料模型、規則與標準。透過有效率的資料架構,組織可追蹤 IT 基礎架構中資料的取得、移動、儲存、安全性和可存取性。
default
{}
default
{}
primary
default
{}
secondary
資料架構總覽
資料架構是原始資料和業務需求之間的橋樑,想像一個凌亂的食品儲藏室,如果您把豆類罐頭和乾燥材料袋隨意扔進去,缺少固定的組織系統,那麼找到晚餐所需的食材便會非常困難。這對資料驅動的組織也是一樣的道理,如果資料缺乏組織、重複且互不關連,則無法即時滿足組織獨特的業務需求。
資料架構如何運作?
資料架構可透過建立標準資料環境實現,以協調整個組織的作業,採用多方面方法促進有效的資料管理,並隨時間進化,常見方法包含:
- 運用資料模型:資料模型代表資料的結構和關係。
- 使用存儲解決方案:存儲解決方案是另一種維持資料整齊且便於存取的方式。
- 強化安全措施:安全措施可確保資料免於洩漏、攻擊或毀損。
- 落實資料控管:資料控管實務可讓資料符合法律和法規。
上述要素一同促成有效的資料管理,支援策略性決策並提高營運效率。
穩固的資料架構應具備足夠的彈性,以因應特定業務需求,隨著 AI 和物聯網(IoT)等新興技術為市場帶來的新資料來源,資料架構將可讓資料變得實用、井然有序、便於擷取。
正確建置時,資料架構可協助公司:
- 減少資料儲存冗餘
- 改善資料品質
- 增加資料清理和統整機會
- 建立整合機會
- 減少資料孤島
資料架構和基礎元件的類型
資料架構可呈現不同資料管理系統如何互動的高階檢視,較小的資料儲存儲藏庫,包含資料湖泊架構、資料倉儲架構和其他資料模型,可支援不同資料架構的分析功能,包含資料結構和資料網格架構。
資料模型類型
資料模型類型共有三種:
- 概念資料模型
概念性資料模型(有時稱為網域模型)可讓企業通盤檢視資料系統包含的內容、其組織方式,以及採用何種資料規則。
- 邏輯資料模型
邏輯資料模型比概念資料模型具體一些,負責提供資料元素的詳細檢視、彼此的互動方式,以及與業務不同層面的關聯。
- 實體資料模型
實體資料模型是最詳細的資料模型類型,概述資料庫建置的細節,包括索引、表格,以及儲存空間和效能規格,提供組織保護、儲存和存取資料的詳細概觀。
資料架構與資料模型的比較
資料架構和資料模型的最大差異在於規模,資料模型是資料架構的一部份,也就是呈現資料物件及其關係。如果說資料架構是提供策略架構,資料模型則負責提供建置該架構的策略性工具。
資料架構的類型
- 資料湖泊架構
資料湖泊架構(或簡稱資料湖泊)會以各種規模儲存結構化、半結構化和非結構化資料,非常便於資料科學家和資料工程師使用。資料湖泊架構可讓組織以原生格式快速安全地收集資料,包含雲端和內部部署資料,用於推動新興的機器學習應用程式、AI 功能、概念驗證,以及資料備份和復原作業。
- 資料倉儲架構
資料倉儲架構(也稱為資料倉儲)是收集企業整體資料的大型儲存庫,可將這種分散的資料集中在單一集中位置,主要用於協助引導資料管理決策,並支援企業流程。
- 資料市集架構
資料市集架構(或資料市集)是更小更聚焦版本的資料倉儲架構,其中包含較小的資料子集,通常對組織中的個別團隊、使用者或群組相當重要,例如銷售部門,相較於資料倉儲,這些市集中的專用資料可讓特定團隊或使用者更迅速擷取聚焦的洞察,比起資料湖泊架構和資料倉儲架構更加詳細。
- 資料結構架構
資料結構是專用軟體解決方案和資料架構的結合,用於連結、管理、集中和管理不同系統和應用程式的資料。資料結構可協助組織收集資料的洞察,並套用以減少資訊孤島,並改善資料維護措施。資料結構架構使用各種來源的資料,包含資料湖泊架構、資料倉儲架構和其他應用程式,提供組織如何使用資料的詳細概觀。資料結構的實用性在於讓組織隨時隨地存取資料,無需持續擷取和重建,同時保持業務內容和邏輯的完整性。與資料儲存系統不同,資料結構會將複雜資料架構的所有資料精簡化,透過對資料進行保護、清理、擴充和整合,使其更便於分析、機器學習和 AI 應用程式使用。
- 資料網格架構
資料網格架構(或稱資料網格)會在分散式位置按網域組織資料,依據行銷、銷售或人力資源等領域將資料分類,讓企業內的資料所有者制定自己的資料驅動決策,並獲取洞察以制定業務決策。資料網格架構會收集來自其他分散式來源的資料,包含資料湖泊架構和資料倉儲架構,並將其編織成資料結構,以提供詳細的資料洞察,並提升企業靈活度。
資料架構的元件
如同廚房收納一樣,資料架構也有許多不同的元件,整理不僅涉及實體容器,還包括保持整潔所需的思考過程和精神付出,資料架構的各個層面都扮演著獨特的角色,並帶來獨特的效益,使架構保持順暢運行。資料架構的主要元件包括:
- 資料模型:資料模型是資料物件的高度詳細、抽象表示及其互動。這會提供組織和資料結構的配置,並說明資料流程和相關性如何在組織的資料系統中運作。資料模型在設計資料庫時特別實用,因為可協助確保資料完整性和一致性。
- 資料整合:資料整合管道會將不同來源的資料串聯至單一集中的檢視,常見的資料整合流程包括 ETL(擷取、轉換、載入)作業、資料同步和資料移轉。有效的整合會建立一致的資料環境,透過連結其他分散的資料孤島,支援全方位的分析和報表製作。
- 資料儲存空間:資料儲存空間包含資料庫、資料倉儲架構和資料湖泊架構。資料儲存解決方案提供更好的擴充性、安全性和可靠性,同時支援當前和未來的資料需求,完善的儲存架構可改善資料擷取和管理,以便在需要時快速存取正確資訊。
- 資料安全性:資料安全措施是組織用來保護其資料免遭未經授權的存取、破壞和損壞的預防措施,常見的資料安全措施包括加密、存取控制和定期稽核。建立資料安全性對於維護資料完整性,以及遵循法規需求以保護敏感資訊不受潛在威脅影響而言至關重要。
- 資料控管:資料控管包括管理資料資產的標準政策和程序,有助於確保資料品質,並落實法律和法規的合規性,資料控管架構會定義角色和責任、資料標準和課責措施,促進整個組織高效且道德地運用資料。
資料架構原則
資料架構原則會建立有效管理整個組織資料的核心指導原則和最佳實務,這些原則為建立強大且可擴充的資料環境提供基礎,同時支援當前和未來的業務需求。
- 一致性:完善的資料架構可確保整個組織的資料統一且標準化,這包含使用標準化的資料定義和格式,以便輕鬆整合和分析。
- 可擴充性:資料架構有助於促進成長,因此可因應增加的資料量和其他資料來源。透過逐步規劃這些變更,例如確保擁有足夠空間容納資料或快速彈性的分析軟體,組織便可讓資料架構保持完整。
- 安全性:若要資料架構安全,免於未經授權的存取、攻擊和洩漏,安全性措施至關重要,藉由常見的安全措施(如手機或電腦上的安全措施)保護免受病毒或身份竊取,組織可確保其資料安全且隱私受到保護。
- 彈性:資料架構從本質而言便具有適應性,能夠快速適應不斷變化的技術和業務需求。資料架構可讓組織快速使用新工具且盡量減少麻煩,無需耗費大量時間和重新調整來新增軟體,例如 AI 功能甚至是新的電子郵件傳送系統。
- 可用性:資料架構可讓任何有需要的人取得資料,公司不必限制重要資訊(例如銷售資料和收入)的存取權,而是讓人員根據其職階自由使用資料,從而增強及時且有效的決策。
資料架構的效益為何?
妥善建置時,資料架構可為企業提供各種效益,包括:
- 強化資料生命週期管理:現代資料架構可協助企業持續有效管理資料。由於資料的效期較短,流暢的資料架構可協助公司將這些資料移轉至較慢、成本較低的儲存區域。資料架構會讓資料更易於存取以供稽核,而無需增加昂貴的資料儲存設施。
- 改善資料品質:資料架構有助於維持整個組織的資料管理和安全性標準,透過將資料儲存在高品質的資料架構中,組織可快速找到所需的資料,並收集正確的洞察以制定明智的企業決策。
- 減少資料冗餘:企業的不同區域有時會出現重複的資料,而資料重複有可能導致資料不正確,並限制資料整合的潛力。完善結構的資料架構可讓組織將資料儲存標準化、減少有風險的重複項目,並增強資料分析流程。
- 將資料孤島最小化:分散的資料儲存區通常會創造出資料孤島,從而降低組織潛在的最大工作能力。資料架構會建立跨資料網域的彈性整合,讓企業中的不同部門可查看彼此的資料,並提升溝通效率,這項整合也可讓企業通盤檢視重要資料點,例如費用和收入,進而改善決策並維護單一事實版本。
最常見的資料架構框架有哪些?
資料架構框架是 IT 基礎架構的根基,對於支援資料驅動的企業策略至關重要。廣泛採用以引導組織資料架構建置的框架有數種,最常用的類型包含:
- Zachman Framework:此結構化的資料架構方法透過提供觀點和抽象的概觀,整理企業的資料和程序。該框架可涵蓋從高階情境資訊到詳細營運細節的一切內容,透過提供共同的語言和方法,促進利益關係人之間的溝通,讓 IT 系統和業務目標更加一致。
- TOGAF(The Open Group Architecture Framework):TOGAF 為設計、規劃、建置和管理資料架構的高階方法,著重於使 IT 基礎架構與企業目標保持一致,並建立集中的資料環境,可透過引導式的結構化資料管理,協助組織達成策略目標。
- DAMA-DMBOK(Data Management Body of Knowledge):此架構提供全方位的資料管理指導原則和最佳實務,透過涵蓋資料架構的各個層面(包含資料管理、資料品質和資料整合),為資料專業人員提供實用參考。DAMA-DMBOK 框架透過實踐資料管理原則與作法,致力於在組織內提供一致且高品質的資料。
資料架構的未來
資料架構支援新興資料趨勢和最新技術,協助組織率先採用現代技術,並取得競爭優勢。資料架構可促進的潛在趨勢包括:
- AI 和機器學習分析:透過強大的預測分析、自動化和進階資料處理,AI 和機器學習技術將徹底革新資料架構,這些技術會藉由識別模式、進行預測和自動化例行工作,改善資料架構,進而讓智慧資料管理系統更有效率。
- 邊緣運算:邊緣運算會在更接近使用者的位置處理資料,而非仰賴集中的資料中心,將此技術整合至資料架構後,將可減少整體延遲並精簡即時資料處理功能,這對需要及時取得洞察的應用程式相當重要,例如物聯網裝置和即時分析軟體。
- 區塊鏈:區塊鏈技術會建立去中心化的分類帳系統,提升資料安全性和完整性。透過提供透明的交易記錄方法,區塊鏈可大幅改善資料架構的可信度和可靠性。
- 資料和分析解決方案:資料架構可提升資料和分析解決方案的效能,加上開放資料生態系統的效益,具備穩定資料架構的組織已準備好在不斷變化的市場中,制定靈活的業務決策。
了解 SAP 的資料分析解決方案如何改變資料架構,並支援現代企業方案。