何謂資料管理?

資料管理是收集、組織和存取資料,以支援生產力、效率和決策的實務。

資料管理概覽

對於企業的營運和部門運作而言,資料至關重要。企業必須充分掌握資料,並在支援當今高度互聯之全球經濟的各種系統和技術所製造的噪音中尋找相關性。以這方面而言,資料乃站在舞台的正中央擔任主角。資料本身並無用處,企業需要有效的策略、管理和資料管理模式才能運用各種形式的資料,以便在整個供應鏈、員工網路、客戶、夥伴生態體系以及更多機制中,都能實際有效地運用這些資料。

資料管理定義和程序

資料管理是收集、組織和存取資料,以支援生產力、效率和決策的實務。由於資料在現今企業中扮演著舉足輕重的角色,因此無論企業的規模或所處產業為何,都應制定有效的企業策略和擁有現代化的資料管理平台。資料管理對各種資料導向使用案例扮演著重要角色,包括端到端企業流程執行、法規遵循、準確分析和人工智慧、資料移轉和數位轉型。

 

資料管理程序包含各式各樣的任務和程序,例如:

  • 收集、處理和驗證資料

  • 整合不同來源的不同資料類型,包括結構化和非結構化資料

  • 管理資料的品質,以遵循企業標準

  • 提供自助服務、協同合作和資料存取權

  • 保護和保障資料安全並確保資料隱私

  • 管理資料從建立到刪除的生命週期

  • 確保高度的資料可用性和災難復原

placeholder

資料管理的關鍵要素

資料管理為何很重要?

用於企業的每個應用程式、分析解決方案和演算法(可透過技術解決問題和完成工作的規則和相關程序)都依賴是否能順暢地存取高品質資料。資料管理系統的核心是協助確保資料是否安全、可用和精確。但資料管理的效益並不止於此。

將資料轉換為高價值的企業資產

 

若資料管理不當,那麼過多的資料可能會讓人不知所措,且難以使用。再加上資料多樣性、分配和要求日益增長,企業容易陷入掙扎,難以將資料作為資產運用以滿足他們的數位業務需求。但藉由正確的工具,您可以運用資料為企業提供比以往更深入的洞察、更準確的預測和創新的企業流程。它可讓企業更了解客戶的需求,並協助公司根據提供的學習資料,提供卓越的客戶體驗。它也有助於推動新的資料導向型商業模式,例如以生成式 AI 為基礎的服務產品,在沒有高品質資料來建立訓練模型的基礎下,這些模式不會那麼精準。

「資料導向代表運用資料,無論何種情況都必須處理狀態、儲存、存取、品質和內容的複雜性,讓組織實現資料導向的目標,以及數位企業成功的核心。」

 

Gartner《2023 年資料管理解決方案入門參考資料》(Data Management Solutions Primer for 2023)。作者:Adam Ronthal,Ehtisham Zaidi,於 2023 年 2 月 14 日發佈

資料導向的組織擁有主要競爭優勢並非秘密。透過先進的工具,企業可以比以往任何時候管理和存取更多來源的更多資料。他們還可以即時運用不同類型結構化和非結構化資料,包括物聯網(IoT)裝置資料、影片和音訊檔案、網際網路點擊流資料以及社群媒體留言,進而創造更多以資料營利並將資料作為資產的機會。

 

奠定數位轉型的資料基礎

 

經常有人說,資料是數位轉型的命脈,確實如此。資料和分析(D&A)主管必須滿足數位企業需求,和資料架構日增的複雜度(包括雲端帶來的影響)。人工智慧、機器學習工業 4.0、進階分析、物聯網和智慧自動化,都需要大量即時、準確且安全的資料,才能完成作業。

舉例來說,機器學習和生成式 AI 需要非常龐大且多樣化的資料集來進行「學習」、識別複雜模式、解決問題,並使模型和演算法保持最新且有效執行。進階分析(通常運用機器學習和 AI)也依賴大量的高品質資料,以產生相關可行的洞察,從而據以自信地採取行動。而物聯網和工業物聯網情境仰賴,以極快的速度提供穩定的機器和感應器資料流。

 

任何數位轉型專案的共同點都是資料。企業必須先建立穩固的資料基礎,才能轉換程序、善用新技術,進而邁向智慧企業。簡而言之,企業需要一套現代化的資料管理系統

「任何企業的持續生存都將取決於以資料為中心的靈活架構,以因應不斷變化的速度。」

 

Gartner 副總裁 Donald Feinberg

確保遵循資料隱私法規

 

良好的資料管理,對於確保遵循國家和國際資料隱私權法規,例如美國的《通用資料保護法規》(General Data Protection Regulation,GDPR)和《加州消費者隱私保護法》(California Consumer Privacy Act),以及產業特定的隱私和安全性要求,也至關重要。而當要證明或審核這些保護措施時,制定穩固的資料管理政策和程序,也是不可或缺的根本。

資料管理方法

資料結構和資料網格近年來皆成為常用的資料管理術語,許多組織都將這些術語用於資料管理架構。資料結構式的架構旨在為各種資料來源建立連接層,推動整個企業的自助服務、資料存取和資料傳遞。從終端使用者觀點來看,資料結構的架構旨在抽象處理儲存資料的不同位置,呈現單一且統一的檢視畫面,即使基礎架構高度分散,仍可加以運用。

資料網格

 

資料網格為使用分散式架構的資料管理方法。換句話說,它會將整個企業特定資料集的所有權和責任分散給那些擁有專業知識的使用者,以了解該資料的含義,以及如何充分利用這些資料。資料網格架構會擷取並串聯來自各個來源(例如資料湖泊和資料倉儲)的資料,並將相關資料集分配給企業中合適的人力專家和網域團隊。基本上,中央資料湖泊中大量的資料會加以排序並分配至可管理的區塊,以便最佳了解和運用資料。

 

資料結構

 

資料結構結合了資料架構與專門的軟體解決方案,可彙集、連結、管理及控管不同系統與應用程式的資料。資料結構解決方案可讓您即時連結並管理不同系統與應用程式的資料,以便建立單一資料來源,在您需要時隨時隨地取得及運用資料,讓資料管理流程真正走向普及化、自動化。資料結構也可簡化所有資料(尤其是複雜的分散式架構),進行資料的統一、清理、擴充及保護,以便用於分析、AI 和機器學習應用程式。資料結構架構和解決方案有助於企業運用資料、擴展系統規模,同時因應瞬息萬變的市場變化。

 

主檔資料管理(MDM)

 

主檔資料管理是為所有重要企業資料(例如產品資料、客戶資料、資產資料、財務資料等)建立一個值得信賴的主參考(單一事實版本)規範。MDM 可協助企業確保不同業務部份的資料,不會使用包含程序、作業、分析、AI 和報表製作的多個、可能不一致的版本。而資料合併、資料管理和資料品質管理,是能有效發揮 MDM 的三大支柱。

placeholder

「企業和 IT 組織共同運作的技術準則,可確保企業官方、共用主檔資料資產的統一性、準確性、管理權、語義一致性和責任。」

 

Gartner MDM 的定義

資料整合

 

資料整合是隨時隨地視需要擷取、轉換、合併和建置資料的實務。此整合不單單發生在企業,也發生在合作夥伴、第三方資料來源及使用案例上,以滿足所有應用程式和企業流程的資料使用需求。技術包括大量/批次資料移動、擷取、轉換、載入(ETL)、變更資料擷取、資料複製、資料虛擬化、串流資料整合、資料彙整等。

 

資料探索和目錄編排

 

資料探索和資料目錄編排可讓您找到擁有的資料,並決定資料的關聯方式。探索通常是資料分析(根據資料結構、內容等,產生一目瞭然的資料檢視畫面)的一環,並指出多個(異質)資料來源中和彼此之間,不同資料集所存在的位置和關係。廣義而言,這是了解資料架構的基本工具。敏感資料探索是值得注意的子類別,在找出並分類組織內的個人資料或其他敏感資料時,特別需要留意,以便遵循資料隱私、安全性和合規性,提供適當保護。

 

資料探索也用於建立資料目錄,以及其他更進階的自動化技術,例如人工智慧和機器學習。資料目錄提供關於資料資產的資訊儲藏庫(又稱中繼資料):儲存的資料、資料位置、格式及其相關網域。最好能盡可能自動收集這些資訊,並且可進一步依地理、時間、存取控制等項目分類。目錄會經過編排且可搜尋,並支援自助服務和協同合作。除了資料的實體來源外,更全面的目錄將會從各種衍生來源(例如分析報表和儀表板)擷取中繼資料。目錄通常與資料準備工具一併使用,對於支援資料管理和協作式自助資料存取而言相當重要。

 

資料控管、安全性與法規遵循

 

資料控管是一系列規則和責任,用於確保整個組織的資料可用性、品質、法規遵循和安全性。資料控管會建立基礎架構,並命名組織內同時具有授權和負責處理和保護特定類型資料的個人(或職位)。資料控管是法規遵循的重要一環。系統將注意安全性、儲存和存取的機制,以及適當的刪除和保留。資料控管也協助確保資料正確無誤,且符合商業標準,再輸入系統、使用該資料,以及從系統擷取以供其他地方使用或儲存時。組織管理會指定負責人員如何使用程序和技術來管理和保護資料。

 

資料安全性是當今世界駭客、病毒、網路攻擊、資料洩漏問題的一大隱憂。雖然安全性建置在系統與應用程式中,還要資料控管來確保能夠正確地設定和管理這些系統以保護資料,並執行程序和負起責任,保護系統和資料庫之外在的資料。

何謂企業資料策略以及您為何應採用?

如今,企業策略仰賴資料來自動化流程、自訂客戶和員工體驗、透過新市場或客戶開發推動成長,以及進行創新。因此,企業成功與否,與資料策略能否與企業策略一致越發相關。資料策略應在整個組織中引起共鳴,這個策略對組織而言必須有意義且息息相關。

 

公司需要資料策略來排列工作的優先順序。我們都知道,公司產生和使用的資料量正在大幅成長。資料問題和需求永遠都會比資源更多。公司需要根據透過資料策略所能實現最大價值的方式,來排列資料活動的優先順序。該策略需要「順利融入」,並完全符合業務優先目標,也要有足夠的彈性,才能隨著企業轉型和成熟而轉變。它不能只是紙上談兵,而是必須「融入」組織。

 

資料策略說明了為了達成業務成果,必須建立的所有資料能力。資料能力不只是資料管理功能和工具,還包括組織結構、資料取得和資料網路策略、法規遵循和倫理等業務能力。它規劃的藍圖可列出需要開發多年的功能,設定可交付項目的期望,需要的時間、成本和行政支援。

placeholder

資料管理的演變

50 多年來,從協助公司改善資訊報表製作的準確性、找出趨勢並制定更完善的決策,以推動數位轉型,並強化現今的新技術和商業模式,有效管理資料一直是企業成功的最大關鍵。資料已成為一種新的資本,有前瞻性的組織始終都在尋找新的、更好的方式利用資料來發揮自己的優勢。以下是現代資料管理的最新趨勢,必須密切注意並探索其與貴企業和產業的相關性:

  • 資料結構:現今大多數組織都在就地部署及雲端上部署各種類型的資料,並且使用多種資料庫管理系統、處理技術和工具。資料結構是架構與技術的自訂組合,使用中繼資料、動態的資料整合和諧調,達到在整個分散式環境中流暢地存取和共用資料。

  • 雲端資料管理:許多公司正將部份或全部的資料管理平台轉移至雲端。雲端資料管理充分利用雲端提供的所有效益,包括可擴展性、進階資料安全性、改善的資料存取、自動備份和災難復原、節省成本等等。雲端資料庫和資料庫即服務(DBaaS)解決方案雲端資料倉儲和雲端資料湖泊都日益普及。

  • 資料即產品:資料即產品是指將內部資料視為第一階產品來運用的實務,藉由資料團隊的幫助(甚至延伸至資料長或同等級的主管),得以在正確的時間為組織其他人員提供高品質的所需資料。目標是在整體上提高資料利用率,例如更即時且更準確的分析洞察。

  • 強化資料管理:目前有一項較新的趨勢稱為「強化資料管理」。強化資料管理運用 AI 和機器學習,讓資料管理程序自行設定和自我調整。強化資料管理能夠讓資料品質、主檔資料管理和資料整合等等一切程序自動化,讓技術熟練的員工得以專注在創造更高價值的工作。

  • 強化預測分析:強化預測分析使用人工智慧(AI)技術、機器學習和自然語言處理(NLP),不僅能自動找到最重要的洞察,更推動進階分析的大眾化,讓每個人(不只是資料科學家)都能就資料提出問題,並以自然且對話的方法獲得答案。

 

探索其他資料管理術語和趨勢。

摘要

我們知道資訊衍生自資料。如果資訊是力量,那麼有效管理和運用資料,可能會成為貴公司的超能力。因此,資料管理責任以及資料長(和分析長)在企業中的角色正在演進,在推動雲端採用、運用新趨勢和技術,以及為企業提供策略性價值方面,已轉變成變革的關鍵推動者。

placeholder

資料庫與資料管理解決方案

SAP 可協助您管理、控管和整合您的企業資料。

placeholder

您在其他地方無法找到的想法

立即註冊以取得商務智慧,直接傳送至您的收件匣。

twitter pixeltwitter pixeltwitter pixeltwitter pixeltwitter pixeltwitter pixeltwitter pixeltwitter pixeltwitter pixeltwitter pixeltwitter pixeltwitter pixel