跳至內容
電腦電纜

什麼是資料採集?

 

此網頁採機器翻譯,SAP 對於機器翻譯的內容之正確性及完整性,不予以任何保證。 您可以透過頁面右上角的地球圖示,找到原文或英文網頁。

資料採集是從資料累計中擷取實用資訊的程序,通常來自資料倉儲或連結資料集的集合。資料採集工具包含強大的統計、數學和分析功能,其主要目的在於篩選大量資料集,找出趨勢、模式和關係,以支援周全的決策和規劃。

 

通常與行銷部門詢問有關,許多主管皆認為資料採集是協助他們更瞭解需求的方法,並查看產品、定價或促銷變動對銷售的影響。但是資料採集對於其他業務領域也有相當大的效益。工程師和設計人員可以分析產品變更的有效性,並尋找產品成功或失敗的可能原因,例如產品的使用方式、時間和地點。服務和維修作業可更有效計劃零件存貨和員工配置。專業服務組織可以使用資料採集,從瞬息萬變的經濟趨勢和人口轉移中找出新商機。

 

運用更多資料集和更多使用者體驗,資料探勘變得更為實用且更有價值。在邏輯上,資料越多,應該埋葬到那裡的洞察力和智慧。此外,隨著使用者對工具越來越熟悉,更能瞭解資料庫,因此他們越能運用其探索與分析。

為何要使用資料採集?

資料採集的主要效益在於能夠從多個來源識別大量資料的模式與關係。隨著社群媒體、遠端感應器以及產品移動和市場活動的日益詳細的報道,有越來越多的可用資料,提供充分利用 Big Data 並轉化為可據以行動的智慧的工具。更何況,它可以作為「箱外思考」的機制。

 

資料採集程序可在看似不相關的資訊位元中,偵測出令人驚訝和引人入勝的關係和模式。因為信息往往比較化,歷史上很難或不可能整體分析。然而,外部因素 (可能是人口統計或經濟因素) 與公司產品的績效之間可能存在關係。雖然高階主管會定期按銷售區域、產品線、配銷通路和區域來查看銷售號碼,但通常缺少此資訊的外部內容。他們分析指出「發生了什麼」,但很少能發現「為什麼發生這種情況」。資料採集可填補此差距。

 

資料採集可以尋找與外部因素的關聯性;雖然關聯並非總是表示因果關係,但這些趨勢可能是指導產品、通路和生產決策的重要指標。相同的分析讓其他部門從產品設計、營運效率和服務交付,都受惠。

資料採集的歷史記錄

人們收集和分析資料已有數千年,在很多方面,流程始終不變:找出需要的資訊、尋找高品質的資料來源、收集和結合資料、使用最有效的工具來分析資料,並充分利用您所學到的資訊。隨著運算和資料式系統的成長和先進,因此提供管理和分析資料的工具。真正的轉折點出現在1960年代,開發了關聯式資料庫技術和使用者導向的自然語言查詢工具,如結構化查詢語言(SQL)。不再提供自訂編碼程式的資料。有了這個突破,商務使用者可以互動地探索他們的資料,並撕開內埋藏的智慧寶石。

 

資料採集傳統上是資料科學中的專業技能組合。然而,每一代的新一代分析工具開始需要先進的技術技能,但會迅速發展以讓使用者存取。互動性 – 讓資料與您交談的能力,是重要的進展。提出問題;請參閱答案。根據您學習的內容,提出另一個問題。這種透過資料的非結構化漫遊,會讓使用者超越應用程式特定的資料庫設計範圍,並允許探索跨功能和組織邊界的關係。

 

資料採集是商務智慧的關鍵要素。資料採集工具內建於執行儀表板中,收集來自大數據的洞察力,包括來自社交媒體、物聯網 (IoT) 感應器饋送、地點感知裝置、非結構化文字、影片等的資料。現代資料採集仰賴雲端和虛擬運算以及記憶體式資料庫,以符合成本效益的方式管理來自許多來源的資料,並依需求擴充。

資料採集如何運作?

資料採集的方法有多多,因為資料採集人員不多。此方法取決於所詢問的問題類型,以及提供搜尋和分析原料的資料庫或資料集內容和組織。也就是說,應完成一些組織和準備步驟,以準備資料、工具和使用者:
  1. 瞭解問題 – 或至少瞭解調查範圍。 企業決策者應該在這個數據挖掘越野冒險中佔據駕駛人的寶座,需要對他們的領域進行全面的理解——也就是這種探索中的內外數據類型。假設他們對業務和所涉及的功能領域有親切的知識。
  2. 資料收集。 開始使用您的內部系統和資料庫。透過資料模型和各種關聯式工具連結資料,或是將資料收集到資料倉儲。這包含來自外部來源的任何資料,這些資料屬於您的營運,例如現場銷售和/或服務資料、IoT 或社群媒體資料。尋找並取得外部資料的權利,包括人口統計、經濟資料和市場情報,例如產業趨勢和貿易協會和政府的財務基準。將工具組帶入工具組 (帶入您的資料倉儲或連結至資料採集環境)。
  3. 資料準備與瞭解。 使用業務主題專家協助定義、分類和組織資料。此部份有時稱為資料整理或清除。部份資料可能需要清除或「清除」以移除重複、不一致、不完整記錄或過時格式。資料準備和清除可能是進行中的工作細項,因為新的專案或來自新查詢欄位的資料即將成為興趣。
  4. 使用者訓練。 您不會把鑰匙提供給家人 Ferrari,而不會讓他們接受駕駛人的教育、道路上的訓練,以及授權駕駛的某些監督實務,因此務必為未來的資料礦工提供正式的訓練,以及一些受監督的做法,因為他們開始熟悉這些強大的工具。繼續教育也是一個好主意,一旦掌握了基礎知識,就可以走向更先進的技術。

資料採集技術

請注意,資料採集是以工具套件為基礎,而非固定的常式或程序。此處提及的特定資料採集技術,只是組織在搜尋趨勢、關聯、智慧以及商務洞察時,使用工具來探索其資料的範例。

 

一般而言,資料採集方法可依指示進行分類 (著重於特定預期結果),或未導向為探索程序。其他探索可能針對排序或分類資料,例如根據業務屬性 (例如產業、產品、大小和地點) 分組潛在客戶。類似的標的、極端值或異常性偵測,是在顯示可識別模式的一組資料中,識別真實異常 (而不是簡單的變異性) 的自動方法。

 

關聯

另一個有趣的目標是關聯,連結兩個看似不相關的事件或活動。來自早期分析與資料採集的經典故事,也許是虛構的,有一個便利商店鏈發現啤酒與尿布銷售之間的關聯。有鑑識到晚上跑出來拿到尿布的新父們,可能就在那兒抓到幾包六包。店鋪將啤酒和尿布定位在近鄰,並因此增加啤酒銷量。

 

叢集

此方法旨在以相似而非預先定義的假設來分組資料。例如,當您採集客戶銷售資訊和外部消費者信用與人口統計資料時,可能會發現您最賺錢的客戶是來自中型城市。

大多數時候,資料採集會持續支援預測或預測。您瞭解模式和行為越好,您可以更擅長預測與因果或關聯相關的未來動作。

 

迴歸

資料採集工具套件中提供的數學技術之一,迴歸分析根據未來預測的歷史模式預測一個數字。各種其他模式偵測和追蹤演算法提供彈性的工具,協助使用者更瞭解資料和所呈現的行為。

這些只是資料採集工具套件中可用的一些技術和工具。工具或技術的選擇有些自動化,根據問題的呈現方式套用技術。在更早的時間裡,資料採集被稱作“切片和口述”的資料庫,但現在這種做法比較精密,關聯、群集、迴歸等詞彙是常見的。

使用案例和範例

資料採集是情緒分析、價格最佳化、資料庫行銷、信用風險管理、培訓與支援、詐欺偵測、醫療和醫療診斷、風險評估、建議系統 (「購買此產品的客戶也喜歡...」) 等關鍵。它可以是任何產業的有效工具,包括零售、批發分銷業、服務業、電信、通訊、保險、教育、製造、醫療、銀行、科學、工程以及線上行銷或社群媒體。

  • 產品開發:公司若設計、製造或經銷實體產品,則可藉由分析採購模式與經濟與人口統計資料,明確鎖定產品目標的機會。其設計人員和工程師也可以交叉參考客戶和使用者反饋、修復記錄和其他資料,找出產品改善的機會。
  • 製造:製造商可從現場追蹤品質趨勢、維修資料、生產率和產品績效資料,以找出生產考量。也可辨識出可改善品質、節省時間和成本、改善產品效能和/或指向新或更好的工廠設備需求的可能流程升級。
  • 服務業:在服務行業中,用戶可以通過特定服務、渠道、同行績效數據、地區、定價、人口統計、經濟數據等形式交叉參考客戶反饋(直接或者來自社交媒體或其他來源),尋找類似的改進產品機會。

最後,所有研究結果皆應回饋給預測和規劃,以便整個組織根據客戶更親切的知識來因應預期的需求變化,並更能充分運用新識別的機會。

資料採集挑戰

  • Big Data:資料產生速度正在加快,為資料採集提供更多機會。然而,現代的數據採集工具需要從大數據中提取含義,考慮到資料量大、速度高、數據結構多,非結構化數據量也越來越大。許多現有的系統難以處理、儲存,並利用這種輸入力的洪流。
  • 使用者職能:資料採集和分析工具旨在幫助用戶和決策者從大量數據中實現意義和共通意義和洞察力。雖然技術相當高,但這些強大的工具現在都搭配卓越的使用者體驗設計,因此幾乎任何人都能以最少的訓練方式使用這些工具。然而,若要完全獲得效益,使用者必須瞭解可用資料和所尋找資訊的業務內容。他們還必須知道,至少一般情況下,工具如何運作,以及他們能做什麼。這並不超過一般經理或主管的接觸範圍,而是學習流程,使用者需要投入一些精力來開發這個新的技能組合。
  • 資料品質和可用性:有了大量的新資料,也有大量不完整、不正確、誤導、詐騙、損壞,或只是單純的無用資料。這些工具可以協助將所有資料排序,但使用者必須持續瞭解資料來源,以及其可信度和可靠性。隱私權也相當重要,無論是在取得資料方面,以及您擁有資料後的注意力與處理。
placeholder

拓展您的資料管理專業知識

瞭解資料管理流程及其效益。

此序列中的更多

資料採集常見問題

資料採集程序可使用進階分析工具,從資料累計中萃取有用資訊。機器學習是一種人工智慧(AI),可讓系統從體驗中學習。資料採集可能會使用機器學習,當分析程式能夠調整其功能,以回應他們執行的資料分析。

資料分析或分析係針對廣泛實務的一般術語,著重在辨識有用資訊、進行評估,並提供特定答案。數據挖掘是一種數據分析,重點在挖掘大型、組合數據組,發現可帶來洞察和預測的模式、趨勢和關係。

數據科學是一個術語,包括數據應用的統計、數學和精密計算技術在內的許多信息技術。資料探勘是資料科學的使用案例,著重從各種來源分析大型資料集。

資料倉儲是資料的集合,通常來自多個來源 (ERPCRM 等),公司會合併到倉儲中,以進行歸檔儲存和廣泛分析,例如資料採集。

SAP Insights 電子報

placeholder
立即訂閱

訂閱我們的電子報以掌握關鍵洞察資訊。

進階讀取

返回頂部