什麼是資料採集？
資料採集是使用進階分析工具從資料累積中萃取有用資訊的程序。
資料採集概觀
資料採集是從資料累積中萃取有用資訊的程序，通常來自資料倉儲或連結資料集集合。資料採集工具包含強大的統計、數學和分析功能，其主要目的是篩選大量資料以識別趨勢、模式和關係，支援周全的決策制定和規劃。
資料採集通常與行銷部門的查詢有關，許多主觀將資料採集視為協助他們更好地了解需求，以及了解產品、定價或促銷變化對銷售的影響。但資料採集對其他業務範圍也有相當大的效益。工程師和設計人員可以分析產品變更的有效性，並尋找產品成功或失敗的可能原因，這些原因可能和產品的使用方式、時間和地點有關。服務和維修作業可更有效地規劃零件庫存和人員配置。專業服務組織可以使用資料採集，從不斷變化的經濟趨勢和人力結構變化中找出新商機。
透過更大的資料集以及更多的使用者體驗，資料採集變得更有實用和有價值。邏輯上，資料越多，其中埋藏的洞察和情報就越多。此外，隨著使用者越來越熟悉這些工具，越來越了解資料庫，他們在探索和分析時也會更有創造力。
為何要使用資料採集？
資料採集的主要效益在於，它能夠從多個來源找出大量資料的模式和關係。社交媒體、遠端傳感器以及日益相近的產品異動和市場活動報告等各種資料來源中，有越來越多可用的資料，資料採集提供了工具以充分利用大數據，並將其轉化為可據以行動的情報。更重要的是，資料採集可以充當「跳脫框架」的機制。
資料採集的過程可以在看似不相關的資訊中檢測出令人驚訝且引人入勝的關係和模式。因為資訊往往被被劃分的，因此在過去很難或不可能進行整體分析。然而，外部因素（可能是人口或經濟因素）和公司產品的績效之間可能存在關係。雖然高階主管會定期按區域、產品線、分銷通路和地區查看銷售數字，但他們往往缺乏這些資訊的外部內容。他們的分析指出「發生了什麼」，但很少能發現「為何發生這種情況」。資料採集可填補此差距。
資料採集可以尋找與外部因素的關聯性；雖然關聯性並不總能指出因果關係，但這些趨勢可以是指導產品、通路和生產決策的有價值指標。從產品設計到營運效率和服務交付，同樣的分析也能使業務的其他部分受益。
資料採集的發展史
數千年來，人們一直在收集和分析資料，而且從很多方面來說，這個過程仍然是相同的：識別需要的資訊、尋找高品質的資料來源、收集和結合資料、使用最有效的工具來分析資料，並充分利用您所學到的東西。隨著運算和資料導向的系統不斷成長和進步，管理和分析數據的工具也在不斷發展和改進。1960 年代，關係資料庫技術和使用者導向的自然語言查詢工具，例如結構化查詢語言（SQL）的出現，成為了真正的轉折點。資料不再只能透過自訂編碼方案獲得。有了這項突破，企業使用者可以以互動方式探索其資料，並梳理出埋藏於資料中的寶貴情報。
資料採集一向是資料科學中的專業技能組合。然而，每一代新分析工具一開始都需要進階的技術技能，但會快速發展以供使用者存取。互動性 – 讓資料與您對話的能力，是關鍵的進展。提出問題；參閱答案。根據您學習的內容，再問一個問題。這種非結構化漫遊，會讓使用者超越應用程式特定的資料庫設計限制，並且能夠發現跨越功能及組織邊界的關係。
資料採集是商務智慧的重要元件。資料採集工具內建於執行儀表板、從大數據擷取洞察，包括來自社群媒體、物聯網（IoT）感應器反饋、位置感知裝置、非結構化文字、影片等。現代的資料採集仰賴雲端和虛擬運算，以及記憶體式資料庫，以符合成本效益的方式管理來自許多來源的資料，並依需求擴展。
資料採集如何運作？
有多少資料採集者就有多少種資料採集方法。此方法取決於所提出的問題類型，以及為搜尋和分析提供原料的資料庫或資料集的內容和組織。這表示，需要完成一些組織和準備步驟來準備資料、工具和使用者：
- 了解問題 – 或至少了解詢問的領域。企業決策者應該在這場資料採集的越野冒險中佔據主導地位，並需要對他們將要涉足的領域有大致的理解，其中包含對內部和外部資料的類型探索。假設他們對所涉及的業務和職能領域有深入的了解。
- 資料收集。從您的內部系統和資料庫開始。透過資料模型和各種關聯工具進行連結，或將資料集合至資料倉儲。這包含來自外部來源且為您作業一部份的資料，例如現場銷售和/或服務資料、IoT 或社群媒體資料。尋找並取得外部資料的權利，包括人口統計、經濟資料和市場情報，例如來自貿易協會和政府的產業趨勢和財務基準。將其帶入工具套件的範圍中（將其帶入您的資料倉儲，或將其連結至資料採集環境）。
- 資料準備和了解。使用貴公司的領域專家協助定義、分類和組織資料。此部份程序有時稱為資料整理或清理。部份資料可能需要清除或「淨化」，移除重複、不一致、不完整記錄或過期的格式。資料準備和淨化可能是一項持續性的任務，因為新的專案或來自新研究領域的資料會引起人們的興趣。
- 使用者訓練。如果不對青少年進行駕駛教育、道路培訓，並讓他們在持照駕駛員的監督下進行一些實踐，你是不會把家裡法拉利跑車的鑰匙交給他們的。因此，一定要對未來的資料採集者進行正式培訓，並在他們開始熟悉這些強大的工具時進行一些監督練習。一旦他們掌握了基礎知識並可以繼續學習更先進的技術，繼續教學也是一個好主意。
資料採集技術
請注意，資料採集是以工具套件為基礎，而非固定流程或程序。此處所提及的特定資料採集技術，僅僅是組織在尋找趨勢、關聯性、情報和商務洞察時如何使用工具來探索資料的範例。
一般來說，資料探勘方法可以分為有方向的（專注於特定的期望結果）或無方向的探索過程。其他探索可能用於排序或分類資料，例如根據業務屬性分組潛在客戶，例如產業、產品、大小和地點。相似的目標、離群值或異常偵測，是一種自動化的方法，在顯示可識別模式的資料集中識別真實異常（而不是簡單的變異）。
關聯
另一個有趣的目標是關聯性——連結兩個看似無關的事件或活動。分析和資料探勘早期的一個經典故事（也許是虛構的）是一家連鎖便利商店發現啤酒和尿布銷售之間的關聯性。他們推測，那些在深夜跑出去買尿布的忙碌新爸爸們，可能會在那裡順便買幾組六瓶裝的啤酒。便利商店便將啤酒和尿布擺放在一起，從而增加了啤酒的銷量。
叢集
這種方法旨在根據相似性，而不是預先定義的假設，對資料進行分組。例如，當您採集客戶銷售資訊與外部消費者信用和人口統計資料時，可能會發現您最有利可圖的客戶來自中小型城市。 很多時候，資料採集是為了支援預測。您對模式和行為了解得越多，就越能更好地預測與因果關係或關聯性相關的未來行為。
迴歸
迴歸分析是資料採集工具套件中提供的數學技術之一，它根據預測未來的歷史模式來預測數字。各種其他模式偵測和追蹤演算法提供彈性工具，協助使用者更了解資料及其代表的行為。 這些只是一些資料採集工具套件中可用的技術和工具。工具或技術的選擇有些自動化，因為技術將會根據問題的提出方式加以應用。早前，資料採集被稱為資料庫的「切片和切塊」，但現在的實務比較精密，而關聯性、叢集和迴歸等術語屢見不鮮。
使用案例和範例
資料採集是情緒分析、定價優化、資料庫行銷、信用風險管理、訓練與支援、詐欺偵測、醫療保健和醫療診斷、風險評估、推薦系統（「購買此項的客戶也喜歡…」等）的關鍵。它可以是任何產業的有效工具，包括零售、批發分銷、服務業、電信、通訊、保險、教育、製造、醫療、銀行、科學、工程以及線上行銷或社交媒體。
產品開發：設計、製造或分銷實體產品的公司，可以透過分析採購模式以及經濟和人口統計資料，找到更佳的產品定位的機會。其設計人員和工程師也可交叉比對客戶和使用者反饋、維修記錄和其他資料，識別產品改善機會。
製造：製造商可以從現場追蹤品質趨勢、修復資料、生產率和產品績效資料，找出生產問題。他們也可以識別可能的流程升級，改善品質、節省時間和成本、改善產品效能和/或指出對全新或更好的工廠設備的需求。
服務業：在服務業中，使用者可透過與特定服務、通路、同儕績效資料、區域、定價、人口統計、經濟資料等交叉比對的客戶意見回饋（直接或來自社交媒體或其他來源），找到類似的產品改善機會。
最後，所有這些結果都應該回饋給預測和規劃，以便整個組織能夠根據對客戶更深入的了解來適應預期的需求變化，並更好地利用新發現的商機。
資料採集挑戰
大數據：資料正在以越來越快的速度產生，為資料採集提供更多機會。然而，鑑於資料結構數量大、速度快、種類廣，以及非結構化資料量不斷增加，需要現代資料採集工具從大數據中萃取意義。許多現有系統難以處理、儲存和利用如此大量的輸入。
使用者能力：資料挖掘和分析工具旨在協助使用者和決策者從大量資料中理解、找出意義和洞察。這些強大的工具雖然技術含量很高，但現在都具有絕佳的使用者體驗設計，因此幾乎任何人都可以透過最少的培訓來使用這些工具。然而，若要完全獲得效益，使用者必須了解可用資料和正在尋找的資訊業務情境。他們必須至少知道，工具的使用方式及其可執行的作業。這並不超出普通經理或高階主管的能力範圍，但這是一個學習過程，使用者需要付出一些努力來開發這種新技能組合。
資料品質和可用性：有了大量的新資料，也有大量資料不完整、不正確、具有誤導性、詐騙、損壞或單純無用。此工具可協助將其排序，但使用者必須持續了解資料來源及其可信度和可靠性。隱私考量也很重要，無論是在取得資料方面，還是在您持有資料後的維護與處理。
