ما هو التنقيب في البيانات؟
التنقيب عن البيانات هو عملية استخدام أدوات تحليلية متقدمة لاستخراج معلومات مفيدة من تراكم البيانات.
نظرة عامة على التنقيب عن البيانات
استخراج البيانات هو عملية استخراج معلومات مفيدة من تراكم البيانات، غالبًا من مستودع البيانات أو مجموعة من مجموعات البيانات المرتبطة. تشتمل أدوات التنقيب عن البيانات على قدرات إحصائية ورياضية وتحليلية قوية هدفها الأساسي التنقل بين مجموعات كبيرة من البيانات لتحديد الاتجاهات والأنماط والعلاقات لدعم اتخاذ القرارات والتخطيط المستنيرة.
في كثير من الأحيان المرتبطة باستفسارات قسم التسويق، ينظر إلى التنقيب في البيانات من قبل العديد من المسؤولين التنفيذيين كوسيلة لمساعدتهم على فهم الطلب بشكل أفضل ولرؤية تأثير التغييرات في المنتجات أو التسعير أو الترويج على المبيعات. ولكن التنقيب عن البيانات له فائدة كبيرة لمجالات الأعمال الأخرى أيضا. ويمكن للمهندسين والمصممين تحليل فعالية تغييرات المنتجات والبحث عن الأسباب المحتملة لنجاح المنتج أو الفشل المتعلق بكيفية استخدام المنتجات ومتى وأين يتم استخدامها. يمكن لعمليات الخدمة والإصلاح تخطيط مخزون قطع الغيار والتوظيف بشكل أفضل. يمكن لمنظمات الخدمات المهنية استخدام التنقيب عن البيانات لتحديد الفرص الجديدة من الاتجاهات الاقتصادية المتغيرة والتحولات الديموغرافية.
يصبح التنقيب عن البيانات أكثر فائدة وقيمة مع مجموعات بيانات أكبر وبخبرة أكثر للمستخدم. منطقيا، كلما زادت البيانات، كلما كان ينبغي دفن الرؤى والذكاء هناك. كذلك، كلما أصبح المستخدمون أكثر إلماماً بالأدوات وفهماً أفضل لقاعدة البيانات، كلما زاد إبداعهم باستكشافاتهم وتحليلاتهم.
لماذا استخدام التنقيب عن البيانات؟
الفائدة الأساسية للتنقيب عن البيانات هي قدرتها على تحديد الأنماط والعلاقات في أحجام كبيرة من البيانات من مصادر متعددة. ومع توفر المزيد والمزيد من البيانات – من مصادر متنوعة مثل وسائل التواصل الاجتماعي وأجهزة الاستشعار عن بعد والتقارير التفصيلية المتزايدة لحركة المنتج ونشاط السوق – فإن التنقيب عن البيانات يقدم الأدوات لاستغلال البيانات الضخمة بشكل كامل وتحويلها إلى ذكاء قابل للتنفيذ. والأكثر من ذلك، أنه يمكن أن يعمل كآلية "للتفكير خارج الصندوق".
يمكن أن تكشف عملية التنقيب عن البيانات عن علاقات وأنماط مدهشة ومثيرة للاهتمام في أجزاء من المعلومات تبدو غير مترابطة. ولأن المعلومات تميل إلى أن تكون مجزأة، فقد كان من الصعب تاريخيا أو من المستحيل تحليلها ككل. ومع ذلك، قد تكون هناك علاقة بين العوامل الخارجية – ربما العوامل الديموغرافية أو الاقتصادية – وأداء منتجات الشركة. وبينما ينظر المسؤولون التنفيذيون بانتظام إلى أرقام المبيعات حسب الإقليم وخط المنتج وقناة التوزيع والمنطقة، فإنهم غالبًا ما يفتقرون إلى السياق الخارجي لهذه المعلومات. ويشير تحليلهم إلى “ما حدث” لكنهم لا يفعلون الكثير لكشف “سبب حدوثه بهذه الطريقة”. يمكن للتنقيب عن البيانات ملء هذه الفجوة.
يمكن أن يبحث التنقيب عن البيانات عن الارتباطات مع العوامل الخارجية؛ في حين أن الارتباط لا يشير دائمًا إلى السببية، إلا أن هذه الاتجاهات يمكن أن تكون مؤشرات قيمة لتوجيه المنتج والقناة وقرارات الإنتاج. ويفيد التحليل نفسه أجزاء أخرى من الأعمال من تصميم المنتجات إلى الكفاءة التشغيلية وتقديم الخدمات.
سجل التنقيب عن البيانات
يقوم الناس بجمع البيانات وتحليلها منذ آلاف السنين، وبطرق عديدة، ظلت العملية كما هي: تحديد المعلومات اللازمة، وإيجاد مصادر بيانات نوعية، وجمع البيانات ودمجها، واستخدام الأدوات الأكثر فعالية المتاحة لتحليل البيانات، والاستفادة مما تعلمته. كما أن الحوسبة والأنظمة القائمة على البيانات قد نمت وتقدمت، وكذلك لديها أدوات لإدارة وتحليل البيانات. وجاءت نقطة التصريف الحقيقية في الستينيات مع تطوير تقنية قاعدة البيانات العلائقية وأدوات الاستعلام اللغوية الطبيعية الموجهة للمستخدم مثل لغة الاستعلامات المركبة (SQL). لم تعد البيانات متوفرة فقط من خلال البرامج المرمَّزة المخصصة. ومع هذا التقدم، يمكن لمستخدمي الأعمال استكشاف بياناتهم بشكل تفاعلي وإبراز الأحجار الكريمة المخفية من الذكاء المدفون في الداخل.
كان التنقيب عن البيانات تقليديا مجموعة مهارات تخصصية ضمن علم البيانات. غير أن كل جيل جديد من الأدوات التحليلية يبدأ بطلب مهارات تقنية متقدمة ولكنه يتطور بسرعة ليصبح في متناول المستخدمين. التفاعل – القدرة على السماح للبيانات بالتحدث معك – هو التقدم الأساسي. اسأل سؤالاً؛ راجع الإجابة. بناءً على ما تتعلمه، اسأل سؤالاً آخر. هذا النوع من التجوال غير المنظم من خلال البيانات يأخذ المستخدم خارج حدود تصميم قاعدة البيانات الخاصة بالتطبيق ويسمح باكتشاف العلاقات التي تعبر الحدود الوظيفية والتنظيمية.
يُعد التنقيب عن البيانات مكونًا أساسيًا في التحليل الذكي للأعمال. يتم دمج أدوات التنقيب عن البيانات في لوحات المعلومات التنفيذية، وجمع البصيرة من البيانات الضخمة، بما في ذلك البيانات من وسائل التواصل الاجتماعي، وتغذية مستشعرات إنترنت الأشياء (IoT)، والأجهزة التي تعرف الموقع، والنص غير المنظم، والفيديو، وأكثر من ذلك. يعتمد التنقيب عن البيانات الحديثة على الحوسبة السحابية والافتراضية، وكذلك قواعد البيانات في الذاكرة، لإدارة البيانات من العديد من المصادر بشكل فعال من حيث التكلفة والتوسع في الطلب.
كيف يعمل التنقيب عن البيانات؟
وهناك عدد من النُهُج المتعلقة بالتنقيب عن البيانات بقدر ما يوجد من عمال مناجم للبيانات. ويعتمد هذا النهج على نوع الأسئلة المطروحة وعلى محتويات وتنظيم قاعدة البيانات أو مجموعات البيانات التي توفر المادة الخام لأغراض البحث والتحليل. ومع ذلك، هناك بعض الخطوات التنظيمية والتحضيرية التي يجب إكمالها لإعداد البيانات والأدوات والمستخدمين:
- فهم المشكلة – أو على الأقل مجال التحقيق. يحتاج صانع قرار الأعمال، الذي يجب أن يكون في مقعد السائق لهذه المغامرة المتعلقة بالتنقيب عن البيانات على الطرق الوعرة، إلى فهم عام للمجال الذي سيعملون فيه – أنواع البيانات الداخلية والخارجية التي من المقرر أن تكون جزءًا من هذا الاستكشاف. ومن المفترض أن يكون لديهم معرفة حميمة بالأعمال والمجالات الوظيفية المعنية.
- تجميع البيانات. ابدأ بقواعد البيانات والأنظمة الداخلية الخاصة بك. ربطها من خلال نماذج البيانات الخاصة بها والأدوات الارتباطية المختلفة أو تجميع البيانات معًا في مستودع بيانات. ويتضمن ذلك أي بيانات من مصادر خارجية تمثل جزءًا من عملياتك، مثل بيانات المبيعات الميدانية و/أو بيانات الخدمة أو إنترنت الأشياء أو بيانات الوسائط الاجتماعية. البحث عن حقوق البيانات الخارجية والحصول عليها بما في ذلك التركيبة السكانية والبيانات الاقتصادية وذكاء السوق، مثل اتجاهات الصناعة والمعايير المالية من الجمعيات التجارية والحكومات. جلبها في نطاق مجموعة الأدوات (قم بإدخالها في مستودع بياناتك أو ربطها ببيئة التنقيب عن البيانات).
- إعداد البيانات وفهمها. استخدم الخبراء المتخصصين في أعمالك للمساعدة في تحديد البيانات وتصنيفها وتنظيمها. ويسمى هذا الجزء من العملية في بعض الأحيان مشاحنات البيانات أو الدمغ. قد تحتاج بعض البيانات إلى التنظيف أو "المسح" لإزالة التكرار أو حالات عدم الاتساق أو السجلات غير المكتملة أو التنسيقات القديمة. قد يكون إعداد البيانات وتنقيتها مهمة مستمرة حيث تصبح المشاريع الجديدة أو البيانات من حقول الاستعلام الجديدة ذات أهمية.
- تدريب المستخدم. لن تمنح مراهقتك مفاتيح العائلة فيراري دون أن تخوض في تعليم السائق، والتدريب على الطريق، وبعض الممارسة المشرفة مع سائق مرخص - لذا احرص على توفير التدريب الرسمي لعمال مناجم البيانات المستقبليين بالإضافة إلى ممارسة بعض المشرفين عليها حيث يبدأون في التعرف على هذه الأدوات القوية. كما أن التعليم المستمر فكرة جيدة بمجرد أن يتقنوا الأساسيات ويمكنهم الانتقال إلى تقنيات أكثر تقدما.
تقنيات استخراج البيانات
ضع في اعتبارك أن التنقيب عن البيانات يعتمد على مجموعة أدوات بدلاً من روتين أو عملية ثابتة. تقنيات محددة للتنقيب عن البيانات المذكورة هنا هي مجرد أمثلة على كيفية استخدام الأدوات من قبل المنظمات لاستكشاف بياناتها بحثا عن الاتجاهات، والارتباطات، والذكاء، والرؤية التجارية.
بشكل عام، يمكن تصنيف مناهج التنقيب عن البيانات على أنها موجهة - تركز على نتيجة مرغوبة محددة - أو غير موجهة كعملية اكتشاف. قد تهدف الاستكشافات الأخرى إلى ترتيب البيانات أو تصنيفها، مثل تجميع العملاء المحتملين وفقًا لسمات الأعمال مثل الصناعة والمنتجات والحجم والموقع. وهناك هدف مماثل، وهو اكتشاف القيم الشاذة أو الشذوذ، هو طريقة آلية للتعرف على المخالفات الحقيقية (بدلاً من التباين البسيط) ضمن مجموعة من البيانات التي تعرض أنماط يمكن تحديدها.
ارتباط
هدف آخر مثير للاهتمام هو الارتباط - ربط حدثين أو نشاطين لا علاقة لهما على ما يبدو. قصة كلاسيكية من الأيام الأولى من التحليلات وتعدين البيانات، ربما وهمية، لديها سلسلة متاجر الراحة اكتشاف علاقة بين مبيعات البيرة والحفاضات. التكهن بأن الآباء الجدد الذين نفد في وقت متأخر من المساء للحصول على حفاضات قد يستحوذون على زوجين من ست حزم أثناء تواجدهم هناك. تضع المتاجر البيرة والحفاظات على مقربة وتزيد من مبيعات البيرة نتيجة لذلك.
التجميع
ويهدف هذا النهج إلى تجميع البيانات حسب أوجه التشابه بدلاً من الافتراضات المحددة مسبقًا. على سبيل المثال، عندما تقوم باستخدام معلومات مبيعات العملاء لديك مع البيانات الديموغرافية وائتمان المستهلك الخارجي، يمكنك اكتشاف أن عملائك الأكثر ربحية هم من المدن متوسطة الحجم. وفي معظم الوقت، تتم متابعة التنقيب في البيانات لدعم التنبؤ أو التنبؤ. كلما كنت تفهم الأنماط والسلوكيات بشكل أفضل، كلما تمكنت من تنفيذ مهمة أفضل فيما يتعلق بتوقع الإجراءات المستقبلية المتعلقة بالارتباطات أو الأسباب.
الانحدار
واحدة من التقنيات الرياضية المقدمة في مجموعات أدوات التنقيب عن البيانات، تحليل الانحدار يتوقع عددا على أساس الأنماط التاريخية المتوقعة في المستقبل. توفر العديد من خوارزميات اكتشاف وتتبع الأنماط الأخرى أدوات مرنة لمساعدة المستخدمين على فهم البيانات والسلوك الذي تمثله بشكل أفضل. وهذه ليست سوى عدد قليل من التقنيات والأدوات المتاحة في مجموعات أدوات التنقيب عن البيانات. اختيار الأداة أو التقنية آليا إلى حد ما في أن التقنيات ستطبق وفقا لكيفية طرح السؤال. في العصور السابقة، كان يشار إلى التنقيب في البيانات باسم "تقسيم وقص" قاعدة البيانات، ولكن الممارسة أكثر تطورا الآن ومصطلحات مثل الارتباط والتجميع والانحدار شائعة.
حالات الاستخدام والأمثلة
تعدين البيانات هو المفتاح لتحليل التوجهات، وتحسين الأسعار، وتسويق قواعد البيانات، وإدارة مخاطر الائتمان، والتدريب والدعم، وكشف الاحتيال، والرعاية الصحية والتشخيصات الطبية، وتقييم المخاطر، وأنظمة التوصية ("العملاء الذين اشتروا هذا أيضا أعجبوا… ")، وأكثر من ذلك بكثير. ويمكن أن تكون أداة فعالة في أي صناعة فقط، بما في ذلك البيع بالتجزئة والتوزيع بالجملة وصناعات الخدمات والاتصالات والاتصالات والتأمين والتعليم والتصنيع والرعاية الصحية والخدمات المصرفية والعلوم والهندسة والتسويق عبر الإنترنت أو وسائل التواصل الاجتماعي.
تطوير المنتجات: يمكن للشركات التي تقوم بتصميم المنتجات المادية أو صنعها أو توزيعها تحديد الفرص المتاحة لاستهداف منتجاتها بشكل أفضل من خلال تحليل أنماط الشراء المقترنة بالبيانات الاقتصادية والديموغرافية. ويمكن لمصمميها ومهندسيها أيضًا تبادل ملاحظات العملاء والمستخدمين، وإصلاح السجلات، وغيرها من البيانات لتحديد فرص تحسين المنتجات.
التصنيع: يمكن للمصنعين تتبع اتجاهات الجودة وبيانات الإصلاح ومعدلات الإنتاج وبيانات أداء المنتجات من الحقل لتحديد مخاوف الإنتاج. ويمكنهم أيضًا التعرف على الترقيات المحتملة للعمليات التي من شأنها تحسين الجودة وتوفير الوقت والتكلفة وتحسين أداء المنتج و/أو الإشارة إلى الحاجة إلى معدات مصنع جديدة أو أفضل.
صناعات الخدمات: في صناعات الخدمات، يمكن للمستخدمين العثور على فرص مماثلة لتحسين المنتجات من خلال الإحالة الترافقية لتعليقات العملاء (مباشرة أو من وسائل التواصل الاجتماعي أو مصادر أخرى) مع خدمات محددة، وقنوات، وبيانات أداء الأقران، والمنطقة، والتسعير، والديموغرافية، والبيانات الاقتصادية، وأكثر من ذلك.
وأخيرًا، يجب تغذية كل هذه النتائج مرة أخرى إلى التنبؤ والتخطيط بحيث تتوافق المؤسسة بأكملها مع التغييرات المتوقعة في الطلب على أساس معرفة أكثر حميمية بالعميل – وأن تكون في وضع أفضل لاستغلال الفرص المحددة حديثًا.
تحديات التنقيب عن البيانات
البيانات الضخمة: يتم توليد البيانات بوتيرة متسارعة، مما يتيح المزيد من الفرص للتنقيب عن البيانات. ومع ذلك، فإن أدوات التنقيب عن البيانات الحديثة مطلوبة لاستخراج المعنى من البيانات الضخمة، بالنظر إلى الحجم الكبير والسرعة العالية والتنوع الواسع لهياكل البيانات بالإضافة إلى الحجم المتزايد للبيانات غير المنظمة. تكافح العديد من الأنظمة القائمة للتعامل مع هذا الفيضان من المدخلات وتخزينه والاستفادة منه.
كفاءة المستخدم: تم تصميم أدوات التنقيب عن البيانات وتحليلها لمساعدة المستخدمين وصناع القرار على التفكير المنطقي وقطف المعنى والبصيرة من كتل البيانات. وعلى الرغم من التقنية العالية، فإن هذه الأدوات القوية يتم تعبئتها الآن بتصميم ممتاز لتجربة المستخدم بحيث يمكن لأي شخص تقريبًا استخدام هذه الأدوات بأقل قدر من التدريب. ومع ذلك، للحصول على المزايا بشكل كامل، يجب على المستخدم فهم البيانات المتاحة وسياق الأعمال الخاصة بالمعلومات التي يسعى للحصول عليها. كما يجب عليهم أن يعرفوا، بشكل عام على الأقل، كيفية عمل الأدوات وما يمكن أن يفعلوه. وهذا لا يتجاوز متناول متوسط المدير أو المسؤول التنفيذي، ولكنها عملية تعلم ويحتاج المستخدمون إلى بذل بعض الجهد لتطوير مجموعة المهارات الجديدة هذه.
جودة البيانات وتوافرها: مع وجود كتل من البيانات الجديدة، هناك أيضًا كتل من البيانات غير المكتملة أو غير الصحيحة أو المضللة أو الاحتيالية أو التالفة أو البسيطة غير المفيدة فقط. يمكن أن تساعد الأدوات في ترتيب ذلك كله، ولكن يجب أن يكون المستخدمون على دراية مستمرة بمصدر البيانات ومصداقيتها وموثوقيتها. كما أن مخاوف الخصوصية مهمة، سواء من حيث اقتناء البيانات أو الرعاية والتعامل بمجرد أن تكون بحوزتك.
الأسئلة المتكررة حول التنقيب عن البيانات
الأفكار التي لن تجدها في أي مكان آخر
اشترك للحصول على جرعة من ذكاء الأعمال يتم تسليمها مباشرة إلى صندوق الوارد الخاص بك.