Veri madenciliği nedir?
Veri madenciliği, veri birikiminden kullanışlı bilgiler elde etmek için gelişmiş analitik araçları kullanma sürecidir.
Veri madenciliğine genel bakış
Veri madenciliği, veri birikiminden, genellikle bir veri deposundan veya bağlantılı veri kümeleri koleksiyonundan kullanışlı bilgiler çekme sürecidir. Veri madenciliği araçları; birincil amacı, bilgili karar vermeyi ve planlamayı desteklemek için eğilimleri, modelleri ve ilişkileri belirlemek üzere büyük veri kümelerini aşmak olan güçlü istatistiksel, matematiksel ve analitik özellikleri içerir.
Genellikle pazarlama departmanı sorgularıyla ilişkilendirilen veri madenciliği, birçok yönetici tarafından talebi daha iyi anlamalarına ve ürün, fiyatlandırma veya promosyon değişikliklerinin satış üzerindeki etkisini görmelerine yardımcı olacak bir yol olarak görülür. Ancak veri madenciliğinin diğer iş alanları için de önemli faydaları var. Mühendisler ve tasarımcılar ürün değişikliklerinin etkinliğini analiz edebilir ve ürünlerin nasıl, ne zaman ve nerede kullanıldığıyla ilgili ürün başarı veya başarısızlığının olası nedenlerini arayabilir. Hizmet ve onarım işlemleri, parça envanterini ve kadrolamayı daha iyi planlayabilir. Profesyonel hizmet kuruluşları, değişen ekonomik eğilimlerden ve demografik değişimlerden yeni fırsatlar belirlemek için veri madenciliği kullanabilir.
Veri madenciliği, daha büyük veri kümeleri ve daha fazla kullanıcı deneyimi ile daha kullanışlı ve değerli hale gelir. Mantıksal olarak ne kadar çok veri olursa o kadar çok içgörü ve zeka oraya gömülmelidir. Ayrıca, kullanıcılar araçları daha iyi tanıdıkça ve veritabanını daha iyi anladıkça, araştırmaları ve analizleri ile birlikte olabilecekleri kadar yaratıcı olurlar.
Veri madenciliği neden kullanılır?
Veri madenciliğinin birincil faydası, birden fazla kaynaktan elde edilen büyük hacimli verilerde desenleri ve ilişkileri belirleme gücüdür. Sosyal medya, uzak sensörler ve ürün hareketinin ve pazar faaliyetlerinin gittikçe daha ayrıntılı olarak rapor edilmesi gibi kaynaklardan elde edilen daha fazla veri sayesinde veri madenciliği , Büyük Verileri tamamen kullanmaya ve eyleme dönüştürmeye yönelik araçlar sunar. Dahası, "kutunun dışında düşünmek" için bir mekanizma olarak hareket edebilir.
Veri madenciliği işlemi şaşırtıcı ve ilgi çekici ilişki ve desenleri, görünüşte ilgisiz bilgi bitlerinde algılayabilir. Bilgi bölünebilme eğiliminde olduğu için tarihsel olarak bir bütün olarak analiz edilmesi zor ya da imkânsız olmuştur. Bununla birlikte, dış faktörler (belki demografik veya ekonomik faktörler) ile bir şirketin ürünlerinin performansı arasında bir ilişki olabilir. Ve yöneticiler satış rakamlarına bölgeye, ürün hattına, dağıtım kanalına ve bölgeye göre düzenli olarak bakarken, bu bilgiler için genellikle harici bağlamdan yoksundur. Onların analizleri “ne olduğuna” işaret etmekle birlikte, “neden bu şekilde olduğunu” ortaya çıkarmaya pek yaramıyor. Veri madenciliği bu boşluğu doldurabilir.
Veri madenciliği, dış faktörlerle korelasyonları arayabilir; korelasyon her zaman nedenselliği göstermezken bu eğilimler ürün, kanal ve üretim kararlarına yön verecek değerli göstergeler olabilir. Aynı analiz, işletmenin ürün tasarımından operasyonel verimliliğe ve hizmet sunumuna kadar diğer bölümlerinden yararlanır.
Veri madenciliği tarihi
İnsanlar binlerce yıldır veri toplayıp analiz ediyor ve birçok yönden süreç aynı kaldı: gerekli bilgileri tanımlamak, kalite veri kaynaklarını bulmak, verileri toplayıp birleştirmek, verileri analiz etmek için mevcut en etkili araçları kullanmak ve öğrendikleriniz üzerinde aktifleştirmek. Bilişim ve veri tabanlı sistemler arttıkça ve ilerledikçe verileri yönetme ve analiz etme araçlarına sahip olur. Gerçek çekim noktası 1960'larda ilişkisel veritabanı teknolojisinin geliştirilmesi ve yapılandırılmış sorgu dili (SQL) gibi kullanıcı odaklı doğal dil sorgulama araçları ile geldi. Artık yalnızca özel kodlu programlar aracılığıyla veri mevcut değildi. Bu atılımla birlikte, iş kullanıcıları verilerini interaktif olarak keşfedebilir ve içine gömülü olan gizli istihbarat araçlarını kapatabilir.
Veri madenciliği geleneksel olarak veri bilimi içinde özel bir yetenek seti olmuştur. Ancak her yeni nesil analitik araç, gelişmiş teknik beceriler gerektirmeye başlar ancak kullanıcıların erişimine açılmak için hızla gelişir. Etkileşimlilik: Verilerin sizinle konuşmasına olanak sağlayabilme temel ilerlemedir. Bir soru sorun; cevaba bakın. Ne öğrendiğinize dayanarak, başka bir soru sorun. Veriler üzerinden yapılandırılmamış bu tür bir gezinme, kullanıcıyı uygulamaya özgü veritabanı tasarımının sınırlarının ötesine alır ve fonksiyonel ve organizasyonel sınırları aşan ilişkilerin bulunmasına olanak sağlar.
Veri madenciliği iş zekasının temel bileşenidir. Veri madenciliği araçları; sosyal medyadan veriler, Nesnelerin İnterneti (IoT) sensör akışları, konuma duyarlı cihazlar, yapılandırılmamış metin, video ve daha fazlası dahil olmak üzere Big Data'dan içgörü elde ederek yönetim gösterge tablolarına yerleştirilir. Modern veri madenciliği bulut ve sanal bilişimin yanı sıra bellek içi veritabanlarına güvenerek birçok kaynaktan elde edilen verileri uygun maliyetli bir şekilde yönetmek ve talep üzerine ölçeklendirmek için kullanılır.
Veri madenciliği nasıl çalışır?
Veri madenciliği konusunda veri madencilerinin olduğu kadar yaklaşımlar da var. Yaklaşım, sorulan soru türüne ve arama ve analiz için hammadde sağlayan veri tabanı veya veri kümelerinin içeriğine ve organizasyonuna bağlıdır. Buna göre verileri, araçları ve kullanıcıları hazırlamak için tamamlanması gereken bazı organizasyonel ve hazırlık adımları söz konusudur:
- Sorunu veya en azından sorgu alanını anlayın. Bu veri madenciliği off-road macerası için sürücü koltuğunda olması gereken işletme karar alıcısının, çalışacakları etki alanı hakkında genel bir anlayışa (bu keşfin bir parçası olacak olan dahili ve harici veri türleri) ihtiyacı vardır. İş ve ilgili işlevsel alanlar hakkında samimi bilgiye sahip oldukları varsayılır.
- Veri toplama. Dahili sistemlerinizle ve veri tabanlarınızla başlayın. Bunları veri modelleri ve çeşitli ilişkisel araçlar aracılığıyla bağlantılandırın veya verileri bir veri deposunda bir araya getirin. Bu; saha satışları ve/veya hizmet verileri, IoT veya sosyal medya verileri gibi işlemlerinizin bir parçası olan harici kaynaklara ait tüm verileri içerir. Sektördeki eğilimler ve ticaret dernekleri ve hükümetlerden finansal kriterler gibi demografik veriler, ekonomik veriler ve pazar istihbaratı da dahil olmak üzere dış veri haklarını araştırın ve alın. Araç kiti öngörünümüne getirin (bunları veri deponuza getirin veya veri madenciliği ortamına bağlayın).
- Veri hazırlama ve anlama. Verileri tanımlamak, kategorize etmek ve düzenlemek için işinizin konu uzmanlarını kullanın. Sürecin bu kısmına bazen veri sarma veya mühürleme denir. Bazı verilerin; yinelemeleri, tutarsızlıkları, eksik kayıtları veya kullanım dışı biçimleri kaldırmak için temizleme veya "temizleme" işlemleri gerekebilir. Veri hazırlama ve temizleme, yeni projeler veya yeni sorgu alanlarındaki veriler ilgi çekici hale geldikçe devam eden bir görev olabilir.
- Kullanıcı eğitimi. Lisanslı bir sürücüyle ehliyet eğitimine, kontrollü eğitime ve bazı denetimli uygulamalara gitmeden gençinize Ferrari ailesinin anahtarlarını vermezdiniz. Bu nedenle gelecekteki veri madencilerinize resmi bir eğitim verdiğinizden ve bu güçlü araçlar hakkında bilgi sahibi olmaya başladıklarından emin olun. Eğitime devam etmek de temelleri ustalaştıktan sonra iyi bir fikirdir ve daha ileri tekniklere geçebilirler.
Veri madenciliği teknikleri
Veri madenciliğinin sabit bir rutin veya süreçten ziyade bir araç kitine dayandığını unutmayın. Burada bahsedilen belirli veri madenciliği teknikleri yalnızca eğilim, korelasyonlar, zeka ve iş kavrayışı arayışında, kurumların verilerini keşfetmek için araçların nasıl kullanıldığının örnekleridir.
Genel olarak, veri madenciliği yaklaşımları, belirli bir istenen sonuca odaklanan veya keşif süreci olarak yönlendirilmemiş şekilde kategorize edilebilir. Diğer keşifler, olası müşterileri sektör, ürün, boyut ve konum gibi iş niteliklerine göre gruplamak gibi verileri sıralamak veya sınıflandırmak için amaçlanabilir. Benzer bir amaç, aykırı değer veya anomali tespiti, tanımlanabilir desenleri görüntüleyen bir veri kümesi içindeki gerçek anomalileri (basit değişkenlik yerine) tanımak için kullanılan otomatik bir yöntemdir.
İlişki
İlginç bir diğer hedef ise birliktelik - iki ilgisiz olayı ya da aktiviteyi birbirine bağlamak. Analitik ve veri madenciliğinin ilk günlerinden kalma klasik bir öykü, belki de hayali, bira ve bebek bezlerinin satışları arasında bir korelasyon keşfeden bir market zincirine sahiptir. Çocuk bezleri almak için akşam geç saatlerde dışarı çıkan yeni babaların, oradayken birkaç adet altı paket kapabileceğine dair söylentiler var. Mağazalar bira ve bezleri yakın mesafede konumlandırırlar ve bunun sonucunda bira satışlarını artırırlar.
Kümeleme
Bu yaklaşım, verileri önceden tanımlanmış varsayımlardan ziyade benzerliklere göre gruplamaya yöneliktir. Örneğin, müşteri satış bilgilerinizi harici tüketici kredisi ve demografik verilerle birleştirdiğinizde, en kârlı müşterilerinizin orta ölçekli şehirlerden olduğunu keşfedebilirsiniz. Zamanın büyük bir kısmında tahmin veya tahminin desteklenmesi için veri madenciliği peşkeş çekilmektedir. Desenleri ve davranışları ne kadar iyi anlarsanız, nedensellik veya korelasyonlarla ilgili gelecekteki eylemleri tahmin etmek için yapabileceğiniz iş o kadar iyi olur.
Regresyon
Veri madenciliği araç kitlerinde sunulan matematiksel tekniklerden biri olan regresyon analizi geleceğe öngörülen tarihi kalıplara dayalı bir sayı öngörmektedir. Diğer çeşitli desen algılama ve izleme algoritmaları, kullanıcıların veri ve temsil ettiği davranışı daha iyi anlamasına yardımcı olmak için esnek araçlar sağlar. Bunlar veri madenciliği alet kitlerinde mevcut olan teknik ve araçlardan sadece birkaçı. Araç veya teknik seçimi tekniklerin nasıl ortaya konduğuna göre uygulanacağı konusunda biraz otomatiktir. Daha önceki zamanlarda veri madenciliği veri tabanını "dilimleme ve diksiyon" olarak adlandırılırdı, ancak uygulama artık daha gelişmiş ve birleşme, kümeleme ve regresyon gibi terimler yaygındır.
Kullanım senaryoları ve örnekler
Veri madenciliği duygu analizi, fiyat optimizasyonu, veritabanı pazarlama, kredi risk yönetimi, eğitim ve destek, dolandırıcılık tespiti, sağlık ve tıbbi teşhisler, risk değerlendirmesi, öneri sistemleri (“bunu da satın alan müşteriler… ”) ve çok daha fazlasıdır. Perakende, toptan dağıtım, hizmet endüstrileri, telekom, iletişim, sigorta, eğitim, sağlık, bankacılık, bilim, mühendislik ve online pazarlama veya sosyal medya da dahil olmak üzere herhangi bir sektörde etkili bir araç olabilir.
Ürün Geliştirme: Fiziksel ürünleri tasarlayan, yapan veya dağıtan şirketler, ekonomik ve demografik verilerle birlikte satın alma örneklerini analiz ederek ürünlerini daha iyi hedefleme fırsatlarını belirleyebilir. Tasarımcıları ve mühendisleri aynı zamanda ürün iyileştirme fırsatlarını belirlemek için çapraz referans müşteri ve kullanıcı geribildirimleri, kayıtları onarabilir ve diğer verileri belirleyebilir.
Üretim: Üreticiler, üretim endişelerini belirlemek için kalite trendlerini, onarım verilerini, üretim oranlarını ve ürün performans verilerini alandan izleyebilir. Kaliteyi artıracak, zaman ve maliyetten tasarruf edecek, ürün performansını iyileştirecek ve/veya yeni veya daha iyi fabrika ekipmanı ihtiyacına işaret edecek olası süreç yükseltmelerini de fark edebilirler.
Hizmet Sektörleri: Kullanıcılar, hizmet sektörlerinde belirli hizmetler, kanallar, eş performans verileri, bölge, fiyatlandırma, demografi, ekonomik veriler ve daha fazlasını içeren çapraz referans yoluyla (doğrudan veya sosyal medyadan ya da diğer kaynaklardan) ürün geliştirme fırsatlarını bulabilir.
Son olarak, tüm bu bulgular tahmin ve planlamadan beslenmeli, böylece tüm organizasyon, müşteri hakkında daha samimi bilgiye dayalı olarak talepteki öngörülen değişiklikleri onaylar ve yeni tanımlanan fırsatlardan yararlanmak üzere daha iyi konumlandırılır.
Veri madenciliği zorlukları
Büyük Veri: Veri madenciliği için daha fazla fırsat sunan veriler hızla hızlanarak oluşturuluyor. Bununla birlikte, modern veri madenciliği araçları, yüksek hacimli, yüksek hız ve çok çeşitli veri yapılarının yanı sıra yapılandırılmamış veri hacminin artması göz önüne alındığında, Büyük Veri'den anlam çıkarmak için gereklidir. Birçok mevcut sistem bu giriş taşkınını işlemek, depolamak ve kullanmak için mücadele etmektedir.
Kullanıcı yetkinliği: Veri madenciliği ve analiz araçları, kullanıcıların ve karar vericilerin veri kütlelerinden anlam ve anlayış elde etmelerine yardımcı olmak için tasarlanmıştır. Yüksek teknik olsa da, bu güçlü araçlar şimdi mükemmel kullanıcı deneyimi tasarımıyla paketlenmiş durumda, böylece neredeyse herkes bu araçları minimum eğitimle kullanabilir. Ancak, avantajları tamamen elde etmek için kullanıcı, aradıkları bilgilerin mevcut verilerini ve iş bağlamını anlamalıdır. Ayrıca en azından genel olarak araçların nasıl çalıştığını ve neler yapabileceklerini de bilmeleri gerekir. Bu, ortalama yönetici veya yöneticinin erişiminin ötesinde değildir, ancak bir öğrenme sürecidir ve kullanıcılar bu yeni yetenek kümesini geliştirmek için biraz çaba göstermelidir.
Veri kalitesi ve kullanılabilirliği: Yeni verilerin kütleleriyle, eksik, yanlış, yanıltıcı, hileli, hasarlı veya sadece faydasız verilerden oluşan kitleler de mevcuttur. Araçlar bunun hepsini sıralamaya yardımcı olabilir, ancak kullanıcılar sürekli olarak veri kaynağının, güvenilirliğinin ve güvenilirliğinin farkında olmalıdır. Gizlilik kaygıları, hem verinin edinilmesi hem de elinizde olduğunda bakım ve işleme açısından da önemlidir.
Veri madenciliği SSS'leri
Veri yönetimi uzmanlığınızı genişletin
Veri yönetimi sürecini ve faydalarını anlayın.
Başka bir yerde bulamayacağınız fikirler
Doğrudan gelen kutunuza iletilen bir doz iş zekası için kaydolun.