Przegląd eksploracji danych

W erze cyfrowej organizacje naturalnie gromadzą coraz większe ilości danych, a wielu dyrektorów uważa je dziś za skarbnicę przydatnych informacji. Czym jest eksploracja danych i w jaki sposób ułatwia ona ekstrakcję cennych informacji ze zbiorów danych? Eksploracja danych to proces odkrywania przydatnych informacji z akumulacji danych, często z hurtowni danych lub zbioru powiązanych zbiorów danych. Eksploracja danych może obejmować uczenie maszynowe, analizy statystyczne i inne zaawansowane narzędzia analityczne używane do analizowania dużych zbiorów danych w celu identyfikacji trendów, ukrytych wzorców, anomalii i relacji w celu wsparcia świadomego podejmowania decyzji i planowania.

Jedną z mniej oczywistych korzyści z eksploracji danych – i głównym powodem, dla którego eksploracja danych jest dziś ważna – jest to, że przekształca ona akumulację danych, która często towarzyszy cyfryzacji, w przewagę. W miarę jak organizacje w coraz większym stopniu modernizują i digitalizują swoje operacje, generują i gromadzą coraz więcej danych. Tak więc dla dużego przedsiębiorstwa, które dysponuje ogromnymi zbiorami danych, eksploracja danych oferuje efektywny sposób wykorzystania bogactwa informacji, które już posiadają.

Dlaczego eksploracja danych jest ważna?

Eksploracja danych jest ważna, ponieważ przekształca dane organizacji w kluczowy składnik Business Intelligence. Narzędzia do eksploracji danych są wbudowane w kokpity menedżerskie, zbierając informacje z Big Data, w tym dane z mediów społecznościowych, kanałów czujników Internetu rzeczy (IoT), urządzeń uwzględniających lokalizację, nieustrukturyzowanych tekstów, wideo i innych. Nowoczesna eksploracja danych opiera się na chmurze i wirtualnych bazach danych, a także bazach danych in-memory, aby zarządzać danymi z wielu źródeł w sposób opłacalny i skalować na żądanie.

Jaką wartość biznesową może zatem zapewnić eksploracja danych? Podstawową zaletą eksploracji danych jest jej zdolność do identyfikowania wzorców i zależności w dużych ilościach danych z wielu źródeł, w tym mediów społecznościowych, zdalnych czujników i innych urządzeń monitorujących, coraz bardziej szczegółowych raportów o ruchu produktów i aktywności rynkowej oraz, co najważniejsze, aplikacji i innego oprogramowania wykorzystywanego przez organizację.

Oznacza to dwie rzeczy. Eksploracja danych może pomóc ludziom pełniącym różne role, w różnych branżach, myśleć poza ramą, korzystając z szerokiego zakresu źródeł i ujawniając nieoczywiste relacje i wzorce w pozornie niepowiązanych fragmentach informacji. To sprawia, że eksploracja danych jest ważna dla dużych organizacji, w szczególności dla przedsiębiorstw, w których informacje są zazwyczaj rozproszone.

Co więcej, korzyści z eksploracji danych rozszerzają się nie tylko na sprzedaż, ale także na inne obszary biznesowe: dzięki temu zdolności do rozbijania silosów mogą uprawniać do szerokiego wachlarza ról. Inżynierowie i projektanci mogą analizować skuteczność zmian produktu i szukać możliwych przyczyn sukcesu lub porażki produktu. Operacje serwisowe i naprawcze mogą lepiej planować zapasy części i obsadzanie stanowisk. Profesjonalne organizacje usługowe mogą wykorzystywać eksplorację danych do identyfikowania nowych szans powstałych w wyniku zmiany trendów ekonomicznych i zmian demograficznych. Eksploracja danych może nawet pomóc w wykrywaniu oszustw, szczególnie w branżach takich jak finanse, handel detaliczny i opieka zdrowotna.

Innymi słowy, potencjalne korzyści z eksploracji danych obejmują cały zakres funkcji biznesowych: od pomocy w zwiększeniu przychodów i obniżeniu kosztów po poprawę relacji z klientami, zapobieganie oszustwom i dostosowanie prognozowania sprzedaży.

Eksploracja danych jest ważna, ponieważ może przynieść znaczną wartość biznesową dla szeregu celów — na przykład:

• Opracowywanie przydatnych analiz ułatwiających podejmowanie świadomych decyzji w oparciu o dane
• Zapewnienie dodatkowego kontekstu w celu zwiększenia dokładności planowania i prognozowania sprzedaży
• Ujawnienie możliwości obniżenia kosztów, ograniczenia niepotrzebnych wydatków oraz usunięcia wąskich gardeł i nieefektywności procesów
• Identyfikacja wzorców sugerujących oszustwa i wykrywanie luk w zabezpieczeniach przed ich wykorzystaniem
• Spersonalizuj marketing i popraw doświadczenia klienta dzięki pogłębionemu zrozumieniu zachowań klientów

Jak działa eksploracja danych?

Mówiąc prościej, eksploracja danych działa dzięki uczeniu maszynowemu, analizom statystycznym i innym narzędziom analitycznym do analizowania dużych zbiorów niesformatowanych danych i odkrywania ukrytych wzorców, które można wykorzystać do uzyskania przydatnych analiz. Rzeczywiste techniki i kroki eksploracji danych zależą od rodzaju zadawanych pytań oraz zawartości i organizacji bazy danych lub zbiorów danych dostarczających surowiec do wyszukiwania i analizy. To powiedziawszy, istnieje kilka kroków, które zazwyczaj wiążą się z procesem eksploracji danych.

5-etapowy proces eksploracji danych

1. Gromadzenie danych:

• Zdefiniuj problem lub obszar zapytania, który eksplorujesz.
• Zastanów się, jakie czynniki zewnętrzne i wewnętrzne mogą być istotne dla tematu Twojej eksploracji.
• Gromadzenie niesformatowanych danych z różnych źródeł, w tym bazy danych organizacji i danych zewnętrznych, które są częścią operacji, takich jak dane dotyczące sprzedaży i usług w terenie, IoT lub dane z mediów społecznościowych.

2. Wstępne przetwarzanie danych:

• Przejrzyj zebrane źródła danych i upewnij się, że masz prawa dostępu do danych zewnętrznych i korzystania z nich, w tym danych demograficznych, ekonomicznych i wywiadu rynkowego, takich jak trendy branżowe i benchmarki finansowe ze strony stowarzyszeń branżowych i rządów; przepisy dotyczące prywatności danych mogą się znacznie różnić w zależności od regionu i podlegają zmianom, dlatego jest to kluczowy krok.
• Zaangażuj ekspertów merytorycznych, aby pomóc w definiowaniu, kategoryzowaniu i organizowaniu danych — ta część procesu jest czasami nazywana zawieraniem danych lub mungowaniem danych.
• Wyczyść zgromadzone dane, usuwając duplikaty, niespójności, niekompletne rekordy lub nieaktualne formaty.

3. Model budynku:

• Wybierz odpowiednie algorytmy i techniki (takie jak drzewa decyzyjne, regresja lub klastrowanie – więcej o technikach eksploracji danych poniżej).
• Przeanalizuj wiele modeli na wstępnie przetworzonych danych lub dostosuj ich parametry, aby zoptymalizować wydajność.
• Testowanie dokładności modelu przy użyciu technik walidacji w celu zapewnienia niezawodnej wydajności na nowych danych.
• Porównaj różne podejścia do modelowania i określ najlepszą opcję dla określonych celów.

4. Ocena:

• Oceń niezawodność modelu we wszystkich kluczowych metrykach, takich jak dokładność, precyzja i wskaźniki błędów.
• Identyfikowanie potencjalnych problemów, takich jak stronniczość, nadmierne dopasowanie lub problemy z jakością danych.

5. Interpretacja:

• Określ, które czynniki danych mają największy wpływ na prognozy i wyniki — to pomoże Ci wyjaśnić interesariuszom kluczowe ustalenia.
• W zależności od struktury zespołu może być konieczne przełożenie wyników modelu na analizy i dostarczenie raportów lub wizualizacji, które dałyby jasne wyniki nietechnicznym decydentom i innym interesariuszom w całej organizacji.
• Opracowywanie konkretnych, praktycznych rekomendacji dotyczących strategii biznesowej, operacji i procesów na podstawie wykrytych wzorców.
• Wybierz odpowiednie metryki i opracuj plan pomiaru wpływu rekomendacji implementacyjnych wyprowadzonych z eksploracji danych.

Kluczowe techniki eksploracji danych

Klasyfikacja

Jedna wspólna technika eksploracji danych obejmuje sortowanie nowych danych do wstępnie zdefiniowanych kategorii w oparciu o wzorce wyciągnięte z danych historycznych: na przykład grupowanie klientów na podstawie tego, czy mogą oni wrócić, analizując ich wzorce zakupowe, historię płatności i poziomy zaangażowania. Pomogłoby to nie tylko wyróżnić ważne segmenty klientów, ale także pogłębić zrozumienie relacji z klientami.

Wykrywanie anomalii

Wykrywanie anomalii jest szczególnie ważne dla celów, takich jak zapobieganie oszustwom, bezpieczeństwo sieci i weryfikacja tożsamości. Na przykład ta technika eksploracji danych może pomóc wykryć nietypową aktywność karty kredytowej, która różni się od typowego użycia klienta, w oparciu o czynniki takie jak nieoczekiwane lokalizacje, nietypowe zakupy online lub nietypowo duże kwoty. Ale metody eksploracji danych mogą również pomóc odkryć nowe predyktory, które nie są tak oczywiste, co prowadzi nas do następnej techniki eksploracji danych.

Klastrowanie

Klastrowanie to technika eksploracji danych mająca na celu odkrywanie naturalnych grup opartych na podobieństwach w danych, a nie predefiniowanych założeniach (w przeciwieństwie do klasyfikacji), ujawniając ostatecznie ukryte wzorce i relacje. W przykładzie karty kredytowej klastrowanie może ujawnić dodatkowe flagi dla podejrzanej aktywności. Na przykład dane historyczne z kont, które ucierpiały na oszustach, mogą ujawnić, że statystycznie znaczna część z nich ma inne podobieństwo: być może wszystkie pokazały wzór małych zakupów testowych od konkretnego handlowca, a następnie duże transakcje. Następnie, w przyszłości, wzór ten może być używany do wykrywania nieuczciwej działalności w czasie rzeczywistym.

Reguły powiązania

Inną kluczową techniką eksploracji danych jest eksploracja reguł asocjacyjnych: łączenie dwóch pozornie niepowiązanych zdarzeń lub działań. Wyobraź sobie, że próbujesz zoptymalizować lokowanie produktu w supermarkecie, aby zmaksymalizować sprzedaż. Nie wymaga to eksploracji danych, aby spekulować, że klienci, którzy kupują pieluchy, mogą również kupować inne produkty dla niemowląt, takie jak chusteczki dla niemowląt. Jednak ta technika eksploracji danych może odkryć inne, mniej oczywiste możliwości sprzedaży produktów dodatkowych: być może zauważysz, że klienci, którzy w lecie zaopatrują się w jednorazowe sztućce, również częściej kupują środki odstraszające owady i marshmlets. Produkty te zwykle znajdowałyby się w różnych wysepkach produktowych, ale eksploracja danych może wskazywać na sezonową misję zakupową: pozyskiwanie zapasów na spędzanie czasu na świeżym powietrzu. W tym scenariuszu technika eksploracji danych reguły powiązania pomogłaby handlowcowi wykorzystać tę sezonową szansę.

Regresja

Jedna z matematycznych technik eksploracji danych, analiza regresji przewiduje liczbę opartą na wzorcach historycznych. Jest to klasyczne narzędzie używane w wielu dziedzinach i kontekstach, w tym w prognozowaniu sprzedaży, prognozach cen akcji i analizie finansowej.

Zauważ, że są to tylko niektóre z najczęstszych rodzajów technik eksploracji danych, które są często dostępne w zestawach narzędzi do eksploracji danych.

Aplikacje i przykłady eksploracji danych

Przypadki użycia eksploracji danych obejmują analizę nastrojów, optymalizację cen, marketing baz danych, zarządzanie ryzykiem kredytowym, szkolenia i wsparcie, wykrywanie oszustw, opiekę zdrowotną i diagnostykę medyczną, ocenę ryzyka, systemy rekomendacji sprzedaży produktów dodatkowych i droższych i wiele innych. I może być skutecznym narzędziem w niemal każdej branży, od dystrybucji detalicznej i hurtowej po produkcję, opiekę zdrowotną i finanse.

Kluczowe przypadki użycia eksploracji danych

Rozwój produktów

Firmy, które projektują, wytwarzają lub dystrybuują produkty fizyczne, mogą wykorzystać eksplorację danych do określenia możliwości lepszego ukierunkowania swoich produktów poprzez analizę wzorców zakupowych w połączeniu z danymi ekonomicznymi i demograficznymi. Projektanci i inżynierowie mogą również odsyłać informacje zwrotne od klientów i użytkowników, zapisy napraw i inne dane w celu identyfikacji możliwości ulepszenia produktu. A decydenci biznesowi mogą nawet wybrać, które nowe rodzaje produktów wprowadzić w oparciu o to, co klienci zazwyczaj chcą kupować wraz z obecnymi produktami.

Przykłady eksploracji danych używane do kierowania rozwojem produktu:

• Analiza danych zakupowych klientów ujawnia związek: podczas zakupów na trackery fitness klienci mogą również kupić inne akcesoria, takie jak butelki na wodę czy odzież treningowa. Daje to producentowi fitness tracker możliwość rozpoczęcia oferowania markowych butelek z wodą lub nawiązania współpracy z marką odzieży fitness dla ekskluzywnej markowej linii odzieżowej.
• Dane dotyczące użytkowania urządzenia inteligentnego domu ujawniają, że bardzo niewielu klientów korzysta z funkcji premium tego produktu, podczas gdy ankiety dla klientów pokazują, że wiele problemów z określeniem, który przycisk włącza funkcję. Zmiana projektu urządzenia tak, aby przycisk był bardziej zauważalny, może zachęcić więcej klientów do korzystania z funkcji premium, a w rezultacie poprawić ich postrzeganie wartości produktu za pieniądze.

Produkcja

Producenci mogą śledzić trendy dotyczące jakości, dane dotyczące napraw, wskaźniki produkcji i dane dotyczące wydajności produktu z pola w celu zidentyfikowania problemów związanych z produkcją. Mogą również rozpoznać możliwe aktualizacje procesów, które poprawiłyby jakość, oszczędzają czas i zasoby, poprawiają wydajność produktu i wskazują na potrzebę nowego lub lepszego sprzętu fabrycznego.

Przykłady eksploracji danych wykorzystywanych do optymalizacji procesów produkcyjnych:

• Analiza historii zgłoszeń serwisowych ujawnia, że w miesiącach zimnych odnotowano gwałtowny wzrost liczby awarii urządzeń, co sugeruje, że niektóre urządzenia mogą być wrażliwe na wahania temperatury. Inwestowanie w lepszą kontrolę temperatury w hali produkcyjnej może skrócić czas przestojów i zaoszczędzić czas dla techników terenowych.
• Dokładna analiza historycznego popytu na części zamienne i inne dane związane z podażą mogą przewidywać okresy prawdopodobnych niedoborów części krytycznych, pozwalając producentom na zapas z wyprzedzeniem.

Branże usługowe

W branżach usługowych firmy mogą znaleźć podobne możliwości doskonalenia usług, odwołując się do informacji zwrotnych od klientów (bezpośrednio lub z mediów społecznościowych lub innych źródeł) z określonymi usługami, kanałami, przypadkami dotyczącymi wsparcia klienta, danymi dotyczącymi wyników pracowników równorzędnych, regionami, cenami, danymi demograficznymi, danymi ekonomicznymi i innymi czynnikami.

Przykłady eksploracji danych wykorzystywanych do zapewnienia personalizacji klienta w branżach usługowych:

• Odnosząc się do danych klienta, rekordów wizyt i ustawień relacji z klientem, dostawca usług opieki zdrowotnej odkrywa, że wskaźniki niestawienia się na spotkanie różnią się w zależności od grupy wiekowej klienta, w zależności od tego, które kanały są używane do przypomnień o spotkaniach. Personalizacja komunikacji o zbliżających się wizytach w każdej grupie wiekowej pomogłaby większej liczbie klientów w ich spotkaniach.
• Analiza zapytań dotyczących obsługi klienta pokazuje, że pacjenci oczekujący uzupełnienia niektórych rodzajów leków częściej kontaktują się z pomocą techniczną w celu aktualizacji statusu zasilenia. Jeśli świadczeniodawca proaktywnie skieruje do tych pacjentów automatyczne powiadomienia o uzupełnieniu, ta spersonalizowana komunikacja może zarówno zwiększyć zadowolenie klientów, jak i zmniejszyć obciążenie obsługi klienta.
• Analiza zaangażowania klienta za pomocą usługi subskrypcji cyfrowej pokazuje, że pewien spadek wykorzystania jest predykcyjny w przypadku wypowiedzenia subskrypcji w ciągu trzydziestu dni. Ponowne zaangażowanie użytkownika dzięki niestandardowym rekomendacjom, wskazówkom dotyczącym optymalizacji użytkowania, a nawet spersonalizowanym rabatom może pomóc w lepszym postrzeganiu wykorzystania i wartości, a w rezultacie utrzymać klienta.

Prognozowanie sprzedaży

Niezależnie od branży eksploracja danych jest nieoceniona dla prognozowania i planowania sprzedaży. Analizy oparte na danych mogą pomóc w przewidywaniu wahań popytu, udoskonaleniu analizy rynku, przewidywaniu zmian cen i wiele innych.

Przykłady eksploracji danych wykorzystywanych do udoskonalenia prognozowania sprzedaży:

• Firma ubezpieczeniowa analizuje szeroki zakres zbiorów danych, zarówno wewnętrznych, jak i zewnętrznych, i odkrywa, że przewiduje się pogorszenie warunków jazdy w określonym okresie, gdy spodziewana jest niekorzystna pogoda – a jednocześnie występuje tymczasowy niedobór opon zimowych. Informacje te pomagają im w dokładniejszej prognozie sprzedaży ubezpieczeń samochodowych w oparciu o przewidywany wzrost popytu.
• Producent średniej klasy produktów konsumenckich analizuje rynek i dowiaduje się, że kilku konkurentów wprowadza luksusowe linie produktów sprzedawanych po cenie premium. Niektórzy z ich klientów są rozczarowani zmianą i decydują się podjąć działalność w innym miejscu, patrząc na oferty średniego szczebla. Ten producent może dostosować swoją strategię sprzedaży, aby spróbować wykorzystać tę szansę, aby pozyskać tych klientów.

Wykrywanie oszustw

Eksploracja danych jest szeroko stosowana w wykrywaniu oszustw – powyższy przykład karty kredytowej jest tylko jednym z wielu przypadków użycia eksploracji danych w celu zapobiegania oszustwom. Technika wykrywania anomalii pomaga oznaczyć podejrzane wartości odstające, ale inne metody eksploracji danych również są przydatne, pomagając odkryć nowe wzorce i stale udoskonalać środki zapobiegania oszustwom.

Przykłady eksploracji danych wykorzystywane do poprawy wykrywania oszustw:

• Sprzedawca towarów cyfrowych dostrzega wzorzec nietypowych zakupów na kontach, do których dostęp uzyskuje się z nowej lokalizacji. Aby ograniczyć nieautoryzowany dostęp do konta, firma może skontaktować się z posiadaczami kont, gdy taki wzorzec wystąpi, oznaczyć te transakcje i zaoferować łatwy sposób anulowania zakupów lub aktualizacji zabezpieczeń konta.
• Organizacja może wyszkolić model filtrowania e-maili phishingowych za pomocą techniki eksploracji danych klasyfikacji w celu powiązania określonych znaczników językowych (język pilności, błędy pisowni itp.) z etykietą „phishing” i uniemożliwić dotarcie nawet do skrzynki odbiorczej użytkownika.

Korzyści i wyzwania związane z eksploracją danych

Korzyści z eksploracji danych przeważają nad większością wad, ale istnieją pewne wyzwania związane z eksploracją danych, o których organizacje muszą być świadome.

Big Data

Korzyść: generuje się coraz więcej danych, oferując coraz więcej możliwości eksploracji danych, a co za tym idzie, lepsze podejmowanie decyzji.

Wyzwanie: Ze względu na dużą objętość, dużą prędkość i szeroką różnorodność struktur danych, a także rosnącą częstość występowania nieustrukturyzowanych danych, istniejące systemy mają problemy z obsługą, przechowywaniem i wykorzystywaniem tej powodzi danych wejściowych. Aby więc wydobyć znaczenie z Big Data, firmy potrzebują odpowiedniego, potężnego oprogramowania.

Kompetencja użytkownika

Korzyści: Eksploracja danych i narzędzia analityczne mogą pomóc użytkownikom i innym interesariuszom w podejmowaniu bardziej świadomych decyzji opartych na danych.

Wyzwanie: Chociaż narzędzia używane do eksploracji danych stały się znacznie bardziej przyjazne dla użytkownika, wymaga to pewnego szkolenia, aby wykorzystać je do pełnego potencjału. Użytkownicy muszą zrozumieć, jakie dane są dostępne, mieć przynajmniej ogólny pogląd na to, jak działa eksploracja danych i być biegli w kontekście biznesowym, a także kwestie regulacyjne i dotyczące zgodności z przepisami dotyczącymi korzystania z danych - wszystko to wymaga pewnego wykształcenia użytkownika.

Prywatność danych i nadzór regulacyjny

Korzyść: personalizacja dzięki analizom opartym na danych może poprawić doświadczenia klienta.

Wyzwanie: Dane, a w szczególności dane użytkowników należące do osób prywatnych, podlegają nadzorowi regulacyjnemu. Jednak rzeczywiste praktyki i przepisy dotyczące ochrony danych różnią się w zależności od regionu i nadal są podatne na zmiany, więc może to być trudne — ale kluczowe — dla organizacji obsługujących dane, aby nadążyć za nimi.

Jakość i dostępność danych

Korzyści: Coraz większe ilości i różnorodność dostępnych danych sprawiają, że eksploracja danych jest ważniejsza niż kiedykolwiek wcześniej.

Wyzwanie: Dzięki ilości nowych danych istnieją również masy niekompletnych, nieprawidłowych, wprowadzających w błąd, oszukańczych, uszkodzonych lub po prostu bezużytecznych danych. Użytkownicy muszą zawsze znać źródło danych, ich wiarygodność i wiarygodność, a także kwestie prywatności i ochrony danych; a organizacje muszą być odpowiedzialne za ochronę swoich, jak również swoich klientów, danych przed naruszeniami i innymi błędami.

Eksploracja danych a koncepcje powiązane

Eksploracja danych a uczenie maszynowe

Różnica między eksploracją danych a uczeniem maszynowym polega na tym, że uczenie maszynowe jest zbiorem narzędzi i algorytmów przeszkolonych w celu znalezienia wzorców i korelacji w dużych zbiorach danych, podczas gdy eksploracja danych jest procesem ekstrakcji przydatnych informacji z akumulacji danych. Uczenie maszynowe jest jednym z narzędzi wykorzystywanych w eksploracji danych do tworzenia modeli predykcyjnych, ale nie jest jedynym, ani jedynym zastosowaniem uczenia maszynowego.

Eksploracja danych a analityka

Istnieje subtelna różnica między eksploracją danych a analizą danych. Analiza lub analiza danych to ogólne terminy dla szerokiego zbioru praktyk skupiających się na identyfikowaniu przydatnych informacji, ich ocenie i udzielaniu konkretnych odpowiedzi. Eksploracja danych to jeden z rodzajów analizy danych, który koncentruje się na kopiowaniu do dużych, połączonych zbiorów danych w celu odkrywania wzorców, trendów i relacji, które mogą prowadzić do analiz i prognoz.

Eksploracja danych a analiza danych

Analiza danych nie jest taka sama jak eksploracja danych, ale koncepcje są ze sobą powiązane. Data science to termin, który obejmuje wiele technologii informacyjnych, w tym statystyki, matematykę i zaawansowane techniki obliczeniowe stosowane do danych. Eksploracja danych jest przypadkiem użycia Data Science skoncentrowanym na analizie dużych zbiorów danych z szerokiego zakresu źródeł w celu odkrycia przydatnych analiz.

Eksploracja danych a hurtownia danych

Hurtownia danych to zbiór danych, zazwyczaj pochodzących z wielu źródeł (ERP, CRM itd.), które firma będzie łączyć w magazyn w celu przechowywania archiwalnego i analiz opartych na szerokim zakresie – takich jak eksploracja danych.

Najczęstsze pytania