Czym jest eksploracja danych?
Eksploracja danych to proces wykorzystania zaawansowanych narzędzi analitycznych do ekstrakcji użytecznych informacji z akumulacji danych.
Przegląd eksploracji danych
Eksploracja danych to proces ekstrakcji użytecznych informacji z gromadzenia danych, często z hurtowni danych lub gromadzenia powiązanych zbiorów danych. Narzędzia do eksploracji danych obejmują zaawansowane funkcje statystyczne, matematyczne i analityczne, których głównym celem jest przesiewanie dużych zbiorów danych w celu identyfikacji trendów, wzorców i relacji w celu wsparcia świadomego podejmowania decyzji i planowania.
Często związane z zapytaniami działu marketingu, eksploracja danych jest postrzegana przez wielu menedżerów jako sposób, aby pomóc im lepiej zrozumieć popyt i zobaczyć wpływ, jaki zmiany w produktach, cenach lub promocjach mają na sprzedaż. Jednak eksploracja danych przynosi znaczne korzyści również innym obszarom biznesowym. Inżynierowie i projektanci mogą analizować skuteczność zmian produktu i szukać możliwych przyczyn sukcesu lub porażki produktu związanych z tym, jak, kiedy i gdzie używane są produkty. Operacje serwisowe i naprawcze mogą lepiej planować zapasy części i obsadzanie stanowisk. Organizacje świadczące usługi profesjonalne mogą wykorzystywać eksplorację danych do identyfikowania nowych możliwości wynikających ze zmieniających się trendów gospodarczych i zmian demograficznych.
Eksploracja danych staje się bardziej użyteczna i wartościowa dzięki większym zbiorom danych i większej wygodzie użytkownika. Logicznie, im więcej danych, tym więcej wglądów i inteligencji powinno być tam zapisywanych. Ponadto, ponieważ użytkownicy lepiej zapoznają się z narzędziami i lepiej rozumieją bazę danych, tym bardziej kreatywni mogą być dzięki swoim eksploracjom i analizom.
Dlaczego warto korzystać z eksploracji danych?
Główną zaletą eksploracji danych jest jej zdolność do identyfikowania wzorców i powiązań w dużych wolumenach danych z wielu źródeł. Dzięki coraz większej ilości dostępnych danych – pochodzących ze źródeł tak zróżnicowanych jak media społecznościowe, czujniki zdalne i coraz bardziej szczegółowe raporty dotyczące ruchu produktów i aktywności rynkowej – eksploracja danych oferuje narzędzia do pełnego wykorzystania Big Data i przekształcenia ich w użyteczną inteligencję. Co więcej, może działać jako mechanizm „myślenia poza pudełkiem”.
Proces eksploracji danych może wykryć zaskakujące i intrygujące relacje i wzorce w pozornie niepowiązanych bitach informacji. Ponieważ informacje mają tendencję do rozdrobnienia, analiza jako całość była historycznie trudna lub niemożliwa. Może jednak istnieć związek między czynnikami zewnętrznymi – być może demograficznymi lub ekonomicznymi – a wydajnością produktów firmy. Podczas gdy kadra kierownicza regularnie przygląda się liczbom sprzedaży według regionu, linii produktów, kanału dystrybucji i regionu, często brakuje im zewnętrznego kontekstu dla tych informacji. Ich analiza wskazuje na „to, co się stało”, ale niewiele robi, aby odkryć „dlaczego tak się stało”. Eksploracja danych może wypełnić tę lukę.
Eksploracja danych może szukać korelacji z czynnikami zewnętrznymi; choć korelacja nie zawsze wskazuje na przyczynę, trendy te mogą być cennymi wskaźnikami wskazującymi na decyzje dotyczące produktu, kanału i produkcji. Ta sama analiza przynosi korzyści innym obszarom działalności, począwszy od projektowania produktu, a skończywszy na wydajności operacyjnej i świadczeniu usług.
Historia eksploracji danych
Ludzie zbierają i analizują dane od tysięcy lat i pod wieloma względami proces pozostał taki sam: identyfikacja potrzebnych informacji, znajdowanie źródeł danych wysokiej jakości, gromadzenie i łączenie danych, korzystanie z najskuteczniejszych dostępnych narzędzi do analizy danych i wykorzystanie tego, czego się nauczyłeś. Wraz z rozwojem systemów obliczeniowych i opartych na danych dostępne są narzędzia do zarządzania danymi i ich analizy. Prawdziwy punkt zwrotny pojawił się w latach sześćdziesiątych wraz z rozwojem technologii relacyjnych baz danych i zorientowanych na użytkownika narzędzi zapytań w języku naturalnym, takich jak strukturalny język zapytań (SQL). Dane nie były już dostępne tylko za pośrednictwem programów zakodowanych przez klienta. Dzięki temu przełomowi użytkownicy biznesowi mogli interaktywnie eksplorować swoje dane i usuwać ukryte klejnoty inteligencji zakopane w środku.
Eksploracja danych tradycyjnie była specjalistycznym zestawem umiejętności w Data Science. Każda nowa generacja narzędzi analitycznych zaczyna jednak wymagać zaawansowanych umiejętności technicznych, ale szybko ewoluuje, aby stać się dostępna dla użytkowników. Interaktywność – możliwość pozwalania, aby dane z Tobą rozmawiały – to kluczowy postęp. Zadaj pytanie; zobacz odpowiedź. Na podstawie tego, czego się uczysz, zadaj kolejne pytanie. Ten rodzaj nieustrukturyzowanego roamingu poprzez dane przenosi użytkownika poza granice projektu bazy danych specyficznej dla aplikacji i pozwala na odkrycie relacji między funkcjonalnymi i organizacyjnymi granicami.
Eksploracja danych jest kluczowym elementem Business Intelligence. Narzędzia do eksploracji danych są wbudowane w pulpity menedżerskie, uzyskując wgląd w dane z Big Data, w tym dane z mediów społecznościowych, kanałów czujników Internetu rzeczy (IoT), urządzeń uwzględniających lokalizację, nieustrukturyzowanego tekstu, wideo i innych. Nowoczesne eksploracja danych opiera się na chmurze i wirtualnych bazach danych, a także na bazach danych in-memory, aby zarządzać danymi z wielu źródeł w sposób opłacalny i skalować na żądanie.
Jak działa eksploracja danych?
Istnieje około tylu podejść do eksploracji danych, ile są eksploratory danych. Podejście zależy od rodzaju zadawanych pytań oraz zawartości i organizacji bazy danych lub zbiorów danych dostarczających surowca do wyszukiwania i analizy. Istnieją jednak pewne kroki organizacyjne i przygotowawcze, które należy wykonać w celu przygotowania danych, narzędzi i użytkowników:
- Zrozum problem – lub przynajmniej obszar zapytania. Decydent biznesowy, który powinien być w miejscu kierowcy dla tej przygody z eksploracją danych off-road, potrzebuje ogólnego zrozumienia dziedziny, w której będą pracować – rodzajów danych wewnętrznych i zewnętrznych, które mają być częścią tej eksploracji. Zakłada się, że posiadają oni intymną wiedzę o biznesie i związanych z nim obszarach funkcjonalnych.
- Gromadzenie danych. Zacznij od systemów wewnętrznych i baz danych. Połącz je za pomocą swoich modeli danych i różnych narzędzi relacyjnych lub zbierz dane do hurtowni danych. Obejmuje to wszelkie dane z zewnętrznych źródeł, które są częścią operacji, takie jak dane sprzedaży w terenie i/lub dane usług, IoT lub dane mediów społecznościowych. Poszukiwanie i pozyskiwanie praw do danych zewnętrznych, w tym danych demograficznych, danych ekonomicznych i informacji rynkowych, takich jak trendy branżowe i wskaźniki finansowe od stowarzyszeń branżowych i rządów. Wnieś je do zestawu narzędzi (wnieś je do swojej hurtowni danych lub połącz je ze środowiskiem eksploracji danych).
- Przygotowanie i zrozumienie danych. Korzystaj z pomocy ekspertów w danej dziedzinie, aby definiować, kategoryzować i porządkować dane. Ta część procesu jest czasami nazywana wrangling danych lub munging. Niektóre dane mogą wymagać czyszczenia lub „czyszczenia” w celu usunięcia duplikatów, niespójności, niekompletnych rekordów lub nieaktualnych formatów. Przygotowanie i czyszczenie danych może być zadaniem ciągłym, ponieważ nowe projekty lub dane z nowych dziedzin zapytania stają się przedmiotem zainteresowania.
- Szkolenie użytkowników. Nie dałbyś nastolatkowi kluczy do rodzinnego Ferrari bez przechodzenia przez edukację kierowców, szkolenie na drodze i nadzorowaną praktykę z licencjonowanym kierowcą – więc pamiętaj, aby zapewnić formalne szkolenie dla przyszłych górników danych, a także niektóre nadzorowane praktyki, gdy zaczynają oni zaznajomić się z tymi potężnymi narzędziami. Kształcenie ustawiczne jest również dobrym pomysłem, gdy opanowali podstawy i mogą przejść do bardziej zaawansowanych technik.
Techniki eksploracji danych
Należy pamiętać, że eksploracja danych opiera się na zestawie narzędzi, a nie stałej procedurze lub procesie. Przytoczone tu konkretne techniki eksploracji danych to jedynie przykłady wykorzystania narzędzi przez organizacje do eksploracji danych w poszukiwaniu trendów, korelacji, inteligencji i wglądu w biznes.
Ogólnie ujmując, metody eksploracji danych można sklasyfikować jako ukierunkowane – ukierunkowane na konkretny pożądany wynik – lub nieukierunkowane jako proces odkrywania. Inne eksploracje mogą mieć na celu sortowanie lub klasyfikowanie danych, takich jak grupowanie potencjalnych klientów według atrybutów biznesowych, takich jak branża, produkty, rozmiar i lokalizacja. Podobny cel, wykrywanie wartości odstających lub anomalii jest zautomatyzowaną metodą rozpoznawania rzeczywistych anomalii (a nie prostej zmienności) w zbiorze danych wyświetlających możliwe do zidentyfikowania wzorce.
Powiązanie
Innym interesującym celem jest skojarzenie – powiązanie dwóch pozornie niepowiązanych wydarzeń lub działań. Klasyczna historia z początków analityki i eksploracji danych, być może fikcyjna, ma sieć sklepów spożywczych, która odkrywa korelację między sprzedażą piwa i pieluch. Spekulacja, że nękanie nowych ojców, którzy wybiegają późnym wieczorem, aby dostać pieluchy, może złapać kilka sześciopaków, gdy tam są. Sklepy pozycjonują piwo i pieluchy w bliskiej odległości i w efekcie zwiększają sprzedaż piwa.
Klastrowanie
Podejście to ma na celu grupowanie danych według podobieństw, a nie predefiniowanych założeń. Na przykład, gdy wyszukujesz informacje o sprzedaży klienta w połączeniu z zewnętrznymi kredytami konsumenckimi i danymi demograficznymi, możesz odkryć, że Twoi najbardziej dochodowi klienci pochodzą z miast średniej wielkości. Przez większość czasu eksploracja danych jest prowadzona w celu wsparcia prognoz lub prognoz. Im lepiej rozumiesz wzorce i zachowania, tym lepiej możesz wykonać prognozowanie przyszłych działań związanych z przyczynami lub korelacjami.
Regresja
Jedna z technik matematycznych oferowanych w zestawach narzędzi do eksploracji danych, analiza regresji przewiduje liczbę opartą na historycznych wzorcach prognozowanych w przyszłości. Różne inne algorytmy wykrywania i śledzenia wzorców zapewniają elastyczne narzędzia, które pomagają użytkownikom lepiej zrozumieć dane i zachowania, które reprezentują. To tylko kilka technik i narzędzi dostępnych w zestawach narzędzi do eksploracji danych. Wybór narzędzia lub techniki jest nieco zautomatyzowany, ponieważ techniki będą stosowane zgodnie ze sposobem stawiania pytania. Wcześniej eksploracja danych określana była mianem „krojenia i krojenia” bazy danych, ale praktyka jest teraz bardziej wyrafinowana, a terminy takie jak kojarzenie, klastrowanie i regresja są powszechne.
Przypadki użycia i przykłady
Eksploracja danych jest kluczem do analizy nastrojów, optymalizacji cen, marketingu baz danych, zarządzania ryzykiem kredytowym, szkoleń i wsparcia, wykrywania oszustw, diagnostyki zdrowotnej i medycznej, oceny ryzyka, systemów rekomendacji („klienci, którzy zakupili to również polubiły… ”) i wielu innych. Może być skutecznym narzędziem w każdej branży, w tym handlu detalicznego, dystrybucji hurtowej, branży usług, telekomunikacji, ubezpieczeń, edukacji, produkcji, opieki zdrowotnej, bankowości, nauki, inżynierii oraz marketingu online lub mediów społecznościowych.
Rozwój produktu: firmy, które projektują, produkują lub dystrybuują produkty fizyczne, mogą wskazać możliwości lepszego ukierunkowania swoich produktów poprzez analizę wzorców zakupowych w połączeniu z danymi ekonomicznymi i demograficznymi. Ich projektanci i inżynierowie mogą również porównywać opinie klientów i użytkowników, rekordy napraw i inne dane w celu zidentyfikowania możliwości ulepszenia produktu.
Produkcja: Producenci mogą śledzić trendy jakościowe, dane dotyczące naprawy, wskaźniki produkcji i dane dotyczące wydajności produktu w terenie, aby zidentyfikować problemy związane z produkcją. Mogą również rozpoznać możliwe aktualizacje procesów, które poprawiłyby jakość, zaoszczędziłyby czas i koszty, poprawiły wydajność produktu i / lub wskazywały na potrzebę nowego lub lepszego sprzętu fabrycznego.
Branże usługowe: w branżach usługowych użytkownicy mogą znaleźć podobne możliwości udoskonalenia produktów, odwołując się do informacji zwrotnych od klientów (bezpośrednio lub z mediów społecznościowych lub innych źródeł) z określonymi usługami, kanałami, danymi o równorzędnych wynikach, regionem, cenami, danymi demograficznymi, danymi ekonomicznymi i innymi.
Wreszcie, wszystkie te ustalenia powinny zostać wykorzystane do prognozowania i planowania, tak aby cała organizacja była nastawiona na przewidywane zmiany popytu w oparciu o bardziej intymną wiedzę klienta i była lepiej przygotowana do wykorzystania nowo zidentyfikowanych możliwości.
Wyzwania związane z eksploracją danych
Big Data: Dane są generowane w szybkim tempie, oferując coraz większe możliwości eksploracji danych. Jednak nowoczesne narzędzia do eksploracji danych są wymagane do ekstrakcji znaczenia z Big Data, biorąc pod uwagę dużą objętość, dużą prędkość i szeroką różnorodność struktur danych, a także rosnący wolumen nieustrukturyzowanych danych. Wiele istniejących systemów ma trudności z obsługą, przechowywaniem i wykorzystywaniem tej zalewu wejść.
Kompetencje użytkownika: Narzędzia do eksploracji i analizy danych są zaprojektowane, aby pomóc użytkownikom i decydentom w zrozumieniu znaczenia i wglądu w masy danych. Chociaż są wysoce techniczne, te potężne narzędzia są teraz pakowane z doskonałym designem użytkownika, więc praktycznie każdy może korzystać z tych narzędzi przy minimalnym szkoleniu. Aby jednak w pełni uzyskać korzyści, użytkownik musi zrozumieć dostępne dane i kontekst biznesowy poszukiwanych informacji. Muszą również wiedzieć, przynajmniej ogólnie, jak działają narzędzia i co mogą zrobić. Nie jest to poza zasięgiem przeciętnego menedżera lub kierownika, ale jest to proces uczenia się i użytkownicy muszą włożyć trochę wysiłku w rozwój tego nowego zbioru umiejętności.
Jakość i dostępność danych: W przypadku masy nowych danych istnieją również masy niekompletnych, nieprawidłowych, wprowadzających w błąd, oszukańczych, uszkodzonych lub po prostu bezużytecznych danych. Narzędzia mogą pomóc w uporządkowaniu tego wszystkiego, ale użytkownicy muszą być stale świadomi źródła danych oraz ich wiarygodności i wiarygodności. Obawy o prywatność są również ważne, zarówno w odniesieniu do pozyskiwania danych, jak i opieki i postępowania z nimi po ich posiadaniu.
Eksploracja danych — często zadawane pytania
Zwiększ swoją wiedzę na temat zarządzania danymi
Poznaj proces zarządzania danymi i związane z nim korzyści.
Pomysłów nie znajdziesz nigdzie indziej
Zarejestruj się, aby otrzymać dawkę rozwiązań Business Intelligence dostarczanych bezpośrednio na Twoją skrzynkę odbiorczą.