Mi az adatbányászat?
Az adatbányászat az a folyamat, amelynek során fejlett analitikai eszközöket használunk, hogy hasznos információkat nyerjünk ki az adatok felhalmozódásából.
Adatbányászat áttekintése
Az adatbányászat olyan folyamat, amelynek során hasznos információkat nyernek ki az adatok felhalmozódásából, gyakran egy adattárházból vagy összekapcsolt adathalmazokból. Az adatbányászati eszközök hatékony statisztikai, matematikai és elemzési képességeket foglalnak magukban, amelyek elsődleges célja nagy adathalmazok átadása a trendek, minták és kapcsolatok azonosításához a megalapozott döntéshozatal és tervezés támogatása érdekében.
Gyakran a marketing osztályok kérdéseivel kapcsolatban az adatbányászatot sok vezető úgy látja, mint egy olyan módot, amely segít nekik jobban megérteni a keresletet, és látni, hogy a termékek, az árképzés vagy a promóció változásai milyen hatással vannak az értékesítésre. Az adatbányászat azonban más üzleti területek számára is jelentős előnyökkel jár. A mérnökök és a tervezők elemezhetik a termékváltozások hatékonyságát, és megkereshetik a termék sikerének vagy meghibásodásának lehetséges okait azzal kapcsolatban, hogy hogyan, mikor és hol használják a termékeket. A szerviz- és javítási műveletek jobban megtervezhetik az alkatrészek készletét és a személyzetet. A professzionális szolgáltató szervezetek az adatbányászat segítségével új lehetőségeket találhatnak a változó gazdasági trendekből és a demográfiai változásokból.
Az adatbányászat nagyobb adathalmazokkal és nagyobb felhasználói élménnyel válik hasznosabbá és értékesebbé. Logikailag minél több adatot, minél több betekintést és intelligenciát kell oda eltemetni. Ahogy a felhasználók jobban megismerik az eszközöket, és jobban megértik az adatbázist, annál kreatívabbak lehetnek feltárásaikkal és elemzéseikkel.
Miért használjuk az adatbányászatot?
Az adatbányászat elsődleges előnye, hogy képes több forrásból származó nagy mennyiségű adat mintáit és kapcsolatait azonosítani. Egyre több adat áll rendelkezésre – olyan forrásokból, mint a közösségi média, a távoli érzékelők, és egyre részletesebb jelentések a termékmozgásról és a piaci tevékenységről –, az adatbányászat olyan eszközöket kínál, amelyekkel teljes mértékben kiaknázható a Big Data, és végrehajtható intelligenciává alakítható. Sőt mi több, a „dobozon kívüli gondolkodás” mechanizmusaként működhet.
Az adatbányászati folyamat meglepő és érdekes kapcsolatokat és mintákat képes felfedezni a látszólag független információbitekben. Mivel az információ általában széttagolt, történelmileg nehéz vagy lehetetlen volt egészként elemezni. A külső tényezők – talán demográfiai vagy gazdasági tényezők – és a vállalat termékeinek teljesítménye között azonban lehet összefüggés. És míg a vezetők rendszeresen megvizsgálják az értékesítési számokat terület, termékcsoport, értékesítési csatorna és régió szerint, gyakran hiányoznak az információ külső kontextusa. Elemzésük rámutat arra, hogy mi történt, de nem sokat tesz annak feltárására, hogy miért történt így. Az adatbányászat pótolhatja ezt a hiányt.
Az adatbányászat keresheti a külső tényezőkkel való korrelációt; míg a korreláció nem mindig jelez ok-okozati összefüggést, ezek a trendek értékes mutatók lehetnek a termék-, csatorna- és termelési döntések irányításához. Ugyanez az elemzés a terméktervezéstől a működési hatékonyságon át a szolgáltatásnyújtásig az üzlet más részeit is támogatja.
Adatbányászat története
Az emberek több ezer éve gyűjtik és elemzik az adatokat, és sok szempontból ugyanaz a folyamat maradt: azonosítják a szükséges információkat, minőségi adatforrásokat találnak, összegyűjtik és kombinálják az adatokat, a rendelkezésre álló leghatékonyabb eszközöket használják az adatok elemzéséhez, és kihasználják a tanultakat. Ahogy a számítástechnika és az adatalapú rendszerek fejlődtek és fejlődtek, úgy rendelkezzenek az adatok kezelésére és elemzésére szolgáló eszközökkel is. Az igazi inflációs pont az 1960-as években jött létre a relációs adatbázis-technológia és a felhasználó-orientált természetes nyelvi lekérdező eszközök fejlesztésével, mint például a strukturált lekérdezési nyelv (SQL). Már nem voltak elérhetők adatok csak egyénileg kódolt programokon keresztül. Ezzel az áttöréssel az üzleti felhasználók interaktív módon tanulmányozhatták adataikat, és kiáshatták a bennük eltemetett intelligencia rejtett drágaköveit.
Az adatbányászat hagyományosan egy speciális készség az adattudományon belül. Az elemzési eszközök minden új generációja azonban fejlett technikai készségeket igényel, de gyorsan fejlődik, hogy a felhasználók számára elérhetővé váljon. Az interaktivitás – az a képesség, hogy az adatok beszéljenek veled – a legfontosabb előrelépés. Tegyél fel egy kérdést; lásd a választ. Attól függően, hogy mit tanulsz, tegyél fel egy másik kérdést. Ez a fajta strukturálatlan barangolás az adatokon keresztül túlviszi a felhasználót az alkalmazásspecifikus adatbázis-tervezés korlátain, és lehetővé teszi a funkcionális és szervezeti határokat átlépő kapcsolatok felfedezését.
Az adatbányászat az üzleti intelligencia kulcsfontosságú összetevője. Az adatbányászati eszközök a vezetői irányítópultokba épülnek, betekintést nyernek a Big Data adatokból, beleértve a közösségi médiából származó adatokat, a dolgok internetét (IoT) érzékelőcsatornákat, a helyismerő eszközöket, a strukturálatlan szöveget, a videót stb. A modern adatbányászat a felhőn és a virtuális számítástechnikán, valamint a memórián belüli adatbázisokon alapul, hogy költséghatékonyan kezelje a sok forrásból származó adatokat, és igény szerint méretezzen.
Hogyan működik az adatbányászat?
Az adatbányászatban nagyjából annyi megközelítés létezik, mint ahány adatbányász létezik. A megközelítés a feltett kérdések típusától, valamint a kereséshez és elemzéshez szükséges nyersanyagot biztosító adatbázis vagy adathalmazok tartalmától és szervezésétől függ. Ezzel együtt van néhány szervezeti és előkészítő lépés, amelyet el kell végezni az adatok, az eszközök és a felhasználók előkészítéséhez:
- Ismerje meg a problémát – vagy legalább a vizsgálat területét. Az üzleti döntéshozónak, akinek ennek az adatbányászati terepkalandnak a vezetői székében kell lennie, általános ismeretekre van szüksége arról, hogy milyen területen fog dolgozni – a belső és külső adatok típusait, amelyek ennek a feltárásnak a részét képezik. Feltételezik, hogy bensőséges ismeretekkel rendelkeznek az üzleti tevékenységről és az érintett funkcionális területekről.
- Adatgyűjtés. Kezdje a belső rendszerekkel és adatbázisokkal. Összekapcsolhatja őket az adatmodelljeiken és különböző relációs eszközeiken keresztül, vagy összegyűjtheti őket egy adattárházba. Ide tartoznak a műveletek részét képező külső forrásokból származó adatok, például a helyszíni értékesítési és/vagy szolgáltatási adatok, az IoT vagy a közösségimédia-adatok. Keressük meg és szerezzük meg a jogokat a külső adatokhoz, beleértve a demográfiai adatokat, a gazdasági adatokat és a piaci információkat, például az iparági trendeket és a pénzügyi referenciaértékeket a kereskedelmi szövetségektől és kormányoktól. Hozza őket az eszközkészlet környezetébe (vigye be őket az adattárházába, vagy kapcsolja össze őket az adatbányászati környezettel).
- Adatok előkészítése és megértése. Az üzleti témaszakértők segítségével meghatározhatja, kategorizálhatja és rendszerezheti az adatokat. A folyamatnak ezt a részét néha adatcsuklásnak vagy mungingnak is nevezik. Egyes adatok tisztítást vagy „tisztítást” igényelhetnek az ismétlődések, inkonzisztenciák, hiányos rekordok vagy elavult formátumok eltávolításához. Az adatok előkészítése és tisztítása folyamatos feladat lehet, mivel új projektek vagy új kutatási területekről származó adatok válnak érdekessé.
- Felhasználói oktatás. Nem adná meg tinédzserének a Ferrari család kulcsait anélkül, hogy végigmenne a sofőrképzésen, a közúti képzésen és néhány felügyelt gyakorlaton egy engedéllyel rendelkező sofőrrel – ezért győződjön meg róla, hogy formális képzést biztosít a jövőbeli adatbányászoknak, valamint néhány felügyelt gyakorlatot, amikor elkezdik megismerni ezeket az erőteljes eszközöket. A továbbképzés akkor is jó ötlet, ha már elsajátították az alapokat, és továbbléphetnek a fejlettebb technikákra.
Adatbányászati technikák
Ne feledje, hogy az adatbányászat eszközkészleten alapul, nem pedig rögzített rutinon vagy folyamaton. Az itt említett konkrét adatbányászati technikák csupán példák arra, hogy a szervezetek hogyan használják az eszközöket adataik feltárására a trendek, korrelációk, intelligencia és üzleti rálátás keresése során.
Általánosságban elmondható, hogy az adatbányászati megközelítések célirányos – egy adott kívánt eredményre összpontosítva – vagy felfedezési folyamatként irányíthatatlanok. Más feltárások célja lehet az adatok rendezése vagy osztályozása, például a potenciális vevők üzleti attribútumok szerinti csoportosítása, például iparág, termékek, méret és hely szerint. A hasonló objektív, kiugró értékek vagy anomáliák észlelése egy automatizált módszer a valós anomáliák felismerésére (nem pedig egyszerű változékonyságra) egy olyan adathalmazon belül, amely azonosítható mintákat jelenít meg.
Társítás
Egy másik érdekes cél az asszociáció – két látszólag nem kapcsolódó esemény vagy tevékenység összekapcsolása. Egy klasszikus történet az analitika és az adatbányászat korai napjaiból, talán fiktív, egy kisbolt lánccal rendelkezik, amely korrelációt fedez fel a sör és a pelenkák értékesítése között. Az a spekuláció, hogy az új apák, akik késő este elfogytak, hogy pelenkákat szerezzenek, megragadhatnak egy pár hatos csomagot, amíg ott vannak. A boltok közel helyezik el a sört és a pelenkákat, és ennek eredményeként növelik a sörértékesítést.
Klaszterezés
Ennek a megközelítésnek az a célja, hogy az adatokat az előre meghatározott feltételezések helyett hasonlóságok szerint csoportosítsa. Ha például külső fogyasztói hiteladatokkal és demográfiai adatokkal kombinálja a vevők értékesítési adatait, előfordulhat, hogy a legjövedelmezőbb ügyfelek középvárosokból származnak. Az idő nagy részében adatbányászatra törekszenek az előrejelzések vagy előrejelzések támogatására. Minél jobban megérti a mintákat és viselkedéseket, annál jobb munkát végezhet az okokhoz vagy korrelációkhoz kapcsolódó jövőbeli műveletek előrejelzésében.
Regresszió
Az adatbányászati eszközkészletek egyik matematikai technikája, a regressziós analízis a jövőbe vetített történeti mintázatok alapján jósol egy számot. A különböző mintaészlelési és nyomon követési algoritmusok rugalmas eszközöket biztosítanak a felhasználók számára, hogy jobban megértsék az adatokat és az általa képviselt viselkedést. Ez csak néhány az adatbányászati eszközkészletekben rendelkezésre álló technikák és eszközök közül. Az eszköz vagy technika megválasztása némileg automatizált abban, hogy a technikákat a kérdés feltevésének megfelelően alkalmazzák. Korábban az adatbányászatra úgy hivatkoztak, mint „szeletelés és diktálás” az adatbázisra, de a gyakorlat ma már kifinomultabb, és az asszociáció, a klaszterezés és a regresszió kifejezések gyakoriak.
Alkalmazási esetek és példák
Az adatbányászat kulcsfontosságú a hangulatelemzéshez, az ároptimalizáláshoz, az adatbázis-marketinghez, a hitelkockázat-kezeléshez, a képzéshez és támogatáshoz, a csalások felderítéséhez, az egészségügyi és orvosi diagnosztikához, a kockázatértékeléshez, az ajánlási rendszerekhez („azokat az ügyfeleket, akik ezt megvették… ”) és még sok más. Hatékony eszköz lehet minden iparágban, beleértve a kiskereskedelmet, a nagykereskedelmi, a szolgáltatási iparágakat, a távközlési, a kommunikációs, a biztosítási, az oktatási, a gyártási, az egészségügyi, a banki, a tudományos, a mérnöki és az online marketinget vagy a közösségi médiát.
Termékfejlesztés: A fizikai termékeket tervező, gyártó vagy forgalmazó vállalatok meghatározhatják a lehetőségeket, hogy jobban megcélozzák termékeiket a beszerzési minták és a gazdasági és demográfiai adatok elemzésével. Tervezőik és mérnökeik a vevői és felhasználói visszajelzésekre, a javítási feljegyzésekre és más adatokra is hivatkozhatnak a termékfejlesztési lehetőségek azonosítása érdekében.
Gyártás: A gyártók nyomon követhetik a minőségi trendeket, a javítási adatokat, a gyártási arányokat és a termék teljesítményadatait a terepről, hogy azonosítsák a gyártási aggályokat. Felismerhetik a lehetséges folyamatfrissítéseket is, amelyek javítanák a minőséget, időt és költséget takarítanának meg, javítanák a termék teljesítményét, és/vagy rámutatnának az új vagy jobb gyári berendezések szükségességére.
Szolgáltatási iparágak: A szolgáltató iparágakban a felhasználók hasonló termékfejlesztési lehetőségeket találhatnak az ügyfélvisszajelzések (közvetlen vagy közösségi médiából vagy más forrásokból származó) konkrét szolgáltatásokkal, csatornákkal, társak teljesítményadataival, régióval, árképzéssel, demográfiával, gazdasági adatokkal stb. való kereszthivatkozással.
Végül ezeket a megállapításokat az előrejelzéshez és a tervezéshez kell felhasználni, hogy az egész szervezet az ügyfél bensőségesebb ismeretein alapuló várható keresletváltozásokhoz igazodjon, és jobban ki tudja használni az újonnan azonosított lehetőségeket.
Adatbányászati kihívások
Big Data: Az adatok gyorsan felgyorsuló ütemben jönnek létre, és egyre több lehetőséget kínálnak az adatbányászatra. Azonban modern adatbányászati eszközökre van szükség a Big Data jelentéséből való kinyeréséhez, tekintettel a nagy volumenre, a nagy sebességre és az adatstruktúrák széles választékára, valamint a strukturálatlan adatok növekvő mennyiségére. Sok meglévő rendszer nehezen képes kezelni, tárolni és kihasználni ezt a nyersanyagot.
Felhasználói kompetencia: Az adatbányászati és -elemző eszközök célja, hogy segítsék a felhasználókat és a döntéshozókat az adatok tömegéből származó értelmes és koax jelentéssel és betekintéssel. Bár rendkívül technikai jellegű, ezek az erőteljes eszközök most már kiváló felhasználói élmény tervezéssel vannak csomagolva, így gyakorlatilag bárki használhatja ezeket az eszközöket minimális képzéssel. Ahhoz azonban, hogy a felhasználó teljes mértékben részesülhessen az előnyökből, meg kell értenie a rendelkezésre álló adatokat és a keresett információ üzleti kontextusát. Azt is tudniuk kell - legalábbis általában -, hogy hogyan működnek az eszközök, és mit tehetnek. Ez nem megy túl az átlagos vezető vagy vezető hatókörén, de ez egy tanulási folyamat, és a felhasználóknak bizonyos erőfeszítéseket kell tenniük az új készségkészlet kifejlesztésére.
Adatminőség és elérhetőség: Az új adatok tömegével a hiányos, helytelen, félrevezető, csalárd, sérült vagy csak egyszerűen haszontalan adatok tömegei is előfordulnak. Az eszközök segíthetnek mindezt rendezni, de a felhasználóknak folyamatosan tisztában kell lenniük az adatok forrásával, hitelességével és megbízhatóságával. A személyes adatok védelmével kapcsolatos aggályok szintén fontosak mind az adatok megszerzése, mind az Ön birtokában lévő gondozás és kezelés tekintetében.
Adatbányászat GYIK
Bővítse adatkezelési szakértelmét
Ismerje meg az adatkezelési folyamatot és annak előnyeit.
Ötletek, amiket sehol máshol nem találsz
Iratkozzon fel egy adag üzleti intelligenciára, amelyet közvetlenül postafiókjába szállít.