Ce este Big Data?
Big Data este oceanul de informații în care înotăm în fiecare zi – vaste zetabytes de date care curg de pe computerele, dispozitivele mobile și senzorii mașinilor noastre.
Definiție Big Data în detaliu
Big Data este oceanul de informații în care înotăm în fiecare zi – vaste zettabytes de date care curg de pe computerele, dispozitivele mobile și senzorii mașinilor noastre. Aceste date sunt utilizate de organizații pentru a lua decizii, a îmbunătăți procesele și politicile și a crea produse, servicii și experiențe centrate pe client. Big Data este definit ca fiind „mare” nu doar datorită volumului său, ci și datorită varietății și complexității naturii sale. De obicei, depășește capacitatea bazelor de date tradiționale de a le captura, gestiona și prelucra. Și, Big Data poate veni de oriunde sau orice de pe pământ pe care suntem capabili să le monitorizăm digital. Sateliții meteo, dispozitivele Internet of Things (IoT), camerele de trafic, tendințele rețelelor sociale – acestea sunt doar câteva dintre sursele de date care sunt minate și analizate pentru a face afacerile mai reziliente și mai competitive.
Importanța analizelor Big Data
Valoarea reală a Big Data este măsurată în funcție de gradul în care puteți să o analizați și să o înțelegeți. Inteligența artificială (IA), învățarea automată și tehnologiile moderne ale bazelor de date permit vizualizarea și analiza Big Data pentru a oferi analize care pot fi puse în practică – în timp real. Analizele Big Data ajută companiile să își pună datele la lucru – să realizeze noi oportunități și să construiască modele de afaceri. După cum a declarat geoffrey Moore, autor și analist de management, "Fără analize Big Data, companiile sunt oarbe și surde, rătăcind pe Web ca un cerb pe o autostradă."
Evoluția volumelor mari de date
De neconceput cum pare astăzi, Calculatorul de Ghidare Apollo a dus prima navă spațială pe Lună cu mai puțin de 80 de kilobytes de memorie. De atunci, tehnologia informatică a crescut la o rată exponențială – și generarea de date împreună cu ea. De fapt, capacitatea tehnologică mondială de stocare a datelor s-a dublat aproximativ o dată la trei ani, începând cu anii 1980. Cu puțin peste 50 de ani în urmă, când Apollo 11 a fost eliminată, cantitatea de date digitale generate în întreaga lume s-ar fi putut potrivi pe laptopul mediu. În 2020, statista estimează că 64.2ZB de date a fost creat sau replicat și „Cantitatea de date digitale create în următorii cinci ani va fi mai mare decât dublul cantității de date create de la apariția stocării digitale”.
Pe măsură ce software-ul și tehnologia devin din ce în ce mai avansate, sistemele non-digitale mai puțin viabile sunt prin comparație. Datele generate și colectate digital necesită sisteme mai avansate de gestionare a datelor pentru a le gestiona. În plus, creșterea exponențială a platformelor de social media, a tehnologiilor de smartphone și a dispozitivelor IoT conectate digital a contribuit la crearea actualei ere Big Data.
Tipuri de Big Data: Ce sunt datele structurate și nestructurate?
Seturile de date sunt de obicei clasificate în trei tipuri, pe baza structurii sale și cât de simplu (sau nu) este indexarea.
Cele trei tipuri de Big Data
- Date structurate: Acest tip de date este cel mai simplu de organizat și de căutat. Poate include date financiare, jurnale de mașini și detalii demografice. O foaie de calcul Excel, cu aspectul său de coloane și rânduri predefinite, este o modalitate bună de a imagina date structurate. Componentele sale sunt ușor de clasificat, permițând designerilor și administratorilor de baze de date să definească algoritmi simpli pentru căutare și analiză. Chiar și atunci când există date structurate în volum enorm, acestea nu se califică neapărat ca Big Data deoarece datele structurate pe cont propriu sunt relativ simple de gestionat și, prin urmare, nu îndeplinesc criteriile definitorii pentru Big Data. În mod tradițional, bazele de date au utilizat un limbaj de programare numit Structurat Query Language (SQL) pentru a gestiona datele structurate. SQL a fost dezvoltat de IBM în anii 1970 pentru a permite dezvoltatorilor să construiască și să gestioneze baze de date relaționale (stil foaie de calcul) care începuseră să decoleze la acel moment.
- Date nestructurate: Această categorie de date poate include articole de social media, fișiere audio, imagini și comentarii de la clienți cu durată nedeterminată. Acest tip de date nu pot fi capturate cu ușurință în bazele de date relaționale standard de coloană. În mod tradițional, companiile care doreau să caute, să gestioneze sau să analizeze cantități mari de date nestructurate trebuiau să utilizeze procese manuale laborioase. Nu a existat niciodată o întrebare cu privire la valoarea potențială a analizării și înțelegerii unor astfel de date, dar costul de a face acest lucru a fost adesea prea exorbitant pentru a face să merite. Având în vedere timpul necesar, rezultatele au fost adesea depășite înainte de a fi chiar livrate. În loc de foi de calcul sau baze de date relaționale, datele nestructurate sunt de obicei stocate în lacuri de date, depozite de date și baze de date NoSQL.
- Date semi-structurate: După cum sună, datele semi-structurate sunt un hibrid de date structurate și nestructurate. E-mailurile sunt un bun exemplu, deoarece includ date nestructurate în corpul mesajului, precum și mai multe proprietăți organizaționale, cum ar fi expeditorul, destinatarul, subiectul și data. Dispozitivele care utilizează etichetarea geografică, mărcile de timp sau etichetele semantice pot, de asemenea, să furnizeze date structurate împreună cu conținutul nestructurat. O imagine de smartphone neidentificată, de exemplu, vă poate spune în continuare că este un selfie, și ora și locul în care a fost luată. O bază de date modernă care rulează tehnologia AI nu numai că poate identifica instantaneu diferite tipuri de date, ci poate genera și algoritmi în timp real pentru a gestiona și analiza eficient seturile de date disparate implicate.
Surse de Big Data
Gama de produse generatoare de date crește la o rată fenomenală – de la sateliți cu drone la prăjitori de pâine. Dar, în scopul clasificării, sursele de date sunt, în general, împărțite în trei tipuri:
Date sociale
După cum sună, datele sociale sunt generate de comentariile, postările, imaginile și, din ce în ce mai mult, videoclipurile de pe rețelele de socializare. Și odată cu omniprezența globală în creștere a rețelelor celulare 4G și 5G, se estimează că numărul de oameni din lume care urmăresc în mod regulat conținut video pe smartphone-urile lor va crește la 2,72 miliarde până în 2023. Deși tendințele în social media și utilizarea lor tind să se schimbe rapid și imprevizibil, ceea ce nu se schimbă este creșterea sa constantă ca generator de date digitale.
Date mașină
Dispozitivele și mașinile IoT sunt echipate cu senzori și au capacitatea de a trimite și de a primi date digitale. Senzorii IoT ajută companiile să colecteze și să prelucreze date despre mașini de la dispozitive, vehicule și echipamente din întreaga companie. La nivel global, numărul de date generate este în creștere rapidă – de la senzorii meteorologici și de trafic la supravegherea securității. IDC estimează că până în 2025 vor exista peste 40 de miliarde de dispozitive IoT pe pământ, generând aproape jumătate din datele digitale totale ale lumii.
Date tranzacționale
Acestea sunt unele dintre datele cu cea mai rapidă mișcare și creștere din lume. De exemplu, un mare retailer internațional este cunoscut pentru procesarea a peste un milion de tranzacții cu clienții în fiecare oră. Și când adăugați în toate tranzacțiile bancare și de cumpărare din lume, obțineți o imagine a volumului uluitor de date care sunt generate. În plus, datele tranzacționale sunt din ce în ce mai compuse din date semi-structurate, inclusiv lucruri precum imagini și comentarii, ceea ce face ca gestionarea și prelucrarea să fie cu atât mai complexe.
Cei cinci V definesc Big Data
Doar pentru că un set de date este mare, nu este neapărat Big Data. Pentru a se califica ca atare, datele trebuie să aibă cel puțin următoarele cinci caracteristici:
Cele cinci caracteristici ale Big Data, numite CELE 5V
- Volum: În timp ce volumul nu este în niciun caz singura componentă care face Big Data „mare”, este cu siguranță o caracteristică primară. Pentru a gestiona și utiliza pe deplin Big Data, sunt necesari algoritmi avansați și funcții analitice bazate pe AI. Dar înainte ca oricare dintre acestea să se întâmple, trebuie să existe un mijloc sigur și fiabil de stocare, organizare și regăsire a numeroaselor terabytes de date care sunt deținute de companii mari.
- Viteza: În trecut, orice date care au fost generate au trebuit să fie introduse mai târziu într-un sistem de baze de date tradiționale – de multe ori manual – înainte de a putea fi analizate sau regăsite. Astăzi, tehnologia Big Data permite bazelor de date să prelucreze, să analizeze și să configureze datele în timp ce sunt generate – uneori în milisecunde. Pentru companii, acest lucru înseamnă că datele în timp real pot fi utilizate pentru a captura oportunități financiare, pentru a răspunde nevoilor clienților, pentru a contracara frauda și pentru a aborda orice altă activitate în cazul în care viteza este critică.
- Varietate: Seturile de date care sunt compuse exclusiv din date structurate nu sunt neapărat Big Data, indiferent de cât de voluminoase sunt. Big Data este de obicei alcătuit din combinații de date structurate, nestructurate și semi-structurate. Bazele de date tradiționale și soluțiile de gestionare a datelor nu au flexibilitatea și scopul de a gestiona seturile de date complexe și disparate care alcătuiesc Big Data.
- Veracity: În timp ce tehnologia modernă a bazelor de date permite companiilor să adune și să aibă sens de cantități și tipuri uluitoare de Big Data, este valoroasă doar dacă este exactă, relevantă și oportună. Pentru bazele de date tradiționale care au fost populate doar cu date structurate, erorile sintactice și greșelile de scriere au fost vinovații obișnuiți atunci când a fost vorba de acuratețea datelor. Cu date nestructurate, există un set cu totul nou de provocări de veridicitate. Aspectele legate de părtinirea umană, zgomotul social și proveniența datelor pot avea un impact asupra calității datelor.
- Valoare: Fără îndoială, rezultatele care provin din analiza Big Data sunt adesea fascinante și neașteptate. Însă, pentru companii, funcțiile analitice Big Data trebuie să ofere analize care pot ajuta companiile să devină mai competitive și mai reziliente – și să își servească mai bine clienții. Tehnologiile moderne big data deschid capacitatea de colectare și extragere a datelor care pot oferi beneficii măsurabile atât pentru liniile inferioare, cât și pentru reziliența operațională.
Beneficiile Big Data
Soluțiile moderne de gestiune big data permit companiilor să transforme datele brute în analize relevante – cu viteză și acuratețe fără precedent.
Dezvoltarea de produse și servicii: analizele Big Data permit dezvoltatorilor de produse să analizeze datele nestructurate, cum ar fi recenziile clienților și tendințele culturale, și să răspundă rapid.
Mentenanță predictivă: Într-un studiu internațional, McKinsey a constatat că analiza Big Data de la mașinile bazate pe IoT a redus costurile de întreținere a echipamentelor cu până la 40%.
Experiența clienților: Într-un sondaj realizat în 2020 în rândul liderilor globali de afaceri, Gartner a stabilit că „companiile în curs de dezvoltare colectează mai activ date despre experiența clienților decât companiile care nu sunt în curs de dezvoltare”. Analiza acestui Big Data permite companiilor să îmbunătățească și să personalizeze experiența clienților lor cu brandul lor. Pe lângă Big Data, echipele CX iau în considerare tot mai mult „datele groase”. Aceste perspective calitative asupra observațiilor, sentimentelor și reacțiilor clienților îmbunătățesc Big Data și oferă companiilor o înțelegere mai cuprinzătoare a clienților lor.
Reziliență și gestionarea riscurilor: Pandemia de COVID-19 a fost o trezire puternică pentru mulți lideri de afaceri, deoarece și-au dat seama cât de vulnerabile erau operațiunile lor la perturbări. Analizele Big Data pot ajuta companiile să anticipeze riscurile și să se pregătească pentru neașteptat.
Economii de costuri și o mai mare eficiență: Atunci când companiile aplică funcții analitice avansate Big Data în toate procesele din cadrul organizației lor, acestea sunt capabile nu numai să detecteze ineficiențele, ci și să implementeze soluții rapide și eficiente.
Competitivitate îmbunătățită: informațiile obținute din Big Data pot ajuta companiile să economisească bani, să mulțumească clienții, să facă produse mai bune și să inoveze operațiunile de afaceri.
AI și Big Data
Gestionarea Big Data depinde de sistemele cu puterea de a procesa și de a analiza în mod semnificativ cantități vaste de informații disparate și complexe. În acest sens, Big Data și AI au o relație oarecum reciprocă. Big Data nu ar avea o mulțime de utilizare practică fără AI pentru a o organiza și analiza. Iar AI-ul depinde de amploarea seturilor de date conținute în Big Data pentru a furniza funcții analitice suficient de robuste pentru a putea fi acționate. După cum spune analistul Forrester Research, Brandon Purcell, „Datele sunt sângele vital al IA. Un sistem AI trebuie să învețe din date pentru a-și putea îndeplini funcția.”
"Datele sunt sângele viu al AI. Un sistem AI trebuie să învețe din date pentru a-și putea îndeplini funcția.&ofertă;
Brandon Purcell, analist, Forrester Research
Pe lângă Big Data, organizațiile utilizează din ce în ce mai mult „date mici” pentru a-și instrui algoritmii AI și de învățare automată. Seturile mici de date – cum ar fi sondajele de marketing, foile de calcul, e-mailurile, notele de întâlnire și chiar postările individuale de pe rețelele de socializare – sunt adesea trecute cu vederea, dar pot conține informații valoroase. În cele din urmă, cu cât algoritmii trebuie să învețe mai mult material, cu atât mai bine ieșirea va fi.
Învățare automată și Big Data
Algoritmii de învățare automată definesc datele de intrare și identifică modelele din acestea. Aceste analize sunt furnizate pentru a ajuta la informarea deciziilor de afaceri și la automatizarea proceselor. Învățarea automată prosperă pe Big Data, deoarece cu cât seturile de date sunt analizate mai robust, cu atât este mai mare oportunitatea sistemului de a învăța și de a evolua continuu și de a-și adapta procesele.
Tehnologii big data
Arhitectură Big Data
Ca și în cazul arhitecturii în construcția clădirilor, arhitectura Big Data oferă un plan pentru structura fundamentală a modului în care companiile își vor gestiona și analiza datele. Arhitectura Big Data mapează procesele necesare pentru a gestiona Big Data în călătoria sa de-a lungul a patru „straturi” de bază, de la surse de date, la stocarea datelor, apoi la analiza Big Data și, în cele din urmă, prin stratul de consum în care rezultatele analizate sunt prezentate ca business intelligence.
Funcții analitice Big Data
Acest proces permite o vizualizare semnificativă a datelor prin utilizarea modelării datelor și a algoritmilor specifici caracteristicilor Big Data. Într-un studiu aprofundat și un sondaj realizat de MIT Sloan School of Management, peste 2.000 de lideri de afaceri au fost întrebați despre experiența companiei lor în ceea ce privește analiza Big Data. Deloc surprinzător, cei care au fost implicați și susținători ai dezvoltării strategiilor lor de management big data au obținut cele mai bune rezultate de afaceri.
Big Data și Apache Hadoop
Imaginea 10 dimes într-o singură cutie mare amestecat cu 100 de porecle. Apoi pozează 10 cutii mai mici, una lângă alta, fiecare cu 10 porecle și doar un dime. În ce scenariu va fi mai ușor să se identifice nuanțele? Hadoop funcționează practic pe acest principiu. Este un cadru open-source pentru gestionarea procesării distribuite big data într-o rețea de multe calculatoare conectate. Deci, în loc să utilizeze un computer mare pentru a stoca și prelucra toate datele, Hadoop grupează mai multe computere într-o rețea aproape infinit scalabilă și analizează datele în paralel. Acest proces utilizează de obicei un model de programare numit MapReduce, care coordonează procesarea Big Data prin dirijarea calculatoarelor distribuite.
Lacuri de date, depozite de date și NoSQL
Bazele de date în stil foaie de calcul SQL tradiționale sunt utilizate pentru stocarea datelor structurate. Big Data nestructurate și semi-structurate necesită paradigme unice de stocare și procesare, deoarece nu se pretează la a fi indexate și categorizate. Lacurile de date, depozitele de date și bazele de date NoSQL sunt toate repository-uri de date care gestionează seturi de date netradiționale. Un lac de date este un vast pool de date brute care nu a fost încă prelucrat. Un depozit de date este un repository de date care a fost deja prelucrat pentru un anumit scop. Bazele de date NoSQL oferă o schemă flexibilă care poate fi modificată pentru a se potrivi cu natura datelor care urmează să fie prelucrate. Fiecare dintre aceste sisteme are punctele sale forte și puncte slabe și multe companii utilizează o combinație a acestor depozite de date diferite pentru a se potrivi cel mai bine nevoilor lor.
Baze de date in-memory
Bazele de date tradiționale bazate pe discuri au fost dezvoltate ținând cont de SQL și de tehnologiile bazelor de date relaționale. Deși pot gestiona volume mari de date structurate, acestea pur și simplu nu sunt concepute pentru a stoca și prelucra cel mai bine datele nestructurate. Cu bazele de date in-memory, prelucrarea și analiza au loc în întregime în RAM, spre deosebire de necesitatea de a regăsi datele dintr-un sistem bazat pe disc. Bazele de date in-memory sunt, de asemenea, construite pe arhitecturi distribuite. Acest lucru înseamnă că pot atinge viteze mult mai mari prin utilizarea prelucrării paralele, spre deosebire de modelele de baze de date bazate pe disc, cu un singur nod.
Cum funcționează Big Data
Big Data funcționează atunci când analiza sa oferă analize relevante și care pot fi puse în practică, care îmbunătățesc în mod măsurabil afacerea. În pregătirea transformării Big Data, companiile ar trebui să se asigure că sistemele și procesele lor sunt suficient de pregătite pentru a colecta, stoca și analiza Big Data.
Cei trei pași principali implicați în utilizarea Big Data
- Strângeți big data. O mare parte din Big Data este alcătuită din seturi masive de date nestructurate, inundând din surse disparate și inconsecvente. Bazele de date tradiționale bazate pe disc și mecanismele de integrare a datelor pur și simplu nu sunt egale cu sarcina de a gestiona acest lucru. Gestiunea Big Data necesită adoptarea soluțiilor de baze de date in-memory și a soluțiilor software specifice achiziției Big Data.
- Stocați Big Data. Prin însăși numele său, Big Data este voluminos. Multe companii au soluții de stocare on-premise pentru datele lor existente și speră să economisească prin repurtarea acestor depozite pentru a satisface nevoile lor de procesare Big Data. Cu toate acestea, Big Data funcționează cel mai bine atunci când nu este constrâns de limite de dimensiune și memorie. Companiile care nu reușesc să includă soluții de stocare în cloud în modelele lor Big Data de la început regretă adesea acest lucru câteva luni pe drum.
- Analizați Big Data. Fără aplicarea tehnologiilor AI și machine learning la analiza Big Data, pur și simplu nu este fezabil să-și realizeze întregul potențial. Unul dintre cei cinci V de Big Data este „viteza”. Pentru ca informațiile despre Big Data să poată fi puse în practică și valoroase, acestea trebuie să vină rapid. Procesele de analiză trebuie să se autooptimizeze și să poată învăța din experiență în mod regulat – un rezultat care poate fi obținut doar cu ajutorul funcționalității AI și al tehnologiilor moderne ale bazelor de date.
Aplicații Big Data
Analizele și învățarea aprofundată oferite de Big Data pot oferi beneficii pentru aproape orice întreprindere sau industrie. Cu toate acestea, organizațiile mari cu atribuții operaționale complexe sunt adesea capabile să facă cea mai semnificativă utilizare a Big Data.
Finanțe În Journal of Big Data, un studiu din 2020 subliniază că Big Data „joacă un rol important în schimbarea sectorului serviciilor financiare, în special în comerț și investiții, reforma fiscală, detectarea și investigarea fraudelor, analiza riscurilor și automatizarea.” Big Data a ajutat, de asemenea, la transformarea industriei financiare prin analizarea datelor clienților și a feedback-ului pentru a obține informațiile valoroase necesare pentru a îmbunătăți satisfacția și experiența clienților. Seturile de date tranzacționale sunt unele dintre cele mai rapide și mai mari din lume. Adoptarea în creștere a soluțiilor avansate de gestionare a Big Data va ajuta băncile și instituțiile financiare să protejeze aceste date și să le utilizeze în moduri care aduc beneficii și protejează atât clientul, cât și afacerea.
Sănătate Analiza Big Data permite profesioniștilor din domeniul sănătății să realizeze diagnostice mai precise și bazate pe dovezi. În plus, Big Data ajută administratorii spitalelor să identifice tendințele, să gestioneze riscurile și să minimizeze cheltuielile inutile – generând cele mai mari bugete posibile în domeniile de îngrijire a pacienților și cercetare. În plină pandemie, oamenii de știință din cercetare din întreaga lume se îndreaptă către modalități mai bune de tratare și gestionare a COVID-19 – iar Big Data joacă un rol enorm în acest proces. Un articol din iulie 2020 din The Scientist descrie modul în care echipele medicale au putut colabora și analiza Big Data pentru a ajuta la combaterea coronavirusului: „Putem transforma modul în care se face știința clinică, valorificând instrumentele și resursele Big Data și știința datelor în moduri care nu au fost posibile.”
Transport și logistică Efectul Amazon este un termen care descrie modul în care Amazon a stabilit bara pentru așteptările de livrare de a doua zi în cazul în care clienții solicită acum acel tip de viteză de expediere pentru orice comandă online. Revista Antreprenor subliniază că, ca rezultat direct al Efectului Amazon, „cursa logistică de „ultimul kilometru” va deveni mai competitivă.” Companiile de logistică se bazează din ce în ce mai mult pe analizele Big Data pentru a optimiza planificarea rutelor, consolidarea încărcării și măsurile de eficiență a consumului de combustibil.
Educație În timpul pandemiei, instituțiile de învățământ din întreaga lume au fost nevoite să își reinventeze curricula și metodele de predare pentru a sprijini învățarea la distanță. O provocare majoră pentru acest proces a fost găsirea unor modalități fiabile de a analiza și evalua performanța studenților și eficacitatea generală a metodelor de predare online. Un articol din 2020 despre impactul Big Data asupra educației și învățării online face o observație despre profesori: „Datele mari îi fac să se simtă mult mai încrezători în personalizarea educației, dezvoltarea învățării mixte, transformarea sistemelor de evaluare și promovarea învățării pe tot parcursul vieții.”
Energie și utilități În conformitate cu SUA Biroul de Statistică a Muncii, companiile de utilități cheltuiesc peste 1,4 miliarde de dolari pe cititoare de contoare și, de obicei, se bazează pe contoare analogice și citiri manuale rare. Cititoarele inteligente de contoare oferă date digitale de multe ori pe zi și, cu ajutorul analizei Big Data, acest intel poate informa utilizarea mai eficientă a energiei și prețuri și prognoze mai precise. În plus, atunci când lucrătorii de pe teren sunt eliberați de citirea contoarelor, captarea și analiza datelor pot ajuta la realocarea mai rapidă a acestora acolo unde sunt necesare urgent reparații și upgrade-uri.
Întrebări frecvente despre Big Data
Descoperă soluțiile SAP de gestiune a datelor
Gestionează-ți infrastructura de date diverse și unește datele pentru analize de afaceri.
Idei pe care nu le veți găsi nicăieri altundeva
Înregistrați-vă pentru o doză de business intelligence livrată direct în căsuța dvs. poștală.