Vizualizare sursă pentru „Big data”

[[File:Hilbert InfoGrowth.png|thumb|right|400px|Creșterea și digitalizarea capacității globale de stocare a informațiilor<ref>{{cite journal|url= http://www.martinhilbert.net/WorldInfoCapacity.html|title= The World's Technological Capacity to Store, Communicate, and Compute Information|volume= 332|issue= 6025|pages= 60–65|journal=Science|access-date= 13 April 2016|bibcode= 2011Sci...332...60H|last1= Hilbert|first1= Martin|last2= López|first2= Priscila|year= 2011|doi= 10.1126/science.1200970|pmid= 21310967}}</ref>]]
Termenul '''Big Data''' ('''big data''') se referă la extragerea, manipularea și analiza unor seturi de date care sunt prea mari pentru a fi tratate în mod obișnuit.<ref>{{cite web |url=https://www.telework.ro/ro/big-data/|title=Big Data|website=SetThings.com |date=1 iunie 2019 |accessdate=28 mai 2020}}</ref> Din această cauză se utilizează software special și, în multe cazuri, și calculatoare și echipamente hardware special dedicate. În general la aceste date analiza se face statistic. Pe baza analizei datelor respective se fac de obicei predicții ale unor grupuri de persoane sau alte entități, pe baza comportamentului acestora în diverse situații și folosind tehnici analitice avansate. Se pot identifica astfel tendințe, necesități și evoluții comportamentale ale acestor entități. Oamenii de știință folosesc aceste date pentru cercetări în [[meteorologie]], [[genomică]], (Nature 2008) conectomică, simulări fizice complexe, [[biologie]], [[protecția mediului]], etc.<ref>{{cite journal|last1= Reichman|first1= O. J.|last2=Jones|first2= Matthew B. |last3= Schildhauer|first3= Mark P.|title= Challenges and Opportunities of Open Data in Ecology|journal= Science|volume= 331|issue= 703| doi=10.1126/science.1197962| year= 2011}}</ref>

Odată cu creșterea volumului de date pe [[Internet]], în [[Media de socializare|media socială]], [[cloud computing]], dispozitive mobile și date guvernamentale, Big Data devine în același timp o amenințare și o oportunitate pentru [[cercetător]]i în ceea ce privește gestionarea și utilizarea acestor date, menținând în același timp drepturile persoanelor implicate.

== Definiții ==
Big Data includ, de obicei, seturi de date cu dimensiuni care depășesc capacitatea [[software]] și [[hardware]] obișnuite, folosind date nestructurate, semi-structurate și structurate, cu accentul pe datele nestructurate.<ref>{{citat carte|last =Dedić|first =Nedim|last2 =Stanier|first2 =Clare|title=”Towards Differentiating Business Intelligence, Big Data, Data Analytics and Knowledge Discovery”, în Innovations in Enterprise Information Systems Management and Engineering|publisher =Springer International Publishing|year =2017|pages = 114–22}}</ref> Dimensiunile Big Data au crescut în timp din 2012, de la câteva zeci de terabyte până la multe exabyte de date.<ref>{{cite web |url=https://www.sciencehistory.org/distillations/magazine/information-overload|title=Information Overload|publisher=Sarah Everts |website=Science History Institute |date=18 iulie 2016 |language=en |accessdate=28 mai 2020}}</ref> Eficientizarea lucrului cu Big Data implică învățarea mașinilor pentru a detecta modele,<ref>{{citat carte|last =Mayer-Schönberger,|first =Viktor|last2 =Cukier|first2 =Kenneth |title=Big Data: A Revolution That Will Transform How We Live, Work, and Think.|publisher =Eamon Dolan/Mariner Books|year =2014|location =Boston}}</ref> dar adesea aceste date sunt un produs secundar al altor activități digitale.

O definiție din 2018 afirmă că „Big Data sunt datele care necesită instrumentele de calcul paralel pentru a gestiona datele”, aceasta reprezentând o turnură în [[informatică]], prin utilizarea teoriilor de [[programare]] paralelă și lipsa unor garanții presupuse de modelele anterioare.” Big Data utilizează statistici inductive și concepte de identificare a sistemelor neliniare pentru a deduce legi (regresii, relații neliniare și efecte cauzale) din seturi mari de date cu densitate scăzută de informații pentru a obține relații și dependențe sau pentru a efectua predicții ale rezultatelor și comportamentelor.<ref>{{cite journal|last1= Sfetcu|first1= Nicolae|title= Etica Big Data în cercetare|journal= ResearchGate| url = https://www.researchgate.net/publication/334274095_Etica_Big_Data_in_cercetare| doi=10.13140/RG.2.2.27629.33761| year= 2019}}</ref>

La nivelul [[Uniunea Europeană|Uniunii Europene]] nu există o definiție obligatorie dar, în conformitate cu Avizul 3/2013 al Grupului european de lucru privind protecția datelor,

<blockquote>„Big Data este un termen care 	se referă la creșterea enormă a accesului și a utilizării automate a informațiilor: se referă la cantitățile uriașe de date digitale controlate de companii, autorități și alte organizații mari, care sunt supuse unor analize ample bazate pe utilizarea de algoritmi. Big Data pot fi folosite pentru a identifica tendințele și corelațiile generale, dar pot fi utilizate și pentru a afecta direct persoanele.”<ref name="EESC">{{cite web |url=https://www.eesc.europa.eu/en/our-work/publications-other-work/publications/ethics-big-data |title=The Ethics of Big Data: Balancing Economic Benefits and Ethical Questions of Big Data in the EU Policy Context|publisher=European Economic and Social Committee |date=22 februarie 2017 |language=en |accessdate=28 mai 2020}}</ref></blockquote>

Problema cu această [[definiție]] e că nu ia în considerare reutilizarea datelor cu caracter personal.

Regulamentul nr. 2016/679 definește '''datele personale''' (articolul 4, paragraful 1) drept

<blockquote>„orice informație referitoare la o persoană fizică identificată sau identificabilă (persoana vizată); o persoană fizică identificabilă este cea care poate fi identificată, în mod direct sau indirect, în special prin referire la un identificator cum ar fi un nume, un număr de identificare, date de localizare, un identificator online sau unul sau mai mulți factori specifici identității fizice, fiziologice, genetice, mentale, economice, culturale sau sociale a acelei persoane fizice.”</blockquote>

Definiția se aplică, la nivelul UE, și persoanelor neidentificate dar care pot fi identificate prin corelarea datelor anonime cu alte informații suplimentare. Datele cu caracter personal, o dată anonimizate (sau pseudo-anonimizate), pot fi prelucrate fără a fi nevoie de o autorizație, ținându-se totuși cont de riscul  re-identificării persoanei vizate.

== Tehnologii ==
Un raport al Institutului Global McKinsey din 2011 caracterizează principalele componente și ecosistemul datelor mari după cum urmează:<ref name="McKinsey">{{cite journal | last1 = Manyika | first1 = James | first2 = Michael | last2 = Chui | first3 = Jaques | last3 = Bughin | first4 = Brad | last4 = Brown | first5 = Richard | last5 = Dobbs | first6 = Charles | last6 = Roxburgh | first7 = Angela Hung | last7 = Byers | title = Big Data: The next frontier for innovation, competition, and productivity | publisher = McKinsey Global Institute | date = May 2011 | url = http://www.mckinsey.com/Insights/MGI/Research/Technology_and_Innovation/Big_data_The_next_frontier_for_innovation | access-date = 16 January 2016 | archive-date = 2013-03-05 | archive-url = https://web.archive.org/web/20130305235111/http://www.mckinsey.com/Insights/MGI/Research/Technology_and_Innovation/Big_data_The_next_frontier_for_innovation | dead-url = yes }}</ref>
* Tehnici de analiză a datelor, cum ar fi testarea A / B, [[învățarea automată]] și [[prelucrarea limbajului natural]]
* Tehnologii de date mari, cum ar fi [[business intelligence]], [[cloud computing]] și [[Bază de date|baze de date]]
* Vizualizare, cum ar fi diagrame, grafice și alte afișări ale datelor

Datele mari multidimensionale pot fi, de asemenea, reprezentate ca cuburi de date OLAP sau, matematic, ca [[tensor]]i. Sistemele de baze de date Array și-au propus să ofere suport de stocare și interogare la nivel înalt pentru acest tip de date. Tehnologiile suplimentare aplicate big data includ calcule eficiente bazate pe tensori,<ref>{{cite web |title=Future Directions in Tensor-Based Computation and Modeling |date=May 2009|url=http://www.cs.cornell.edu/cv/tenwork/finalreport.pdf}}</ref> cum ar fi învățarea sub-spațială multiliniară,<ref name="MSLsurvey">{{cite journal | first1 = Haiping | last1 = Lu | first2 = K.N. | last2 = Plataniotis | first3 = A.N. | last3 = Venetsanopoulos | url = http://www.dsp.utoronto.ca/~haiping/Publication/SurveyMSL_PR2011.pdf | title = A Survey of Multilinear Subspace Learning for Tensor Data | journal = Pattern Recognition | volume = 44 | number = 7 | pages = 1540–1551 | year = 2011 | doi = 10.1016/j.patcog.2011.01.004 | access-date = 2020-10-20 | archive-date = 2019-07-10 | archive-url = https://web.archive.org/web/20190710225429/http://www.dsp.utoronto.ca/~haiping/Publication/SurveyMSL_PR2011.pdf | dead-url = yes }}</ref> baze de date cu procesare masivă paralelă (MPP), aplicații bazate pe căutare, [[Extragerea de cunoștințe din date|extragerea datelor]],<ref>{{cite book|last1=Pllana|first1=Sabri|title=2011 14th International Conference on Network-Based Information Systems|pages=341–348|last2=Janciak|first2=Ivan|last3=Brezany|first3=Peter|last4=Wöhrer|first4=Alexander|chapter=A Survey of the State of the Art in Data Mining and Integration Query Languages |website=2011 International Conference on Network-Based Information Systems (NBIS 2011)|publisher=IEEE Computer Society|bibcode=2016arXiv160301113P|year=2016|arxiv=1603.01113|doi=10.1109/NBiS.2011.58|isbn=978-1-4577-0789-6|s2cid=9285984}}</ref> sisteme de fișiere distribuite , cache distribuită (de exemplu, buffer de rafală și Memcached), baze de date distribuite, infrastructură bazată pe cloud și [[Supercalculator|HPC]] (aplicații, resurse de stocare și calcul)<ref>{{cite book|chapter=Characterization and Optimization of Memory-Resident MapReduce on HPC Systems|publisher=IEEE|date=October 2014|doi=10.1109/IPDPS.2014.87|title=2014 IEEE 28th International Parallel and Distributed Processing Symposium|pages=799–808|last1=Wang|first1=Yandong|last2=Goldstone|first2=Robin|last3=Yu|first3=Weikuan|last4=Wang|first4=Teng|s2cid=11157612|isbn=978-1-4799-3800-1}}</ref> și Internet. Deși au fost dezvoltate multe abordări și tehnologii, rămâne încă dificil pentru a efectua învățarea automată cu big data.<ref>{{Cite journal|last1=L'Heureux|first1=A.|last2=Grolinger|first2=K.|last3=Elyamany|first3=H. F.|last4=Capretz|first4=M. A. M.|date=2017|title=Machine Learning With Big Data: Challenges and Approaches|journal=IEEE Access|volume=5|pages=7776–7797|doi=10.1109/ACCESS.2017.2696365|issn=2169-3536|doi-access=free}}</ref>

Unele baze de date relaționale MPP au capacitatea de a stoca și gestiona petabytes de date. Implicit este capacitatea de a încărca, monitoriza, face copii de rezervă și optimiza utilizarea tabelelor mari de date din RDBMS.<ref>{{cite web |author=Monash, Curt |title=eBay's two enormous data warehouses |date=30 April 2009 |url=http://www.dbms2.com/2009/04/30/ebays-two-enormous-data-warehouses/}}<br />{{cite web |author=Monash, Curt |title=eBay followup&nbsp;– Greenplum out, Teradata > 10 petabytes, Hadoop has some value, and more |date=6 October 2010 |url =http://www.dbms2.com/2010/10/06/ebay-followup-greenplum-out-teradata-10-petabytes-hadoop-has-some-value-and-more/}}</ref>

Practicanții proceselor de analiză a datelor mari sunt, în general, ostili față de stocarea partajată mai lentă,<ref>{{cite web |title=Storage area networks need not apply |author=CNET News |date=1 April 2011 |url=http://news.cnet.com/8301-21546_3-20049693-10253464.html |accessdate=2020-10-20 |archive-date=2013-10-18 |archive-url=https://web.archive.org/web/20131018042918/http://news.cnet.com/8301-21546_3-20049693-10253464.html |dead-url=yes }}</ref> preferând stocarea direct atașată (DAS) în diferitele sale forme, de la unitatea [[Solid-state drive|SSD]] (SSD) la discul [[Serial ATA|SATA]] de mare capacitate îngropat în nodurile de procesare paralele. Percepția arhitecturilor de stocare partajată - rețea de stocare (SAN) și stocare conectată la rețea ([[NAS]]) - este că acestea sunt relativ lente, complexe și costisitoare. Aceste calități nu sunt în concordanță cu sistemele de analiză de date mari care se dezvoltă în funcție de performanța sistemului, de infrastructura de marfă și de costuri reduse.

== Dimensiunile Big Data ==
Datele sunt partajate și stocate pe [[server]]e, prin interacțiunea dintre entitatea implicată și sistemul de stocare. În acest context, Big Data se poate clasifica în sisteme active (interacțiune sincronă, datele entității sunt trimise direct către sistemul de stocare), și sisteme pasive (interacțiune asincronă, datele sunt colectate printr-un intermediar și apoi introduse în sistem.

De asemenea, datele pot fi transmise direct în mod conștient, sau ne-conștient (dacă persoana ale cărei date sunt transmise nu este notificată la timp și clar). Datele sunt apoi prelucrate pentru a genera statistici.

În funcție de ținta analizelor statisticilor respective, dimensiunile datelor pot fi a) individuale (este analizat o singur entitate); sociale (se analizează grupuri discrete de entități din cadrul unei populații; și hibride (când o entitate este analizată prin prisma apartenenței sale la un grup deja definit).

Producția actuală imensă de date generate de utilizatori este estimată că va crește cu 2000% 1 2 3 la nivel mondial până în 2020, și sunt adesea nestructurate. În general, Big Data se caracterizează prin:

* Volum (cantitatea de date);
* Varietate (produse de diferite surse în diferite formate);
* Viteză (viteza de analiza online a datelor);
* Veracitate (datele sunt incerte și trebuie verificate);
* Valoare (evaluată prin analiză).

Volumul de date produse și stocate evoluează în prezent exponențial, peste 90% din ele fiind generate în ultimii patru ani.<ref name="EESC"/> Volumele mari necesită viteză mare de analiză, cu impact puternic asupra veracității. Datele incorecte au potențialul de a genera probleme atunci când sunt folosite în procesul de decizie.

Una din problemele important cu Big Data este dacă este nevoie de datele complete pentru a trage anumite concluzii cu privire la proprietățile lor, sau este suficient un eșantion. Big Data conține chiar în nume un termen legat de dimensiune, care este o caracteristică importantă a Big Data. Dar eșantionarea (statistică) permite selectarea unor puncte corecte de colectare de date dintr-un set mai larg pentru a estima caracteristicile întregii populații. Big Data pot fi eșantionate pe diferite categorii de date în procesul de selecție a probelor cu ajutorul unor algoritmii de eșantionare pentru Big Data.

== Caracteristici ==

"Datele păstrate și prelucrate în cantități imense, datorită unor medii de stocare mai ieftine, unor metode de procesare mai rapide și unor algoritmi mai performanți" definiția din - Big Data: A revolution that will transform how we live - de [http://en.wikipedia.org/wiki/Viktor_Mayer-Sch%C3%B6nberger Viktor Mayer-Schönberger] și Kenneth Cukier.

Big Data a devenit o problemă în afaceri, sau cel puțin o problemă pe care oamenii de afaceri încep să o conștientizeze. Presa începe să aloce din ce în ce mai mult spațiu acestui subiect.  Pornind cu Wall Street Journal "Companiile sunt inundate cu date" (“Companies are being inundated with data") la Financial Times "Din ce în ce în afaceri sunt aplicate analize din mass-media, cum ar fi Facebook și Twitter" ("Increasingly businesses are applying analytics to social media such as Facebook and Twitter"), Forbes "Big Date a ajuns la Seton Health Care Family" ("Big Data has arrived at Seton Health Care Family").  

; Volumul: Da, volumul de date este în creștere. Experții prezic că volumul de date din lume, va crește la 25 de Zettabytes în 2020. Același fenomen afectează fiecare companie - datele sunt în creștere la aceeași rată exponențială. Dar nu este numai volumul de date care este în creștere, numărul de surse de date este de asemenea în creștere.<ref>{{cite journal |last1=Sagiroglu |first1=Seref |title=Big data: A review |journal=2013 International Conference on Collaboration Technologies and Systems (CTS) |date=2013 |page=42-47 |doi=10.1109/CTS.2013.6567202|isbn=978-1-4673-6404-1 |s2cid=5724608 }}</ref>

; Viteza: Datele se creează la viteze din ce în ce mai mari. Companiile își mută aplicațiile de la aplicații de tip "batch" la aplicații în timp real. Și cerințele de afaceri au crescut la fel - de la răspunsuri săptămâna viitoare sau măine la un răspuns într-un minut sau la secundă. Și lumea este, de asemenea, din ce în ce mai instrumentată și interconectată. Volumul de date de streaming de pe aceste instrumente este exponențial mai mare decât a fost chiar cu 2 ani în urmă.<ref>{{cite journal |last1=Kitchin |first1=Rob |last2=McArdle |first2=Gavin |title=What makes Big Data, Big Data? Exploring the ontological characteristics of 26 datasets |journal=Big Data & Society |date=17 February 2016 |volume=3 |issue=1 |pages=205395171663113 |doi=10.1177/2053951716631130|doi-access=free }}</ref>

; Varietatea: Varietatea datelor prezintă o provocare la fel de dificilă. Creșterea surselor de date a alimentat și creșterea tipurilor de date. De fapt, 80% din datele generate în lume sunt date nestructurate. Cu toate acestea, metodele tradiționale de analiză se aplică numai la informații structurate.

; Veridicitatea: Cum se poate acționa pe baza acestor informații, dacă nu sunt de încredere. Stabilirea încrederii în datele pe care le folosește orice companie reprezintă o provocare uriașă odată cu creșterea surselor și tipurilor de date. Un alt motiv pentru care Big Data este un subiect fierbinte astăzi este noua tehnologie care permite unei organizații să beneficieze de resursele interne de date. Ceea ce este nou, este tehnologia pentru a procesa și analiza aceste date la volumul și viteza dorită. Scopul tehnologiei Big Data este să analizeze toate datele disponibile, eficient din punct de vedere costuri. Orice date, așa cum sunt. Se pot analiza date structurate, video, audio, date spațiale sau orice tip de date.<ref>[https://web.archive.org/web/20180731105912/https://spotlessdata.com/blog/big-datas-fourth-v Big Data's Fourth V]</ref> Datele pot veni de la sistemele noastre tradiționale - sisteme de facturare, sisteme ERP, sisteme CRM. De asemenea, vin de la mașini - de la etichetele RFID, senzori, comutatoare de rețea. Și datele vin de la oameni - site-ul web, social media, etc. Acest lucru face foarte dificilă analiza datelor sociale - extragerea ideilor de conținut în mare parte sub formă de text într-un timp foarte scurt.

Alte caracteristici importante ale Big Data sunt:<ref>{{Cite journal|last1=Kitchin|first1=Rob|last2=McArdle|first2=Gavin|date=5 January 2016|title=What makes Big Data, Big Data? Exploring the ontological characteristics of 26 datasets|journal=Big Data & Society|language=en|volume=3|issue=1|pages=205395171663113|doi=10.1177/2053951716631130|issn=2053-9517|doi-access=free}}</ref>

; Exhaustiv: Dacă întregul sistem (i.e.,  <math display="inline">n</math>=toate) este capturat sau înregistrat sau nu.

; Cu granulație fină și lexical unic: Respectiv, proporția de date specifice din fiecare element pe element colectat și dacă elementul și caracteristicile acestuia sunt indexate sau identificate în mod corespunzător.

; Relațional: Dacă datele colectate conțin câmpuri comune care ar permite o conexiune sau meta-analiză a diferitelor seturi de date.

; Extensional: Dacă câmpurile noi din fiecare element al datelor colectate pot fi adăugate sau modificate cu ușurință.

; Scalabilitate: Dacă dimensiunea datelor se poate extinde rapid.

; Valoare: Utilitatea care poate fi extrasă din date.

; Variabilitate: Se referă la date a căror valoare sau alte caracteristici se schimbă în raport cu contextul în care sunt generate.

== Virtualizarea datelor ==
Virtualizarea datelor este o modalitate de colectare a datelor din mai multe surse într-o singură "vizualizare". Adunarea este virtuală: spre deosebire de alte metode, cele mai multe date rămân acolo unde a fost inițial și sunt preluate din surse brute la cerere.<ref>{{Citat web|url=https://www.datawerks.com/data-virtualization/|accessdate=|autor=|titlu=Big Data Virtualization|archive-date=2018-04-10|archive-url=https://web.archive.org/web/20180410201808/https://www.datawerks.com/data-virtualization/|dead-url=yes}}</ref>

== Note ==
<references />

== Bibliografie ==
* {{cite book
|title=Big Data
|last=Sfetcu
|first=Nicolae
|publisher=MultiMedia Publishing
|year=2019
|isbn=978-0-393-00583-7
|url=https://books.google.ro/books?id=UWOkDwAAQBAJ
}}

{{Control de autoritate}}

[[Categorie:Administrarea datelor]]