Store data er ikke bare en moderne dages fad - dummies

Forskere begynte å kjempe mot imponerende mengder data i mange år før noen utgjorde begrepet stor Data. På dette tidspunktet produserte ikke Internett de store summene for data som den gjør i dag. Det er nyttig å huske at store data ikke bare er en skjebne laget av programvare- og maskinvareleverandører, men har grunnlag i mange av følgende områder:

• Astronomi: Vurder dataene mottatt fra romfartøy på oppdrag (for eksempel Voyager eller Galileo) og alle data mottatt fra radioteleskoper, som er spesialiserte antenner som brukes til å motta radiobølger fra astronomiske kropper. Et vanlig eksempel er prosjektet Search for Extraterrestrial Intelligence (SETI), som ser etter utenomjordiske signaler ved å observere radiofrekvenser som kommer fra rommet. Mengden data som mottas og datakraften som brukes til å analysere en del av himmelen i en enkelt time, er imponerende. Hvis romvesen er der ute, er det veldig vanskelig å se dem. (Filmen Kontakt utforsker hva som kan skje hvis mennesker faktisk fanger opp et signal.)
• Meteorologi: Tenk på å forsøke å forutsi vær for kort sikt gitt det store antallet nødvendige tiltak, for eksempel temperatur, atmosfærisk trykk, fuktighet, vind og nedbør på forskjellige tidspunkter, steder og høyder. Værprognoser er egentlig et av de første problemene i store data og ganske relevant. Ifølge Weather Analytics, et selskap som leverer klima data, er mer enn 33 prosent av verdensomspennende bruttonasjonalprodukt (BNP) bestemt av hvordan værforholdene påvirker landbruk, fiske, turisme og transport, for bare å nevne noen. Dateres tilbake til 1950-tallet ble de første superdatamaskinene brukt til å knase så mye data som mulig fordi, i meteorologi, jo flere data, desto mer nøyaktige var prognosen. Det er derfor at alle samler mer lagrings- og prosesskapasitet, som du kan lese i denne historien om Koreansk Meteorologisk Forening for værprognoser og studie av klimaendringer.
• Fysikk: Vurder de store mengdene data produsert ved eksperimenter ved hjelp av partikkelakseleratorer i et forsøk på å bestemme strukturen av materie, rom og tid. For eksempel produserer Large Hadron Collider, den største partikkelakseleratoren som er opprettet, hvert år 15 pb (petabytes) data som følge av partikkelkollisjoner.
• Genomics: Sequencing en enkelt DNA-streng, som betyr å bestemme den nøyaktige rekkefølgen av de mange kombinasjonene av de fire basene - adenin, guanin, cytosin og tymin - som utgjør molekylets struktur, krever ganske mye av data.For eksempel kan et enkelt kromosom, en struktur som inneholder DNA i cellen, kreve fra 50 MB til 300 MB. Et menneske har 46 kromosomer, og DNA-dataene for bare én person bruker en hel DVD. Tenk deg den massive lagringen som kreves for å dokumentere DNA-data fra et stort antall mennesker eller å sekvensere andre livsformer på jorden.
• Oceanografi: På grunn av de mange sensorer som er plassert i havene for å måle temperatur, strøm, og ved hjelp av hydrofoner, til og med lyd for akustisk overvåkning for vitenskapelige formål (oppdage fisk, hvaler og plankton) og militære forsvarsformål (finne lurske ubåter fra andre land). Du kan få en snakk på dette gamle overvåkingsproblemet, som blir mer komplekst og digitalt.
• Satellitter: Opptak av bilder fra hele kloden og sending dem tilbake til jorden for å overvåke jordens overflate og atmosfæren er ikke en ny virksomhet (TIROS 1, den første satellitten som sender bilder og data tilbake, dateres tilbake til 1960). I løpet av årene har imidlertid verden lansert mer enn 1 400 aktive satellitter som gir jordobservasjon. Mengden data som kommer på jorden er forbløffende og tjener både militære (overvåkings-) og sivile formål, som sporing av økonomisk utvikling, overvåkning av landbruk og overvåking av endringer og risiko. En europeisk romfartss satellitt, Sentinel 1A, genererer 5PB data i løpet av to års drift.

Ved å følge disse eldre datatrenene, genereres eller overføres nye datamengder av Internett, skaper nye problemer og krever løsninger når det gjelder både datalagring og algoritmer for behandling:

• As rapportert av National Security Agency (NSA), mengden informasjon som flyter gjennom Internett hver dag fra hele verden utgjorde 1, 826PB data i 2013, og 1,6 prosent av det besto av e-post og telefonsamtaler. For å sikre nasjonal sikkerhet må NSA verifisere innholdet på minst 0. 025 prosent av alle e-postadresser og telefonsamtaler (på jakt etter nøkkelord som kan signalere noe som en terroristplot). Det beløper seg fortsatt til 25PB per år, noe som tilsvarer 37, 500 CD-ROMer hvert år med data lagret og analysert (og det vokser). Du kan lese hele historien.
• Ting for Internett (IoT) blir en realitet. Du har kanskje hørt begrepet mange ganger i løpet av de siste 15 årene, men nå vil veksten av ting som er koblet til Internett, eksplodere. Tanken er å sette sensorer og sendere på alt og bruke dataene til å bedre kontrollere hva som skjer i verden og å gjøre objekter smartere. Overføringsenheter blir tynnere, billigere og mindre strømkrevende; Noen er allerede så små at de kan settes overalt. (Se bare på den antikke radioen som er utviklet av Stanford ingeniører.) Eksperter anslår at i 2020 vil det være seks ganger så mange sammenhengende ting på jorden som det vil være mennesker, men mange forskningsbedrifter og tenketanker er allerede i gang med å se på disse figurene.