Distribuert Computing Basics for Big Data - dummies

Hvis bedriften vurderer et stort dataprosjekt, er det viktig at du forstår noen distribuerte databaser først. Det er ikke en enkelt distribuert datamodell fordi databehandlingsressurser kan distribueres på mange måter.

Du kan for eksempel distribuere et sett med programmer på samme fysiske server og bruke meldtjenester for å kunne kommunisere og sende informasjon. Det er også mulig å ha mange forskjellige systemer eller servere, hver med eget minne, som kan fungere sammen for å løse et problem.

Hvorfor distribuert databehandling er nødvendig for store data

Ikke alle problemer krever distribuert databehandling. Hvis en stor tidsbegrensning ikke eksisterer, kan kompleks behandling utføres via en spesialisert tjeneste eksternt. Når selskapene trengte å gjøre komplisert dataanalyse, ville IT flytte data til en ekstern tjeneste eller enhet der mange ressurser var tilgjengelige for behandling.

Det var ikke at selskaper ønsket å vente på å få de resultatene de trengte; det var bare ikke økonomisk mulig å kjøpe nok databehandlingsressurser til å håndtere disse nye kravene. I mange situasjoner vil organisasjoner bare fange utvalg av data i stedet for å prøve å fange all data på grunn av kostnader. Analytikerne ville ha alle dataene, men måtte avgjøre for øyeblikksbilder, i håp om å fange de riktige dataene til rett tid.

Viktige maskinvare- og programvare gjennombrudd revolusjonerte datahåndteringsindustrien. Først økte innovasjon og etterspørsel kraften og reduserte prisen på maskinvare. Ny programvare dukket opp som forsto hvordan du kan dra nytte av denne maskinvaren ved å automatisere prosesser som belastningsbalansering og optimalisering på tvers av en stor gruppe noder.

Programvaren inneholdt innebygde regler som forsto at visse arbeidsbelastninger krevde et visst ytelsesnivå. Programvaren behandlet alle noder som om de bare var ett stort basseng av databehandling, lagring og nettverk, og flyttet prosesser til en annen knutepunkt uten avbrudd hvis en knute feilet, ved hjelp av virtualiseringsteknologien.

Den endrede økonomien i databehandling og store data

Spol fremover og mye har endret seg. I løpet av de siste årene har kostnaden for å kjøpe databehandling og lagringsressurser redusert dramatisk. Hjulpet av virtualisering, vareservere som kunne bli klynget og blader som kunne kobles sammen på en rack, forandret økonomien i databehandling. Denne endringen sammenfalt med innovasjon i programvareautomatiseringsløsninger som dramatisk forbedret administrasjonen av disse systemene.

Muligheten til å utnytte distribuert databehandling og parallellbehandlingsteknikker dramatisk forvandlet landskapet og dramatisk redusere latens. Det er spesielle tilfeller, for eksempel High Frequency Trading (HFT), hvor lav latens kun kan oppnås ved å fysisk lokalisere servere på ett sted.

Problemet med latens for store data

En av de flerårige problemene med å håndtere data - spesielt store mengder data - har vært påvirkning av latens. Latency er forsinkelsen i et system basert på forsinkelser i utførelsen av en oppgave. Latency er et problem i alle aspekter av databehandling, inkludert kommunikasjon, datahåndtering, systemytelse og mer.

Hvis du noen gang har brukt en mobiltelefon, har du opplevd latens på forhånd. Det er forsinkelsen i overføringen mellom deg og din innringer. Til tider har latens liten innflytelse på kundetilfredshet, for eksempel hvis selskapene trenger å analysere resultater bak kulissene for å planlegge for en ny produktutgivelse. Dette krever sannsynligvis ikke øyeblikkelig respons eller tilgang.

Jo nærmere det svaret er hos en kunde på tidspunktet for avgjørelsen, desto mer er latensens betydning.

Distribuert databehandling og parallellbehandlingsteknikker kan gjøre en betydelig forskjell i latens erfarne kunder, leverandører og partnere. Mange store dataprogrammer er avhengige av lav ventetid på grunn av de store datakravene for hastighet og volum og variasjon av dataene.

Det kan ikke være mulig å konstruere en stor dataprogram i et miljø med høy latens hvis det er behov for høy ytelse. Behovet for å verifisere dataene i nær sanntid kan også påvirkes av latens. Når du arbeider med sanntidsdata, betyr et høyt nivå av latens forskjellen mellom suksess og fiasko.

Stor dataanalyse møter løsninger

Veksten av Internett som en plattform for alt fra handel til medisin forvandlet etterspørselen etter en ny generasjon datastyring. På slutten av 1990-tallet, motor og Internett-selskaper som Google, Yahoo!, og Amazon. com var i stand til å utvide sine forretningsmodeller, utnytte billig maskinvare for databehandling og lagring.

Deretter trengte disse selskapene en ny generasjon programvareteknologi som tillot dem å tjene penger på store mengder data de fanget fra kunder. Disse selskapene kunne ikke vente på resultater av analytisk behandling. De trengte evnen til å behandle og analysere disse dataene i nær sanntid.