Hjem Personlig finansiering Hadoop-dummiernes opprinnelse og design <[SET:descriptionno]Hadoop

Hadoop-dummiernes opprinnelse og design <[SET:descriptionno]Hadoop

Anonim

Så hva er dette med det morsomme navnet Hadoop? I kjerne er Hadoop et rammeverk for lagring av data på store klynger av < Commodity -hardware - daglig datamaskinhardware som er rimelig og lett tilgjengelig - og kjører applikasjoner mot dataene. En klynge er en gruppe sammenkoblede datamaskiner (kjent som noder ) som kan fungere sammen om det samme problemet.

Bruk av nettverk av rimelige beregningsressurser for å skaffe seg forretningsmessig innsikt, er Hadops nøkkelverdier.

Som for det navnet Hadoop, ikke se etter noen stor betydning der, det er bare navnet Doug Cutting sønn ga til sin utstoppede elefant. (Doug Cutting er selvfølgelig medskaperen til Hadoop.) Navnet er unikt og lett å huske - Egenskaper som gjorde det til et godt valg.

Hadoop består av to hovedkomponenter: en distribuert prosessramme kalt MapReduce (som nå støttes av en komponent som heter YARN) og et distribuert filsystem kjent som Hadoop distribuert filsystem eller HDFS.

En applikasjon som kjører på Hadoop får sitt arbeid delt mellom noder (maskiner) i klyngen, og HDFS lagrer dataene som skal behandles. En Hadoop-klynge kan spanne tusenvis av maskiner, hvor HDFS lagrer data, og MapReduce-jobber gjør behandlingen i nærheten av dataene, noe som holder I / O-kostnadene lave. MapReduce er ekstremt fleksibel og muliggjør utvikling av et bredt utvalg av applikasjoner.

Som du kanskje har antatt, er en Hadoop-klynge en form for

beregne klynge, en type klynge som hovedsakelig brukes til beregningsformål. I en beregningsklynger kan mange datamaskiner ( beregne noder ) dele beregningsarbeidbelastninger og dra nytte av en meget stor samlet båndbredde over hele klyngen. Hadoop-klynger består vanligvis av noen få

master noder, som styrer lagrings- og behandlingssystemene i Hadoop, og mange slave noder, som lagrer alle klyngens data og er også der dataene blir behandlet.

Hadoop-dummiernes opprinnelse og design <[SET:descriptionno]Hadoop

Redaktørens valg

Speil Lockup (MUP) på Nikon D7100-dummies

Speil Lockup (MUP) på Nikon D7100-dummies

En komponent i det optiske systemet til din Nikon D7100 kamera er et speil som beveger seg hver gang du trykker på lukkerknappen. Den lille vibrasjonen som følge av speilets handling kan føre til svak utryddelse av bildet når du bruker en veldig langsom lukkerhastighet, skyter med en lang teleobjektiv, ...

Opptaksmuligheter på Nikon D5300 - dummies

Opptaksmuligheter på Nikon D5300 - dummies

Du kan styre noen få aspekter av din filmoppgave på din Nikon D5300. Du kan manipulere videoen din for å skape en rekke effekter. Følgende liste går gjennom disse alternativene: Eksponeringsmodus: Du kan ta opp filmer i hvilken som helst eksponeringsmodus (Auto, Scenemodus, Effektmodus, P, M, og så videre). Som med fortsatt ...

Hvordan man manipulerer eksponering og kontroll på Nikon D5600-dummies

Hvordan man manipulerer eksponering og kontroll på Nikon D5600-dummies

Følgende retusjonsverktøy på din Nikon D5600 kamerajustering eksponering og farge: D-Lighting, Quick Retouch, Filter Effects og Monochrome. Selv om disse verktøyene ikke får deg til å velge ett kamera over en annen, hvis du allerede har en Nikon D5600, er de tilgjengelige, så du kan også lære å bruke dem! D-Lighting: Active D-Lighting ...

Redaktørens valg

DOs og DON'Ts of Fantasy Basketball Draft Picks - dummies

DOs og DON'Ts of Fantasy Basketball Draft Picks - dummies

Hvis du vurderer bli med i en fantasy basketball liga, må du ta hensyn til følgende DOs og DON'Ts før du vurderer spillerne du vil utarbeide på laget ditt. Kreditt: © iStockphoto. com / IS_ImageSource Fantasy basketball draft pick DOS I de fleste fantasy basketball ligaer bestemmer kommisjonen (personen som setter opp ligaen) bestillingen i ...

Linjene og dimensjonene til en basketballbane - dummies

Linjene og dimensjonene til en basketballbane - dummies

En basketballbane har symmetri; Den ene halvdelen av retten er et speilbilde av den andre. Hele basketballbanen (se figur 1) er 94 fot med 50 fot. På hver halvplass viser malte linjer fritt korsbanen og sirkelen, samt trepunktsbuen, hvis avstand fra kurven varierer basert ...

Kjøp av gratis agenter i fantasy fotball - dummies

Kjøp av gratis agenter i fantasy fotball - dummies

I løpet av fantasy fotball sesongen, spillere som ikke blir utarbeidet bli gratis agenter - spillere tilgjengelig for enhver ligamatch villig til å slippe en eid spiller. Bruk gratis agentbassenget til å erstatte en skadet spiller eller noen som bare ikke lever opp til dine forventninger. Bruk disse tipsene for å finne en gratis agent for å ...

Redaktørens valg

Grunnleggende for din iOS-app - dummies

Grunnleggende for din iOS-app - dummies

Heldigvis mesteparten av det du trenger å gjøre så langt som iOS animasjon er opptatt er allerede bygd inn i rammen. Noen visningsegenskaper kan animeres, noe som betyr at du bare må fortelle visningen hvor du skal begynne og hvor du skal avslutte flyttingen, og noen få andre valgfrie parametere, og du er ferdig. ...

Montering av verktøylinjen for Android App Development - dummies

Montering av verktøylinjen for Android App Development - dummies

Når du vet at du er klar til være en Android-utvikler, ta tak i datamaskinen din og få sprekker på å installere verktøyene og rammene som er nødvendige for å bygge ditt første blockbuster-program. Linux-kjernen Android ble opprettet på toppen av åpen kildekode Linux-kjernen. Android-teamet valgte å bruke denne kjernen fordi den ga bevist ...

Grunnleggende om Cocoa Touch i iOS Apps - dummies

Grunnleggende om Cocoa Touch i iOS Apps - dummies

Cocoa Touch-laget inneholder det meste av objektet -orientert utvikler-vendt rammer for å bygge iOS applikasjoner. Det er ditt eneste utgangspunkt for app-utvikling. Apple-guiderne oppfordrer deg til å undersøke teknologiene i dette laget for å se om de oppfyller dine behov, før du ser på de andre lagene. Med andre ord, Apple har til hensikt å ...