Hva er Hadoop? - dummies

Hadoop er et åpen databehandlingsverktøy som ble utviklet av Apache Software Foundation. Hadoop er for øyeblikket go-to-programmet for å håndtere store mengder og varianter av data fordi den var designet for å gjøre storskala databehandling rimeligere og mer fleksibel. Ved ankomst av Hadoop har massedatabehandling blitt introdusert til betydelig flere mennesker og flere organisasjoner.

Hadoop kan tilby deg en flott løsning for å håndtere, behandle og gruppere massestrømmer av strukturerte, semi-strukturerte og ustrukturerte data. Ved å sette opp og distribuere Hadoop får du en relativt rimelig måte å begynne å bruke og tegne innsikt fra alle organisasjonens data, i stedet for å bare stole på det transaksjonsdatasettet du har satt over i et gammelt datalager et eller annet sted.

Hadoop er et av de mest populære programmene som er tilgjengelige for store databehandlingskrav. Hadoop tilbyr et kart-og-reduksjonslag som er i stand til å håndtere databehandlingskravene til de fleste store dataprosjekter.

Noen ganger blir dataene for store og raske for at Hadoop skal håndtere. I slike tilfeller vender organisasjoner seg til alternative, mer tilpassede MapReduce-distribusjoner i stedet.

Hadoop bruker klynger av råvarehardware for lagring av data. Maskinvare i hver klynge er koblet sammen, og denne maskinvaren består av vare servere - billigere, lavpresterende generiske servere som tilbyr kraftige databehandlingskapasiteter når de kjøres parallelt over en delt klynge. Disse vareserverne kalles også noder . Commoditized computing reduserer kostnadene ved håndtering og lagring av store data dramatisk.

En distribuert prosesseringsramme:

• Hadoop bruker Hadoop MapReduce som distribuert prosessramme. Igjen er et distribuert behandlingsramme et kraftig rammeverk der prosesseringsoppgaver fordeles over kluster av noder, slik at store datavolum kan behandles veldig raskt over hele systemet. Et distribuert filsystem:

• Hadoop bruker Hadoop Distributed File System (HDFS) som distribuert filsystem. Arbeidsbelastningene til applikasjoner som kjører på Hadoop er delt mellom nodene til Hadoop-klyngen, og deretter lagres produksjonen på HDFS. Hadoop-klyngen kan bestå av tusenvis av noder. For å holde kostnadene ved inngang / utgang (I / O) prosesser lave, utføres Hadoop MapReduce-jobber så nær dataene som mulig.

Dette betyr at prosessorene for å redusere oppgaver plasseres så nært som mulig til de utgående kartoppgavedataene som må behandles. Dette designet muliggjør deling av beregningsbehov i stor databehandling.

Hadoop støtter også hierarkisk organisasjon. Noen av knutepunktene er klassifisert som master noder, og andre er kategorisert som slaver. Mestertjenesten, kjent som

JobTracker , er designet for å styre flere slave-tjenester. Slave-tjenester (også kalt TaskTrackers ) distribueres til hver knute. JobTracker kontrollerer TaskTrackers og tildeler Hadoop MapReduce oppgaver til dem. I en nyere versjon av Hadoop, kjent som Hadoop 2, ble en ressursforvalter kalt Hadoop YARN lagt til. Med hensyn til MapReduce i Hadoop, fungerer YARN som et integrert system som utfører ressursforvaltning og planlegging.

Hadoop behandler data i batch. Derfor, hvis du jobber med sanntid, streamingdata, vil du ikke kunne bruke Hadoop til å håndtere dine store dataproblemer. Dette sagt, det er veldig nyttig for å løse mange andre typer store dataproblemer.