Master nodene i Hadoop Clusters - dummies

Masterknutene i distribuerte Hadoop-klynger er vert for de ulike lagrings- og behandlingsadministrasjonstjenestene, beskrevet i denne listen, for hele Hadoop-klyngen. Redundans er avgjørende for å unngå enkle sviktpunkter, slik at du ser to brytere og tre hovedknutepunkter.

• NameNode: Hanterer HDFS-lagring. For å sikre høy tilgjengelighet, har du både en aktiv NameNode og en standby NameNode. Hver kjører på egen hånd, dedikert mesterknutepunkt.

• Kontrollpunktskode (eller sikkerhetskode): Gir kontrollpunkt tjenester for NameNode. Dette innebærer at du leser NameNodes redigeringslogg for endringer i filer i HDFS (nye, slettede og vedlagte filer) siden siste kontrollpunkt, og bruker dem til NameNode-hovedfilen som kartlegger filer til datablokker.

  I tillegg holder Backup Node en kopi av filsystemnavnet i minnet og holder det synkronisert med tilstanden til NameNode. For høy tilgjengelighet distribusjoner, ikke bruk en kontrollpunkt node eller backup node - bruk en Standby NameNode i stedet. I tillegg til å være en aktiv ventemodus for NameNode opprettholder Standby NameNode kontrollpunkttjenestene og holder en oppdatert kopi av filsystemnavnet i minnet.

• JournalNode: Mottar endringer i loggmodifikasjoner som indikerer endringer i filer i HDFS fra NameNode. Minst tre JournalNode-tjenester (og det er alltid et oddetall) må løpe i en klynge, og de er lette nok til at de kan samles med andre tjenester på master noder.

• Ressursbehandling: Overvåker planleggingen av applikasjonsoppgaver og styring av Hadoop-klyngens ressurser. Denne tjenesten er hjertet av Garn.

• JobTracker: For Hadoop 1-servere, håndterer cluster ressursstyring og planlegging. Med YARN er JobTracker foreldet og ikke brukt. En rekke Hadoop-distribusjoner har fortsatt ikke migrert til Hadoop 2 og YARN.

• HMaster: Overvåker HBase-regionens servere og håndterer alle metadataendringer. For å sikre høy tilgjengelighet, sørg for å bruke et andre HMaster-eksempel. HMaster-tjenesten er lett nok til å være colocated med andre tjenester på master noder. I Hadoop 1 kjører forekomster av HMaster-tjenesten på master noder. I Hadoop 2, med Hoya (HBase on Garn), går HMaster-forekomster inn i beholdere på slave noder.

• Zookeeper: Koordinerer distribuerte komponenter og gir mekanismer for å holde dem synkronisert. Zookeeper brukes til å oppdage feilen i NameNode og velge en ny NameNode.Det brukes også med HBase til å håndtere tilstandene til HMaster og RegionServers.

  Som med JournalNode, trenger du minst tre forekomster av Zookeeper-noder (og alltid et merkelig tall), og de er lette nok til å være colocated med andre tjenester på masternoder.

  

Her har du tre master noder (med samme maskinvare), hvor nøkkeltjenestene Active NameNode, Standby NameNode og Resource Manager hver har sin egen server. Det er også JournalNode og Zookeeper-tjenester som kjører på hver server, men disse er lette og vil ikke være en kilde til ressursforstyrrelser med NameNode og Resource Manager-tjenestene.

Prinsippene er de samme for Hadoop 1, der du trenger en dedikert hovedknutepunkt for NameNode, Secondary NameNode og JobTracker-tjenestene.

Hvis du planlegger å bruke HBase med Hoya i Hadoop 2, trenger du ikke noen ekstra tjenester. For Hadoop 1-distribusjoner ved hjelp av HBase, sjekk ut følgende figur for distribusjon av tjenester på Hadoop-klyngens hovedknutepunkter.

Det er to forskjeller når man sammenligner disse master-serverne med Hadoop 1-mesterservere uten HBase-støtte: her trenger du to HMaster-tjenester (en til å koordinere HBase og en til å fungere som standby) og Zookeeper-tjenester på alle tre master noder å håndtere failover.

Hvis du har tenkt å bruke Hadoop 1-klyngen din bare for HBase, kan du gjøre det uten JobTracker-tjenesten, siden HBase ikke er avhengig av Hadoop 1 MapReduce-infrastrukturen.

Når folk snakker om maskinvare til Hadoop, legger de generelt vekt på bruk av vare komponenter - de rimelige. Fordi du må plunke ned for bare noen få masternoder (vanligvis tre eller fire), blir du ikke rammet ved å multiplisere kostnader hvis du for eksempel velger å bruke dyre harddiskstasjoner.

Vær oppmerksom på at det ikke finnes noen Hadoop-klynger uten masterknuter. Master noder tjener en misjonskritisk funksjon, og selv om du trenger redundans, bør du designe dem med høy tilgjengelighet og fleksibilitet i tankene.

Anbefalt lagring

For Hadoop master noder, uavhengig av antall slave noder eller bruk av klyngen, er lagringsegenskapene konsistente. Bruk fire 900 GB SAS-stasjoner, sammen med en RAID HDD-kontroller konfigurert for RAID 1 + 0. SAS-stasjoner er dyrere enn SATA-stasjoner, og har lavere lagringskapasitet, men de er raskere og mye mer pålitelige.

Implementering av SAS-stasjonene dine som RAID-array sikrer at Hadoop-styringstjenestene har en overflødig butikk for deres misjonskritiske data. Dette gir deg nok stabil, rask og overflødig lagring for å støtte styringen av Hadoop-klyngen.

Anbefalte prosessorer

På tidspunktet for denne skrivelsen, anbefaler de fleste referansearteritekturer bruk av hovedkort med to CPU-uttak, hver med seks eller åtte kjerner. Intel Ivy Bridge arkitekturen er ofte brukt.

Anbefalt minne

Minnekravene varierer betydelig, avhengig av omfanget av en Hadoop-klynge.Minne er en kritisk faktor for Hadoop-master noder fordi de aktive og standby-NameNode-serverne stole tungt på RAM for å administrere HDFS. Som sådan, bruk feilkorrigerende minne (ECC) for Hadoop master noder. Vanligvis trenger master noder mellom 64 GB og 128 GB RAM.

Minnekortet NameNode er en direkte funksjon av antall filblokker lagret i HDFS. Som regel bruker NameNode omtrent 1 GB RAM per million HDFS-blokker. (Husk at filene er delt inn i individuelle blokker og kopiert slik at du har tre kopier av hver blokk.)

Minnekravene til Resource Manager, HMaster, Zookeeper og JournalNode servere er betydelig mindre enn for NameNode-serveren. Det er imidlertid god praksis å måle master noder på en konsekvent måte slik at de kan byttes ut i tilfelle maskinvarefeil.

Anbefalt nettverk

Hurtig kommunikasjon er viktig for tjenestene på master noder, så vi anbefaler at du bruker et par koblede 10GbE-tilkoblinger. Dette bundne paret gir redundans, men dobler også gjennomgang til 20GbE. For mindre klynger (for eksempel mindre enn 50 noder) kan du komme unna med 1 GbE-kontakter.