Slave noder i Hadoop Clusters - dummies

I et Hadoop-univers er slave noder hvor Hadoop-data lagres og hvor databehandlingen foregår. Følgende tjenester gjør det mulig for slave noder å lagre og behandle data:

• NodeManager: Koordinerer ressursene for en individuell slave node og rapporterer tilbake til Resource Manager.

• ApplicationMaster: Sporer fremdriften av alle oppgavene som kjører på Hadoop-klyngen for et bestemt program. For hvert klientprogram utnytter ressursbehandleren en forekomst av ApplicationMaster-tjenesten i en beholder på en slave node. (Husk at en node som kjører NodeManager-tjenesten, er synlig for ressursbehandleren.)

• Container: En samling av alle ressursene som trengs for å kjøre individuelle oppgaver for en applikasjon. Når et program kjører på klyngen, planlegger ressursbehandler oppgaver for applikasjonen å kjøre som containertjenester på klyngens slave noder.

• TaskTracker: Administrerer det enkelte kart og reduserer oppgaver som utføres på en slave node for Hadoop 1-klynger. I Hadoop 2 er denne tjenesten utelatt og har blitt erstattet av YARN-tjenester.

• DataNode: En HDFS-tjeneste som gjør at NameNode kan lagre blokker på slave node.

• RegionServer: Lagrer data for HBase-systemet. I Hadoop 2 bruker HBase Hoya, som gjør at RegionServer-forekomster kan kjøres i containere.

  

Her kjører hver slave node alltid en DataNode-instans (som gjør det mulig for HDFS å lagre og hente datablokker på slaveknuten) og en NodeManager-forekomst (som gjør det mulig for ressursadministratoren å tildele applikasjonsoppgaver til slave node for behandling). Beholderprosessene er individuelle oppgaver for applikasjoner som kjører på klyngen.

Hver løpende applikasjon har en dedikert ApplicationMaster-oppgave, som også kjører i en container, og sporer utførelsen av alle oppgavene som utføres på klyngen til programmet er ferdig.

Med HBase på Hadoop 2 følger beholdermodellen fortsatt, som du kan se:

HBase på Hadoop 2 er initiert av Hoya Application Master, som krever containere til HMaster-tjenestene. (Du trenger flere HMaster-tjenester for redundans.) Hoya Application Master ber også ressurser for RegionServers, som også kjører i spesielle containere.

Følgende figur viser tjenestene som ble distribuert på Hadoop 1 slave noder.

For Hadoop 1 kjører hver slave node alltid en DataNode-forekomst (som gjør det mulig for HDFS å lagre og hente datablokker på slaveknuten) og en TaskTracker-forekomst (som gjør at JobTracker kan tildele kart og redusere oppgaver til slave node for behandling).

Slave noder har et fast antall kartspor og reduserer spor for utførelse av kart og reduserer oppgaver henholdsvis. Hvis klyngen din kjører HBase, må en rekke slave noder løpe en RegionServer-tjeneste. Jo flere data du lagrer i HBase, desto flere RegionServer-tilfeller trenger du.

Maskinvarekriteriene for slave noder er ganske forskjellige fra de for master noder; Faktisk samsvarer kriteriene ikke med de som finnes i tradisjonelle maskinvarereferansarkitekturer for dataservere. Mye av buzz rundt Hadoop skyldes bruken av varemerker i designkriteriene for Hadoop-klynger, men husk at varevare ikke refererer til maskinvare av forbrukergrad.

Hadoop slave noder krever fortsatt bedriftskvalitet, men i nedre enden av kostnadsspekteret, spesielt for lagring.