Slave noder i Hadoop Distributed File System (HDFS) - dummies

I en Hadoop-klyngen kjører hver datadode (også kjent som en slave node ) en bakgrunnsprosess kalt DataNode. Denne bakgrunnsprosessen (også kjent som en demonstrasjon ) holder oversikt over skivene data som systemet lagrer på sin datamaskin. Det snakker regelmessig til master-serveren for HDFS (kjent som navnetNode) for å rapportere om helsen og statusen til de lokalt lagrede dataene.

Datablokker lagres som råfiler i det lokale filsystemet. Fra et Hadoop-brukeres perspektiv har du ingen anelse om hvilken av slave noder som har brikkene av filen du trenger å behandle. Fra Hadoop ser du ikke datablokker eller hvordan de distribueres over klassen. Alt du ser er en liste over filer i HDFS.

Kompleksiteten til hvordan filblokkene fordeles over klassen er skjult for deg - du vet ikke hvor komplisert det er, og du trenger ikke til til vet. Faktisk vet slave noder seg ikke engang hva som ligger inne i datablokker de lagrer. Det er NameNode-serveren som kjenner mappings av hvilke datablokker komponere filene lagret i HDFS.

Bedre lever gjennom redundans

Et kjerneutformingsprinsipp for HDFS er konseptet om å minimere kostnadene for de enkelte slavenoder ved å bruke råvarekomponenter. For massivt skalerbare systemer, er denne ideen en fornuftig fordi kostnadene eskalerer raskt når du trenger hundrevis eller tusenvis av slave noder. Bruke billigere maskinvare har imidlertid en konsekvens, men at de enkelte komponentene ikke er like pålitelige som dyrere maskinvare.

Når du velger lagringsalternativer, bør du vurdere virkningen av å bruke råvarestasjoner i stedet for dyrere stasjonære enterprise-stasjoner. Tenk deg at du har en 750-nodeklynger, hvor hver node har 12 harddiskstasjoner dedikert til HDFS-lagring.

Basert på en årlig feilfrekvens (AFR) på 4 prosent for råvarediskstasjoner (en gitt harddisk har 4 prosent sannsynlighet for feil i et gitt år, med andre ord), vil klyngen din trolig oppleve en harddisk fiasko hver dag i året.

Fordi det kan være så mange slave noder, er deres svikt også en vanlig forekomst i større klynger med hundrevis eller flere noder. Med denne informasjonen i bakhodet har HDFS blitt konstruert på forutsetning av at alle maskinvarekomponenter, selv på slave node nivå, er upålitelige.

HDFS overstyrer upålitigheten til enkelte maskinvarekomponenter som redundans: Det er ideen bak de tre eksemplarene av hver fil lagret i HDFS, distribuert gjennom hele systemet.Mer spesifikt har hver filblokk lagret i HDFS totalt tre replikaer. Hvis ett system bryter med en bestemt filblokk du trenger, kan du vende deg til de andre to.

Skrive ut slave node server design

For å balansere slike viktige faktorer som total eierkostnad, lagringskapasitet og ytelse, må du nøye planlegge utformingen av slave noder.

Du ser vanligvis slave noder nå hvor hver knute typisk har mellom 12 og 16 lokalt tilkoblede 3TB harddiskstasjoner. Slave noder bruker moderat raske dual-socket CPUer med seks til åtte kjerner hver - ingen hastighet demoner, med andre ord. Dette er ledsaget av 48 GB RAM. Kort sagt, denne serveren er optimalisert for tett oppbevaring.

Fordi HDFS er et filsystem på bruker-plass-nivå, er det viktig å optimalisere det lokale filsystemet på slave noder for å jobbe med HDFS. I denne sammenhengen er en avgjørende beslutning når du konfigurerer serverne, å velge et filsystem for Linux-installasjonen på slave noder.

Ext3 er det mest brukte distribusjonssystemet fordi det har vært det mest stabile alternativet i flere år. Ta en titt på Ext4, men. Det er den neste versjonen av Ext3, og den har vært tilgjengelig lenge nok til å bli allment ansett som stabil og pålitelig.

Viktigere for vårt formål, har den en rekke optimaliseringer for håndtering av store filer, noe som gjør det til et ideelt valg for HDFS slave node servere.

Ikke bruk Linux Logical Volume Manager (LVM) - det representerer et ekstra lag mellom Linux-filsystemet og HDFS, som hindrer Hadoop fra å optimalisere ytelsen. Spesifikt samler LVM disker, som hindrer ressursadministrasjonen som HDFS og YARN, basert på hvordan filer distribueres på de fysiske stasjonene.