Innholdsfortegnelse:
Edge noder er grensesnittet mellom Hadoop-klyngen og det eksterne nettverket. Av denne grunn blir de noen ganger referert til som gateway noder. Vanligvis brukes kantnoder til å kjøre klientprogrammer og verktøy for administrasjon av klynger.
De blir også ofte brukt som mellomrom for data som overføres til Hadoop-klyngen. Som sådan kjører Oozie, Pig, Sqoop og ledelsesverktøy som Hue og Ambari godt der. Figuren viser prosessene du kan kjøre på Edge noder.
Edge noder overses ofte i Hadoop hardware arkitektur diskusjoner. Denne situasjonen er uheldig fordi kantennoder tjener et viktig formål i en Hadoop-klynge, og de har maskinvarekrav som er forskjellige fra masternoder og slaveknuter.
Generelt er det en god ide å minimere distribusjon av administrasjonsverktøy på master noder og slave noder for å sikre at kritiske Hadoop-tjenester som NameNode har så lite konkurranse om ressurser som mulig.
Du bør unngå å plassere et dataoverføringsverktøy som Sqoop på annet enn en kantenavn, da de høye dataoverføringsvolumene kan risikere Hadops tjenester på samme knutepunkt for å kommunisere. Meldingene Hadoop-utveksling er deres livsnerven, så høy latens betyr at hele knutepunktet kan bli avskåret fra klyngen.
Figuren viser to kantnoder, men for mange Hadoop-klynger ville en enkelt kantenavn være tilstrekkelig. Ekstra kantennoder er mest nødvendig når volumet av data som overføres inn i eller ut av klyngen, er for mye for en enkelt server å håndtere.
Anbefalt lagring
For kantknutepunkter i Hadoop-klyngen, bruk oppbevaring av bedriftsklasser. For kantnoder fokusert på administrasjonsverktøy og løpende klientprogrammer, bruk fire 900 GB SAS-stasjoner, sammen med en RAID HDD-kontroller konfigurert for RAID 1 + 0.
Kantnoder som er orientert for inntak av data, har åpenbart behov for mye mer lagringsplass, slik at du kan legge til stasjoner til kantenummeret. I dette tilfellet bruker du LFF SAS-stasjoner fordi mye høyere kapasitet er tilgjengelig, sammenlignet med mindre formfaktor SAS-stasjoner.
Anbefalte prosessorer
En generell brukerkantknutepunkt ville være godt betjent av en prosessorkonfigurasjon som ligner en som brukes til slave noder - spesielt en dual-socket-server med Ivy Bridge-prosessorer klokka ved mellom 2 og 2. 5GHz.
Anbefalt minne
For de fleste arbeidsbelastningene på kantnoder er 48 GB RAM tilstrekkelig.
Anbefalt nettverk
For å muliggjøre kommunikasjon mellom det utvendige nettverket og Hadoop-klyngen, må kantnoder være multi-homed i det private undernettverket til Hadoop-klyngen, så vel som i bedriftsnettverket.
En multi-homed datamaskin er en som har dedikerte forbindelser til flere nettverk. Dette er en praktisk illustrasjon av hvorfor kantennoder passer perfekt til samspill med verden utenfor Hadoop-klyngen. Å holde Hadoop-klyngen i sitt eget private undernett er en utmerket praksis, slik at disse kantnoderne tjener som et kontrollert vindu inne i klyngen.
For kantknutepunkter som tjener formålet med å kjøre klientprogrammer eller administrasjonsverktøy, anbefales to par sammenbundne 1GbE-nettverkstilkoblinger: ett par til å koble til Hadoop-klyngen og et annet par for det eksterne nettverket. Edge noder som er orientert for å håndtere høye innkommende og utgående dataoverføringshastigheter, trenger to (eller flere) par med 10GbE nettverkskoblinger: ett par for å koble til Hadoop-klyngen og et annet par for utendørsnettverket eller bestemte datainntakskilder.
