Video: Cryptocurrency - What Is It and How Does It Work? 2024
Som med ethvert distribuert system, kan nettverk lage eller ødelegge Hadoop-klyngen: Ikke "gå billig. "En stor snakker foregår mellom masterknutene og slavenoder i en Hadoop-klynge som er viktig for å holde klyngen i gang, slik at bedriftsklasse-brytere definitivt anbefales.
For hvert rack i klyngen din trenger du to to-rack (ToR) brytere, for både redundans og ytelse. Bruk 10GbE for ToR-brytere.
ToR-brytere er nettverksbrytere som forbinder alle datamaskinene i en rack sammen. Du ser vanligvis dem øverst på et rekkverk, og det er derfor folk sier "top-of-rack". "En alternativ nettverkstilnærming er å bruke end-of-row (EoR) brytere, men du ser ikke dette veldig ofte.
ToR-tilnærmingen er enklere fra et nettverksperspektiv for voksende klynger. For eksempel, legge til slave noder og ekstra rack er langt lettere med ToR-brytere enn EoR.
Når du har mer enn tre stativer, trenger du minst to kjernebrytere (igjen, primært for redundans, men også for ytelse). Disse kjernebryterne håndterer store mengder trafikk, så 40GbE er en nødvendighet.
Hvis du bygger eller utvider en klynge for å spore flere rack, engasjerer du nettverkseksperter som er kjent med Hadoop, fremtidige vekstplaner og arbeidsbelastning. Dårlig nettverk kan hardt hemme ytelsen, men det kan også gjøre fremtidig vekst smertefullt og kostbart.
