HBase MasterServer - dummies

Å starte en diskusjon av HBase (Hadoop Database) arkitektur ved å beskrive RegionServers i stedet for MasterServer kan overraske deg. Begrepet RegionServer synes å innebære at det avhenger av (og er sekundært til) MasterServer, og at du derfor bør diskutere MasterServer først. Som den gamle sangen går, skjønt, "er det ikke nødvendigvis slik. "

RegionServers er avhengige av MasterServer for visse funksjoner, men ikke i betydningen av et master-slave forhold for datalagring og gjenfinning. I øvre venstre hjørne av figuren merker du at klientene ikke peker på MasterServer, men peker i stedet for Zookeeper-klyngen og RegionServers.

MasterServer er ikke i veien for datalagring og tilgang - det er jobben hos Zookeeper-klyngen og RegionServers. Ta en titt på hovedfunksjonene til MasterServer, som også er en programvareprosess (eller daemon) som RegionServers. MasterServer er der til

• Overvåk RegionServers i HBase-klyngen: MasterServer opprettholder en liste over aktive RegionServers i HBase-klyngen.

• Håndtere metadataoperasjoner: Når en tabell opprettes eller dets attributter endres (komprimeringsinnstilling, hurtigbufferinnstillinger, versjonering og mer), håndterer MasterServer operasjonen og lagrer de nødvendige metadataene.

• Tilordne regioner: MasterServer tildeler regioner til RegionServers.

• Administrer RegionServer failover: Som med en distribuert klase, håper du at nodefeil ikke forekommer og du planlegger for dem uansett. Når områdeservere feiler, oppfordrer Zookeeper MasterServer, slik at failover og gjenopprettingsoperasjoner kan startes.

• Overvåk lastbalansering av regioner på tvers av alle tilgjengelige RegionServers: Du kan huske at tabeller består av regioner som er jevnt fordelt over alle tilgjengelige RegionServers. Dette er arbeidet til balancertråden (eller chore , hvis du foretrekker) som MasterServer aktiverer jevnlig.

• Administrer (og rengjør) katalogtabeller: To viktige katalogtabeller benyttes av HBase-systemet for å hjelpe en klient til å finne et bestemt nøkkelverdipar i systemet.

  MasterServer gir styring av disse kritiske tabellene på vegne av det generelle HBase-systemet.

• Slett WAL: MasterServer interagerer med WAL under RegionServer failover og renser periodisk loggene.

• Gi et samarbeidsprosessramme for å observere masteroperasjoner: Her er en annen ny term for din voksende HBase-ordliste. Coprocessors kjøres i forbindelse med MasterServer eller RegionServers. For eksempel lar en MasterServer-observatørkoprosessor deg forandre eller forlenge serverens normale funksjonalitet når operasjoner som tabelloppretting eller tabellgjenoppretting finner sted. Ofte koprosessorer brukes til å administrere tabellindekser for avanserte HBase-applikasjoner.

En koprosessor, som kjører i forbindelse med MasterServer og / eller RegionServer (eller begge), kan brukes til å forbedre sikkerheten, opprette sekundære indekser og mer. Du kan finne mer informasjon om kopprosessorer på en HBase-fellesskapsblogg.

Som med alle Hadoop-teknologier med åpen kildekode, vil MasterServer-operasjonene sannsynligvis endres over tid, ettersom ingeniører i samfunnet jobber med innovasjoner designet for å forbedre HBase. Etter denne skrivingen har du imidlertid en ganske grundig liste som fungerer som en referanse på høyt nivå for MasterServer.

Endelig et viktig poeng å gjøre om HBase MasterServer: Det kan og bør være en backup MasterServer i en hvilken som helst HBase-klynge. Det må bare være én aktiv MasterServer til enhver tid, så backup MasterServer er for failover.

Du kan huske at MasterServer ikke er i dataadgangsstien for HBase-klienter. Du kan imidlertid også huske at MasterServer er ansvarlig for handlinger som RegionServer failover og load balancing. Den gode nyheten er at klienter kan fortsette å spørre HBase-klyngen hvis mesteren går ned, men for normal klyngeoperasjoner, skal mesteren ikke forbli nede i lengre tid.