Administrere Big Data Resources og -programmer med Hadoop YARN - dummies

Jobplanlegging og sporing av store data er integrerte deler av Hadoop MapReduce og kan brukes til å administrere ressurser og applikasjoner. Tidlige versjoner av Hadoop støttet et rudimentært jobb- og oppgavesporingssystem, men som blandingen av arbeid støttet av Hadoop ble endret, kunne planleggeren ikke fortsette.

Spesielt kunne den gamle planleggeren ikke klare ikke-MapReduce-jobber, og det var ikke i stand til å optimalisere klyngebruk. Så en ny evne ble utformet for å løse disse manglene og tilby mer fleksibilitet, effektivitet og ytelse.

En annen ressursforhandler (YARN) er en kjernen Hadoop-tjeneste som gir to hovedtjenester:

• Global ressursadministrasjon (ResourceManager)

• Administrasjon av applikasjoner (ApplicationMaster)

ResourceManager er en mestertjeneste og kontroll NodeManager i hver av nodene til en Hadoop-klynge. Inkludert i ResourceManager er Scheduler, hvis eneste oppgave er å tildele systemressurser til bestemte løpende applikasjoner (oppgaver), men det overvåker eller sporer ikke programmets status.

All nødvendig systeminformasjon lagres i en ressursbeholder. Den inneholder detaljert CPU, disk, nettverk og andre viktige ressursattributter som er nødvendige for å kjøre applikasjoner på noden og i klyngen.

Hver node har en NodeManager slått til den globale ResourceManager i klyngen. NodeManager overvåker programmets bruk av CPU, disk, nettverk og minne og rapporterer tilbake til ResourceManager. For hvert program som kjører på noden, finnes det en tilsvarende ApplicationMaster.

Hvis flere ressurser er nødvendige for å støtte det kjørende programmet, informerer ApplicationMaster NodeManager og NodeManager forhandler med ResourceManager (Planlegger) for tilleggskapasiteten på vegne av programmet. NodeManager er også ansvarlig for å spore jobbstatus og fremgang innenfor noden sin.