Video: hadoop yarn architecture 2024
YARN, for de som bare kommer til denne bestemt fest, står for enda en ressursforhandler, et verktøy som gjør det mulig for andre databehandlingsrammer å kjøre på Hadoop. YARNs herlighet er at den presenterer Hadoop med en elegant løsning på en rekke langvarige utfordringer.
YARN er ment å gi en mer effektiv og fleksibel arbeidsbelastning planlegging, samt et ressursforvaltning anlegg, som begge vil i siste instans muliggjøre Hadoop å kjøre mer enn bare MapReduce jobber.
Figuren viser generelt hvordan YARN passer inn i Hadoop, og viser også hvordan det har gjort det mulig for Hadoop å bli en virkelig generell plattform for databehandling. Følgende liste gir teksten til melodien:
-
Distribuert lagring: Ingenting har endret seg her med skiftet fra MapReduce til YARN - HDFS er fortsatt lagringslaget for Hadoop.
-
Ressurshåndtering: Nøkkelen til det bakliggende konseptet i skiftet til YARN fra Hadoop 1 er å koble ressurshåndteringen fra databehandling. Dette gjør at YARN kan gi ressurser til alle behandlingsrammer skrevet for Hadoop, inkludert MapReduce.
-
Behandlingsramme: Fordi YARN er en generell ressursforvaltning, kan den tildele klyngressurser til alle databehandlingsrammer skrevet for Hadoop. Behandlingsrammen håndterer deretter applikasjons kjøretidsproblemer.
For å opprettholde kompatibilitet for all koden som ble utviklet for Hadoop 1, fungerer MapReduce som det første rammeverket som er tilgjengelig for bruk på YARN. På dette tidspunktet var Apache Tez-prosjektet et inkubatorprosjekt i utvikling som et alternativt rammeverk for utførelse av Pig and Hive-applikasjoner. Tez vil trolig dukke opp som en standard Hadoop-konfigurasjon.
-
Programmeringsgrensesnitt (API): Med støtte for ytterligere behandlingsrammer vil støtte for flere APIer komme. På tidspunktet for denne skrivingen er Apache Storm (for datastrømbehandling) i Hoya (for å kjøre HBase on YARN), Apache Giraph (for grafbehandling), Open MPI (for melding som passerer parallelle systemer), i aktiv utvikling.
