Hadoop Administrasjonskommandoer - dummier

Del av Hadoop For Dummies Cheat Sheet

Enhver Hadoop-administrator som er verdt sitt salt, må mestre et omfattende sett med kommandoer for klusteradministrasjon. Følgende liste oppsummerer de viktigste kommandoene, noe som indikerer hva kommandoen gjør, så vel som syntaks og eksempler. Kjenn dem, og du vil gå langt langs veien til Hadops visdom.

• balanser : Kjører klyngebalanseringsverktøyet. Den angitte terskelverdien, som representerer en prosentandel av diskkapasitet, brukes til å overskrive standardgrenseverdien (10 prosent). For å stoppe rebalanseringsprosessen, trykk Ctrl + C.

  Syntax: hadoopbalancer [-terskel]

  Eksempel: hadoopbalancer -terskel 20

• daemonlog : Går eller setter loggnivået for hver demon (også kjent som en tjeneste). Kobler til // vert: port / logLevel? logg = navn og skriv ut eller angir lognivået på demonen som kjører på vert: port. Hadoop daemoner genererer loggfiler som hjelper deg med å finne ut hva som skjer på systemet, og du kan bruke kommandoen daemonlog til midlertidig å endre loggnivået til en Hadoop-komponent når du feilsøker systemet. Endringen blir effektiv når demonen starter på nytt.

  Syntaks: hadoop daemonlog -getlevel; hadoop daemonlog-setlevel

  Eksempel: hadoop daemonlog -getlevel 10. 250. 1. 15: 50030 org. apache. Hadoop. mapred. JobTracker; hadoop daemonlog-setlevel 10. 250. 1. 15: 50030 org. apache. Hadoop. mapred. JobTracker DEBUG

• datanode : Kjører HDFS DataNode-tjenesten, som koordinerer lagring på hver slave node. Hvis du spesifiserer-tilbakeringing, rulles DataNode tilbake til forrige versjon. Stopp DataNode og distribuere den tidligere Hadoop-versjonen før du bruker dette alternativet.

  Syntax: hadoop datanode [-rollback]

  Eksempel: hadoop datanode-rollback

• dfsadmin : Kjører et antall Hadoop distribuert fil System (HDFS) administrative operasjoner. Bruk alternativet -hjelp til å se en liste over alle støttede alternativer. De generiske alternativene er et vanlig sett med alternativer som støttes av flere kommandoer.

  Syntaks: hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | forlate | få | vent] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | detaljer | force] [-metasave filnavn] [-setQuota …] [-clrQuota …] [-restoreFailedStorage true | false | check] [-help [cmd]]

• mradmin : Kjører en rekke MapReduce administrative operasjoner. Bruk alternativet -hjelp til å se en liste over alle støttede alternativer.Igjen er de generiske alternativene et vanlig sett med alternativer som støttes av flere kommandoer. Hvis du spesifiserer -refreshServiceAcl, oppdaterer du autorisasjonspolitikkfilen på servicenivå (JobTracker oppdaterer autorisasjonspolitikkfilen); -refreshQueues gjenoppretter kø tilgangskontroll lister (ACLs) og state (JobTracker gjenoppretter mapred-køer. xml-fil); -refreshNodes oppdaterer vertsinformasjonen på JobTracker; -refreshUserToGroupsMappings oppdaterer bruker-til-grupper mappings; -refreshSuperUserGroupsConfiguration oppdaterer superuser proxy grupper mappings; og -hjelp [cmd] viser hjelp for den oppgitte kommandoen eller for alle kommandoer hvis ingen er spesifisert.

  Syntax: hadoop mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]]

  Eksempel: hadoop mradmin -help -refreshNodes

• jobtracker : Kjører MapReduce JobTracker-noden, som koordinerer datasystemet for Hadoop. Hvis du angir -dumpConfiguration, blir konfigurasjonen som brukes av JobTracker og køkonfigurasjonen i JSON-format, skrevet til standardutgang.

  Syntax: hadoop jobtracker [-dumpConfiguration]

  Eksempel: hadoop jobtracker -dumpConfiguration

• navneode : Kjører NameNode, som koordinerer lagring for hele Hadoop-klyngen. Hvis du spesifiserer -format, startes navnnoden, formateres og stoppes deretter; med -upgrade starter NameNode med oppgraderingsalternativet etter at en ny Hadoop-versjon er distribuert; med -rollback, rulles NameNode tilbake til forrige versjon (husk å stoppe klyngen og distribuere den tidligere Hadoop-versjonen før du bruker dette alternativet); med -finalisere, er forrige del av filsystemet fjernet, den nyeste oppgraderingen blir permanent, tilbakeringing er ikke lenger tilgjengelig, og NameNode er stoppet; Til slutt, med -importCheckpoint, er et bilde lastet fra kontrollpostkatalogen (som angitt av fs. kontrollpunkt. dir-egenskapen) og lagret i gjeldende katalog.

  Syntaks: hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalisere] | [-importCheckpoint]

  Eksempel: hadoop namenode -finaliser

• Sekundær navnekode : Kjører sekundær NameNode. Hvis du angir -checkpoint, utføres et kontrollpunkt på den sekundære NameNode hvis størrelsen på EditLog (en transaksjonslogg som registrerer hver endring som oppstår i filsystemmetadataene) er større enn eller lik fs. kontrollpunkt. størrelse; spesifiser -force og et kontrollpunkt utføres uavhengig av EditLog størrelse; spesifiser-spesifiser og EditLog-formatet skrives ut.

  Syntaks: hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]

  Eksempel: hadoop sekundærnavn -geteditsize

• tasktracker : Kjører en MapReduce TaskTracker-node.

  Syntax: hadoop tasktracker

  Eksempel: hadoop tasktracker