Hjem Personlig finansiering Utvikle Oozie-arbeidsflyter i Hadoop

Utvikle Oozie-arbeidsflyter i Hadoop

Video: The Great Gildersleeve: The First Cold Snap / Appointed Water Commissioner / First Day on the Job 2024

Video: The Great Gildersleeve: The First Cold Snap / Appointed Water Commissioner / First Day on the Job 2024
Anonim

Oozie-arbeidsflyter er i sin kjerne rettede grafer, hvor du kan definere handlinger (Hadoop-applikasjoner) og dataflyt, men uten looping - noe som betyr at du kan ' t definere en struktur der du vil kjøre en bestemt operasjon om og om til en viss tilstand er oppfylt (for eksempel for en loop).

Oozie-arbeidsflyter er ganske fleksible, fordi du kan definere tilstandsbaserte avgjørelser og gaffelbaner for parallell utførelse. Du kan også utføre et bredt spekter av handlinger.

I denne figuren ser du en arbeidsflyt som viser de grunnleggende egenskapene til Oozie-arbeidsflyter. Først kjøres et gris-skript, og etterfølges umiddelbart av et beslutningstreet. Avhengig av utgangstilstanden kan kontrollstrømmen enten gå direkte til en HDFS (Hadoop Distributed File System) -filoperasjon (for eksempel en copyToLocal-operasjon) eller til en gaffel-handling.

Hvis kontrollflyten går til gaffel-handlingen, kjøres to jobber samtidig: en MapReduce-jobb og en Hive-spørring. Kontrollflyten går deretter til HDFS-operasjonen når både MapReduce-jobben og Hive-spørringen er ferdig å kjøre. Etter HDFS-operasjonen er arbeidsflyten fullført.

Oozie arbeidsflytdefinisjoner er skrevet i XML, basert på Hadoop Process Definition Language (hPDL) skjema. Dette bestemte skjemaet er i sin tur basert på XML Process Definition Language (XPDL) -skjemaet, som er en produktuavhengig standard for modellering av forretningsprosessdefinisjoner.

En Oozie-arbeidsflyt består av en rekke handlinger, som er kodet av XML-noder. Det finnes forskjellige typer noder, som representerer ulike typer handlinger eller styringsdirektiv. Hver Oozie-arbeidsflyt har sin egen XML-fil, hvor hver node og dens sammenkoblinger er definert.

Workflow noder alle krever unike identifikatorer fordi de er vant til å identifisere neste nod som skal behandles i arbeidsflyten. Dette betyr at rekkefølgen der handlingene utføres, avhenger av hvor en handlingsknute vises i arbeidsflyten XML. For å se hvordan dette konseptet ser ut, sjekk ut følgende liste, som viser et eksempel på grunnstrukturen i en Oozie-arbeidsflyts XML-fil.

… … "Dømt jobb."

I dette eksemplet har du to handlingskoder, bortsett fra start-, slutt- og døde noder. Hver handlingskode representerer et program eller en kommando som blir utført.

Utvikle Oozie-arbeidsflyter i Hadoop

Redaktørens valg

Hvordan å stable og gruppereformer i Word 2013 - dummies

Hvordan å stable og gruppereformer i Word 2013 - dummies

Enkeltformer kan noen ganger være nyttige i en dokument, men den virkelige kraften til Word 2013's Shapes-funksjonen kan bli funnet ved å kombinere figurer for å lage mer komplekse tegninger og logoer. Du kan stable formene oppå hverandre og kontrollere rekkefølgen de vises i stakken. Når du har ...

Hvordan du angir punktavstand i Word 2013 - dummies

Hvordan du angir punktavstand i Word 2013 - dummies

Word 2013 lar deg legge til "luft" til plass før eller etter eller i midten av avsnittene dine. I midten av avsnittet har du linjeavstand. Før og etter avsnittet kommer punktavstand. Hvordan sette linjeavstanden Endre linjeavstanden legger til ekstra mellomrom mellom alle tekstlinjer ...

Slik starter du et nytt dokument i Word 2007 - dummies

Slik starter du et nytt dokument i Word 2007 - dummies

Starter et nytt dokument i Word 2007 er lett. Hvis du nettopp har startet Word 2007 og vil åpne et tomt dokument, kan du følge tre enkle trinn.

Redaktørens valg

Slik oppretter du en AWS Administrator User - Dummies

Slik oppretter du en AWS Administrator User - Dummies

Opprett Administrator-gruppen er det første trinnet for å sikre at din AWS (Amazon Web Services) -kontoen er fortsatt trygg. Det neste trinnet er å opprette en konto for deg selv og tilordne den til administratorgruppen, slik at du har full tilgang til de administrative funksjonene i din AWS-konto. Følgende trinn beskriver hvordan ...

Vurderer AWS-støttede plattformer - dummies

Vurderer AWS-støttede plattformer - dummies

Hvis du ikke har behandlet AWS eller skyen ennå, du kan være fristet til å tenke på plattformer som en bestemt kombinasjon av gjenstander. For eksempel, når du ser ditt eget lokale oppsett, har du en server som kjører et bestemt operativsystem og har et bestemt sett med maskinvareressurser. Systemet har en bestemt ...

Lage skuffer på Amazon Web Services - dummies

Lage skuffer på Amazon Web Services - dummies

Når du er den stolte eieren av Amazon Web Services (AWS ) konto, det er på tide å gjøre noe nyttig, som å lage en bøtte. Start med å sjekke ut dine S3-ressurser. For å gjøre det, klikk S3-lenken på startsiden for AWS Management Console, som vist her: Du er tatt til en side som lar deg administrere ...

Redaktørens valg

Slik bruker du Eye-Fi med Evernote-dummies

Slik bruker du Eye-Fi med Evernote-dummies

Et selskap kalt Eye-Fi gjør det mulig å Koble kameraet ditt med Evernote, selv uten å koble kameraet til datamaskinen. Følg disse trinnene for å bruke Eye-Fi: Følg instruksjonene som følger med Eye-Fi-kortet for å konfigurere en Eye-Fi-konto. Sett inn Eye-Fi-kortet i kameraet. Slå på kameraet ditt. ...

Hvordan man merker på Evernote for datamaskiner og tabletter - dummies

Hvordan man merker på Evernote for datamaskiner og tabletter - dummies

Hele poenget med å lagre nyttig informasjon er for å kunne finne den senere. Tagging i Evernote er fundamentalt lik for alle plattformer og er ekstremt nyttig når du dash om å prøve å skrive inn notater på hvilken enhet du bruker på den tiden. For å lage en tagg for et notat på en datamaskin eller ...