Hjem Personlig finansiering Utvikle Oozie-arbeidsflyter i Hadoop

Utvikle Oozie-arbeidsflyter i Hadoop

Video: The Great Gildersleeve: The First Cold Snap / Appointed Water Commissioner / First Day on the Job 2025

Video: The Great Gildersleeve: The First Cold Snap / Appointed Water Commissioner / First Day on the Job 2025
Anonim

Oozie-arbeidsflyter er i sin kjerne rettede grafer, hvor du kan definere handlinger (Hadoop-applikasjoner) og dataflyt, men uten looping - noe som betyr at du kan ' t definere en struktur der du vil kjøre en bestemt operasjon om og om til en viss tilstand er oppfylt (for eksempel for en loop).

Oozie-arbeidsflyter er ganske fleksible, fordi du kan definere tilstandsbaserte avgjørelser og gaffelbaner for parallell utførelse. Du kan også utføre et bredt spekter av handlinger.

I denne figuren ser du en arbeidsflyt som viser de grunnleggende egenskapene til Oozie-arbeidsflyter. Først kjøres et gris-skript, og etterfølges umiddelbart av et beslutningstreet. Avhengig av utgangstilstanden kan kontrollstrømmen enten gå direkte til en HDFS (Hadoop Distributed File System) -filoperasjon (for eksempel en copyToLocal-operasjon) eller til en gaffel-handling.

Hvis kontrollflyten går til gaffel-handlingen, kjøres to jobber samtidig: en MapReduce-jobb og en Hive-spørring. Kontrollflyten går deretter til HDFS-operasjonen når både MapReduce-jobben og Hive-spørringen er ferdig å kjøre. Etter HDFS-operasjonen er arbeidsflyten fullført.

Oozie arbeidsflytdefinisjoner er skrevet i XML, basert på Hadoop Process Definition Language (hPDL) skjema. Dette bestemte skjemaet er i sin tur basert på XML Process Definition Language (XPDL) -skjemaet, som er en produktuavhengig standard for modellering av forretningsprosessdefinisjoner.

En Oozie-arbeidsflyt består av en rekke handlinger, som er kodet av XML-noder. Det finnes forskjellige typer noder, som representerer ulike typer handlinger eller styringsdirektiv. Hver Oozie-arbeidsflyt har sin egen XML-fil, hvor hver node og dens sammenkoblinger er definert.

Workflow noder alle krever unike identifikatorer fordi de er vant til å identifisere neste nod som skal behandles i arbeidsflyten. Dette betyr at rekkefølgen der handlingene utføres, avhenger av hvor en handlingsknute vises i arbeidsflyten XML. For å se hvordan dette konseptet ser ut, sjekk ut følgende liste, som viser et eksempel på grunnstrukturen i en Oozie-arbeidsflyts XML-fil.

… … "Dømt jobb."

I dette eksemplet har du to handlingskoder, bortsett fra start-, slutt- og døde noder. Hver handlingskode representerer et program eller en kommando som blir utført.

Utvikle Oozie-arbeidsflyter i Hadoop

Redaktørens valg

Hvordan du samler ressurser i Minecraft - dummies

Hvordan du samler ressurser i Minecraft - dummies

Du kan samle ressurser på flere måter for Minecraft-strukturen - noen er mer effektiv enn andre. Her finner du noen forskjellige måter å samle materialer på for din struktur. Du har et par forskjellige alternativer når det gjelder gruvedrift. Hver har sine fordeler og ulemper, så det er opp til ...

Hvordan bygge Minecraft-kretser og -maskiner med Minecart-spor - dummier

Hvordan bygge Minecraft-kretser og -maskiner med Minecart-spor - dummier

Minecart og skinner er Minecraft-funksjoner ofte brukt til å transportere spillere. Men de kan også utføre mange mekaniske egenskaper bedre enn de vanlige redstone-elementene. Minecarts er enheter som kan rulle raskt langs minecartskinner. De kan svinge, gå opp og ned skråninger, og til og med spore (selv om de lider mye ...

Hvordan bygge din første Minecraft Garden - dummies

Hvordan bygge din første Minecraft Garden - dummies

Se hvordan du oppretter en vakker hage i Minecraft ved å planlegge riktig layout, få en rekke unike planter, og organisere plass.

Redaktørens valg

Markedet ditt mobilnettsted til media - dummies

Markedet ditt mobilnettsted til media - dummies

IPhone og iPad er varme emner i media i disse dager. Når du er ferdig med å designe nettstedet ditt for disse nye medieenhetene, ikke glem å markedsføre dem til tradisjonelle medier. Tiltrekke medieoppmerksomhet til mobilwebområdet ditt er ikke i motsetning til å tiltrekke det til noen annen virksomhet. Trikset er å fortelle et godt ...

Gjør skannede dokumenter søkbare og redigerbare - dummies

Gjør skannede dokumenter søkbare og redigerbare - dummies

Når du skanner et dokument direkte til en PDF-fil, Acrobat fanger all tekst og grafikk på hver side som om de alle var bare ett stort grafisk bilde. Dette er bra så langt det går, bortsett fra at det ikke går veldig langt fordi du ikke kan redigere eller søke i PDF-dokumentet ...

Markedet med SMS-meldinger - dummies

Markedet med SMS-meldinger - dummies

Lengden på SMS- begrenset til 160 tegn, så reklamemeldingen din må være kort og søt. Disse meldingene kan inneholde lenker til nettsteder eller klikk for å ringe meldinger: Du klikker på SMS, slik at telefonen ringer. SMS-kampanjer er mye enklere å håndtere enn ...

Redaktørens valg

Rediger, endre farge eller fjern Photoshop Shape Layers - dummies

Rediger, endre farge eller fjern Photoshop Shape Layers - dummies

Bruk formlag i Photoshop Creative Suite 5 når målet med designet ditt er å integrere vektormodeller og pikseldata sømløst. Når du har opprettet et formlag, kan du redigere formen, endre fargen eller fjerne laget helt. Rediger en form Som Adobe Illustrator, gir Photoshop både et valg av sti ...

Oppdag Photoshops malerverktøy - dummies

Oppdag Photoshops malerverktøy - dummies

Ingenting i Photoshop CC gir deg mer presis kontroll over fargen i bildet ditt enn ved bruk av blyantpenningen verktøy med en 1-piks pensel. Husk at bildet ditt består av mange småfargede firkanter (piksler), og at fargen på de enkelte firkantene er det som gir utseendet til et tre eller et ...

Forbedre portretter i Photoshop CC - dummier

Forbedre portretter i Photoshop CC - dummier

Forbedre detaljer som å avklare motivets briller i Photoshop CC kan hjelpe bildene dine og portretter ser det mye bedre ut. Whitening tennene er et annet godt triks for å lyse opp bildene dine. Deklarende briller i Photoshop Eyeglasses kan være fotografens mareritt! Refleksjonene fra glass er vanligvis spekulative høydepunkter - det vil si områder av ren ...