Gris latin i Hadops grisprogrammer - dummies

Pig Latin er språket for grisprogrammer. Pig oversetter gris latinskriptet til MapReduce-jobber som det kan utføres i Hadoop-klyngen. Når vi kom opp med gris latin, fulgte utviklingslaget tre hoveddesignprinsipper:

• Hold det enkelt . Pig Latin gir en strømlinjeformet metode for samhandling med Java MapReduce. Det er en abstraksjon, med andre ord, som forenkler opprettelsen av parallelle programmer på Hadoop-klyngen for datastrøm og analyse. Komplekse oppgaver kan kreve en rekke sammenhengende datatransformasjoner - slike serier er kodet som dataflyt-sekvenser.

  Skrive datatransformasjon og strømmer som Pig Latin-skript i stedet for Java MapReduce-programmer gjør disse programmene lettere å skrive, forstå og vedlikeholde fordi a) du ikke trenger å skrive jobben i Java, b) du trenger ikke å tenke i form av MapReduce, og c) du trenger ikke å komme opp med egendefinert kode for å støtte rike datatyper.

  Pig Latin gir et enklere språk for å utnytte Hadoop-klyngen, noe som gjør det lettere for flere mennesker å utnytte Hadops kraft og bli produktive tidligere.

• Gjør det smart. Du kan huske at Pig Latin Compiler gjør arbeidet med å transformere et gris latin-program til en serie av Java MapReduce-jobber. Trikset er å sørge for at kompilatoren kan optimalisere utførelsen av disse Java MapReduce-jobber automatisk, slik at brukeren kan fokusere på semantikk i stedet for hvordan man optimaliserer og får tilgang til dataene.

  For deg SQL-typer der ute, høres denne diskusjonen kjent. SQL er konfigurert som en deklarativ spørring som du bruker for å få tilgang til strukturerte data lagret i en RDBMS. RDBMS-motoren oversetter først spørringen til en datatilgangsmetode og ser deretter på statistikken og genererer en rekke tilgangsmetoder for datatilgang. Den kostnadsbaserte optimalisereren velger den mest effektive tilnærmingen for utførelse.

• Ikke begrense utviklingen. Gjør gris utvidbart slik at utviklere kan legge til funksjoner for å løse deres spesielle forretningsproblemer.

Tradisjonelle RDBMS datavarehus benytter ETL databehandlingsmønsteret, hvor du e xtract data fra eksterne kilder, t formler det for å passe til dine operasjonelle behov, og deretter > l oad det inn i sluttmålet, enten det er en operativ datalager, et datalager eller en annen variant av databasen. Med store data vil du imidlertid vanligvis redusere mengden data du har flyttet om, slik at du ender med å bringe behandlingen til dataene selv.

Språket for grisdatastrømmer passerer derfor den gamle ETL-tilnærmingen og går med ELT i stedet:

E xtract dataene fra dine ulike kilder, l oad det til HDFS, og deretter t formater det som nødvendig for å klargjøre dataene for videre analyse.