Arkitekturen av Apache Hive - dummies

Når du undersøker elementene i Apache Hive vist, kan du se nederst at Hive sitter på toppen av Hadoop Distributed File System (HDFS) og MapReduce-systemer.

I tilfelle MapReduce viser figurene både Hadoop 1 og Hadoop 2 komponenter. Med Hadoop 1 konverteres Hive-spørringer til MapReduce-koden og utføres ved hjelp av MapReduce v1 (MRv1) -infrastrukturen, som JobTracker og TaskTracker.

Med Hadoop 2 har YARN avkoblet ressursforvaltning og planlegging fra MapReduce-rammen. Hiveforespørsler kan fortsatt konverteres til MapReduce-kode og kjøres, nå med MapReduce v2 (MRv2) og YARN-infrastrukturen.

Det er et nytt rammeverk under utvikling, kalt Apache Tez, som er utviklet for å forbedre Hive-ytelse for batch-stil-spørringer og støtte mindre interaktive (også kjent som sanntids ) spørringer. Apache Tez-prosjektet er i skrivende stund fortsatt i inkubasjon, og har ennå ikke en produksjonsklar utgivelse.

Hvis det hjelper deg med å visualisere hvordan alle delene passer sammen, tenk på HDFS og MapReduce-systemene som del av Apache Hadoop-operativsystemet, med Hive - samt andre komponenter, som for eksempel HBase - som høyere nivå funksjoner eller applikasjoner. (Du kan se et felles tema dukker opp: HDFS lager lagringen, og MapReduce gir parallell behandlingskapasitet for høyere nivåfunksjoner i Hadoop økosystemet.)

Flytt opp diagrammet, finner du Hive Driver, som kompilerer, optimaliserer og utfører HiveQL. Hive-driveren kan velge å utføre HiveQL-setninger og kommandoer lokalt eller gi en MapReduce-jobb, avhengig av oppgaven ved hånden. The Hive Driver lagrer tabellmetadata i metastoren og dens database.

Du har sannsynligvis noen kjennskap til SQL og relasjonsdatabase-modellen fra RDBMS-verdenen. En tabell eller relasjon består av vertikale kolonner og horisontale rader. Celler lagres der rader og kolonner skjærer. Hvis du ikke er kjent med SQL og relasjonsdatabasemodellen, kan du finne nyttige læringskilder ved hjelp av din favoritt søkemotor.

Som standard inkluderer Hive Apache Derby RDBMS konfigurert med metastoren i det som kalles innebygd modus. Embedded-modus betyr at Hive-driveren, metastoren og Apache Derby alle kjører i en Java Virtual Machine (JVM).

Denne konfigurasjonen er fin for læringsformål, men innebygd modus kan bare støtte en enkelt Hive-økt, slik at den vanligvis ikke brukes i flerbruksproduksjonsmiljøer.To andre moduser finnes - lokal og fjernkontroll - som bedre kan støtte flere Hive-økter i produksjonsmiljøer. Du kan også konfigurere eventuelle RDBMS som er kompatible med Java Database Connectivity (JDBC) Application Programming Interface (API) -serien. (Eksempler her inkluderer MySQL og DB2.)

Nøkkelen til applikasjonsstøtte er Hive Thrift Server, som gjør det mulig for et rikt sett med klienter å få tilgang til Hive-undersystemet. Open Source SQuirreL SQL-klienten er inkludert som et eksempel. Hovedpunktet er at enhver JDBC-kompatibel applikasjon kan få tilgang til Hive via den medfølgende JDBC-driveren.

Samme setning gjelder for klienter som er kompatible med ODBC (Open Database Connectivity) - for eksempel, unixODBC og isql-verktøyet, som vanligvis leveres sammen med Linux, gir tilgang til Hive fra eksterne Linux-klienter.

I tillegg, hvis du bruker Microsoft Excel, vil du gjerne vite at du kan få tilgang til Hive etter at du har installert Microsoft ODBC-driveren på klientsystemet. Til slutt, hvis du trenger å få tilgang til Hive fra andre programmeringsspråk enn Java (PHP eller Python, for eksempel), er Apache Thrift svaret. Apache Thrift klienter koble til Hive via Hive Thrift Server, akkurat som JDBC og ODBC klienter gjør.

For å fortsette med Hive arkitektur tegning, merk at Hive inkluderer et Command Line Interface (CLI), der du kan bruke et Linux-terminalvindu for å utstede spørringer og administrative kommandoer direkte til Hive Driver. Hvis en grafisk tilnærming er mer din hastighet, er det også et praktisk webgrensesnitt slik at du kan få tilgang til dine Hive-administrerte tabeller og data via din favoritt nettleser.

Det er en annen nettleserteknologi kjent som Hue som gir et grafisk brukergrensesnitt (GUI) til Apache Hive. Noen Hadoop-brukere liker å ha en GUI til disposisjon i stedet for bare et kommandolinjegrensesnitt (CLI). Sammen med Hive støtter Hue andre viktige Hadoop-teknologier, så vel som HDFS, MapReduce / YARN, HBase, Zookeeper, Oozie, Pig og Sqoop. Du vil like navnet på Hue's Apache Hive GUI - det kalles Beeswax.