Video: Sporløs ferdsel 2025
Når det gjelder Sqoop, er et bilde ofte verdt tusen ord, så sjekk ut figuren, som gir deg et fugleperspektiv av Sqoop-arkitekturen.
Ideen bak Sqoop er at den utnytter kart oppgaver - oppgaver som utfører parallell import og eksport av relationsdatabase tabeller - rett fra Hadoop MapReduce-rammeverket. Dette er gode nyheter fordi MapReduce-rammen gir feiltoleranse for import og eksport jobber sammen med parallell behandling!
Du vil sette pris på feiltoleransen hvis det oppstår feil under en stor import eller eksport av et stort bord, fordi MapReduce-rammen vil gjenopprette uten at du må starte prosessen på nytt.
Sqoop kan importere data til Hive og HBase. Vær imidlertid oppmerksom på at pilene til Hive og HBase peker i bare én retning. Data lagret i en relasjonsdatabase med JDBC-støtte kan importeres direkte til Hive eller HBase-systemene med Sqoop. Eksportene utføres imidlertid fra data lagret i HDFS.
Derfor, hvis du trenger å eksportere Hive-tabellene, peker du på Sqoop til HDFS-kataloger som lagrer Hive-tabeller. Hvis du trenger å eksportere HBase-tabeller, må du først eksportere dem til HDFS og deretter utføre kommandoen Sqoop-eksport.
