Sammenligner Hadoop Distributions - dummies

Du finner at Hadoop økosystem har mange komponenter, som alle eksisterer som egne Apache-prosjekter. Fordi Hadoop har vokst betraktelig, og står overfor noen betydelige ytterligere endringer, kan ulike versjoner av disse komponentene i åpen kildekode ikke være fullt kompatibel med andre komponenter. Dette gir betydelige vanskeligheter for folk som ønsker å få en uavhengig start med Hadoop ved å laste ned og kompilere prosjekter direkte fra Apache.

Red Hat er for mange mennesker en modell for hvordan man kan tjene penger på open source-programvaremarkedet. Hva Red Hat har gjort er å ta Linux (et open source-operativsystem), pakke alle nødvendige komponenter, bygge et enkelt installasjonsprogram, og gi betalt støtte til alle kunder.

På samme måte som Red Hat har gitt en praktisk pakke for Linux, har flere selskaper samlet Hadoop og noen relaterte teknologier i sine egne Hadoop-distribusjoner. Denne listen beskriver de mer fremtredende:

• Cloudera : Kanskje den mest kjente spilleren i feltet, Cloudera kan hevde Doug Cutting, Hadops medstifter, som sin sjefsarkitekt. Cloudera er sett av mange mennesker som markedsleder i Hadoop-rommet fordi det utgav den første kommersielle Hadoop-distribusjonen, og det er en svært aktiv bidragsyter til kode til Hadoop økosystem.

  Cloudera Enterprise, et produkt plassert av Cloudera i sentrum av det det kaller "Enterprise Data Hub", inkluderer Cloudera Distribution for Hadoop (CDH), en åpen kildebasert distribusjon av Hadoop og tilhørende prosjekter som sin proprietære Cloudera Manager. Inkludert er også et teknisk supportabonnement for kjerneelementene til CDH.

  Clouderaas primære forretningsmodell har lenge vært basert på sin evne til å utnytte sin populære CDH-distribusjon og gi betalt tjenester og support. I høsten 2013 annonserte Cloudera formelt at den fokuserer på å legge til proprietære verdiskapende komponenter på toppen av open source Hadoop for å fungere som differensier.

  Cloudera har også gjort det vanlig å akselerere adopsjon av alfa- og beta-nivå åpen kildekode for de nyere Hadoop-utgivelsene. Dens tilnærming er å ta komponenter som den anser å være modne og ombygge dem til eksisterende produksjonsberedte open source-biblioteker som inngår i distribusjonen.

• EMC : Pivotal HD, Apache Hadoop-distribusjonen fra EMC, integrerer integrert EMCs massiv parallellbehandling (MPP) database teknologi (tidligere kjent som Greenplum, og nå kjent som HAWQ) med Apache Hadoop.Resultatet er en høy ytelse Hadoop-distribusjon med sann SQL-behandling for Hadoop. SQL-baserte spørringer og andre virksomhetsinformasjonsverktøy kan brukes til å analysere data som er lagret i HDFS.

• Hortonworks : En annen stor aktør på Hadoop-markedet, Hortonworks har det største antallet kommittere og kodesubsidenter for Hadoop økosystemkomponenter. (Committers er portvaktene til Apache-prosjekter og har makten til å godkjenne kodeendringer.)

  Hortonworks er et spin-off fra Yahoo!, som var den originale bedriftsdriveren til Hadoop-prosjektet, fordi det trengte en stor plattform for å støtte sin søkemotorvirksomhet. Av alle Hadoop-distributørleverandørene er Hortonworks mest engasjert i open source-bevegelsen, basert på det store volumet av utviklingsarbeidet som det bidrar til samfunnet, og fordi all sin utviklingsarbeid er (til slutt) brettet inn i åpen kildekoden.

  Hortonworks forretningsmodell er basert på sin evne til å utnytte sin populære HDP-distribusjon og tilby betalte tjenester og support. Det selger imidlertid ikke proprietær programvare. I stedet støtter selskapet entusiastisk ideen om å jobbe innenfor åpen kildekode-fellesskap for å utvikle løsninger som tilfredsstiller bedriftens egenskaper krav (for eksempel raskere prosessbehandling med Hive).

  Hortonworks har smittet en rekke relasjoner med etablerte selskaper i datahåndteringsbransjen: Teradata, Microsoft, Informatica og SAS, for eksempel. Selv om disse selskapene ikke har egne Hadoop-tilbud, samarbeider de med Hortonworks for å tilby integrerte Hadoop-løsninger med egne produktsett.

  Hortonworks Hadoop-tilbudet er Hortonworks Data Platform (HDP), som inkluderer Hadoop, samt relatert verktøy og prosjekter. I motsetning til Cloudera utgiver Hortonworks bare HDP-versjoner med produksjonsnivåkoden fra open source-fellesskapet.

• IBM : Big Blue tilbyr et utvalg av Hadoop-tilbud, med fokus rundt verdiskapning på toppen av Hadoop-stacken med åpen kildekode.

• Intel: Intel Distribution for Apache Hadoop (Intel Distribution) gir distribuert behandling og datastyring for bedriftsapplikasjoner som analyserer store data.

  Viktige funksjoner inkluderer utmerket ytelse med optimaliseringer for Intel Xeon-prosessorer, Intel SSD-lagring og Intel 10GbE-nettverk; datasikkerhet via kryptering og dekryptering i HDFS, og rollebasert tilgangskontroll med cellenivågranularitet i HBase; forbedret Hive query ytelse; Støtte for statistisk analyse med en kontakt for R, den populære open source statistiske pakken; og analytisk grafikk gjennom Intel Graph Builder.

• MapR : For en komplett distribusjon for Apache Hadoop og relaterte prosjekter som er uavhengig av Apache Software Foundation, kan du ikke lete lenger enn MapR. Med ingen Java-avhengigheter eller avhengighet av Linux-filsystemet, blir MapR fremmet som den eneste Hadoop-distribusjonen som gir full databeskyttelse, ingen enkelt feilfeil og betydelige brukervennlige fordeler.

  Tre MapR-utgaver er tilgjengelige: M3, M5 og M7. M3 Edition er gratis og tilgjengelig for ubegrenset produksjonsbruk; MapR M5 er et mellomstasjons abonnementsprogramvare; og MapR M7 er en komplett distribusjon for Apache Hadoop og HBase som inkluderer Pig, Hive, Sqoop, og mye mer.