Grafbehandling i Hadoop - dummies

En av de mer spennende nye NoSQL-teknologiene innebærer lagring og behandling av grafdata. Du kan kanskje tro at denne utsagnet er gammelt, fordi datavitenskapere har utviklet grafanalyseteknikker i flere tiår. Det du sier kan godt være sant, men hva er nytt er at ved å bruke Hadoop, kan du gjøre grafanalyse i stor skala.

Hva er grafdata?

A graf i datavilkår er bare en representasjon av individuelle enheter og deres relasjoner. En grafs enheter er kjent som noder (eller vertices ), og relasjonene mellom enheter i en graf kalles kanter (eller tilkoblinger >). Å representere datasett i en graf, i motsetning til tradisjonelle rader og kolonner, gjør det mye enklere å behandle dataene dine på måter som gjør forholdet mellom objekter krystallklart. Typiske grafberegninger er representert ved den korteste banenavstanden mellom flere noder i grafen din, eller bare ved hvor mange noder som har tilkoblinger av en bestemt type til en bestemt node.

Programmer for grafanalyse

Det mest kjente programmet for grafdatabaser er Googles PageRank-algoritme, som beregner sammenhengerforholdene mellom alle kjente nettsider. Google representerer nettet som en gigantisk graf, hvor nettsidene er noder, og koblingene fra en side til en annen er representert som kanter. (Google delte rikdommen ved å publisere et papir som beskriver grafanalyseprosjektet - merket Pregel-back i 2010.) Grafbehandlingen som Google var interessert i, involverte å beregne antall innkommende tilkoblinger for hver nettside.

Facebook gjorde en betydelig splash i 2013 da den annonserte at den brukte Apache Giraph (basert på Pregel-papiret), en grafbehandlingsmotor utviklet for å behandle grafer lagret i HDFS. Det viste Giraphs kraft ved å vise en graf som representerer alle Facebook-brukere (over 1 milliard) og deres vennskap (milliarder!), Som helt har over 1 billion kanter. Denne skalaen er svimlende: Hvis du er Facebook, og du må gjøre beregninger som vennevilkår, hva bedre verktøy å bruke enn en grafbehandlingsmotor? Det er ingen overraskelse at en distribuert grafdatabase ligger i kjernen til alle andre bemerkelsesverdige sosiale medier, inkludert Twitter, LinkedIn, OkCupid og Pinterest.

En grafbehandlingsmotor kan enkelt svare på mange praktiske spørsmål for sosiale medier. To eksempler er hvordan LinkedIn viser graden av separasjon mellom deg og en annen bruker er en kortest beregning av banen (hva er den nærmeste forbindelsen mellom to noder?) og hvordan OkCupid viser brukere med felles interesser, er et sett med samarbeidsfiltreringsberegninger (hva er de vanligste forbindelsene til et bestemt sett med noder?).

Grafanalyse i Hadoop

Fra våren 2014 forblir grafanalyse på Hadoop i sine tidlige stadier. Med adventen av Garn i Hadoop 2, vil grafanalyse og andre spesialiserte behandlingsteknikker bli stadig mer populær på Hadoop. Mange av de sosiale nettstedene som er nevnt i denne artikkelen, bruker sine egne, proprietære grafdatabaser og prosessorer, men Facebook er en fremtredende bruker av Giraph. Fordi Facebooks (underforstått) godkjenningssegment, har Giraph blitt et populært valg for grafanalyse på Hadoop, men det har noen begrensninger. Det er bare en behandlingsmotor fordi den laster data som en graf i klyngens minne, og den er optimalisert for batch-orienterte spørringer.

En annen grafbehandlingsløsning kommer fra Aurelius, et selskap som har gitt ut et sett med open source grafanalyseverktøy for Hadoop. Kjernen i tilbudene er Titan, en grafdatabase som bruker HBase som et vedvarende lag, som er optimalisert for interaktive spørringer, og Faunus, en grafbehandlingsmotor som lagrer et øyeblikksbilde av en graf fra Titan i HDFS, og kjører MapReduce jobber mot det. For både de interaktive (Titan) og batch (Faunus) applikasjonene har Aurelius den felles graf-traversale API kalt Gremlin.

Endelig har Apache Spark-prosjektet GraphX-offshoot, som gjør det mulig å generere grafdata, og deretter behandle alt innenfor Spark-rammen.