Alternative Big Data Solutions - dummies

Ser forbi Hadoop, kan du se alternative store dataløsninger på horisonten. Disse løsningene gjør det mulig å jobbe med store data i sanntid eller bruke alternative databaseteknologier til å håndtere og behandle det. Her er du introdusert i sanntidsbehandlingsrammene, deretter Massively Parallel Processing (MPP) -plattformene, og til slutt NoSQL-databasene som lar deg jobbe med store data utenfor Hadoop-miljøet.

Du bør være oppmerksom på noe som er referert til som ACID-overholdelse, kort for A tomicity, C onsistency, I og D overholdelse av overholdelse. ACID-overholdelse er en standard som garanterer nøyaktige og pålitelige databasetransaksjoner.

I store dataløsninger er de fleste databasesystemer ikke AC-kompatible, men dette er ikke nødvendigvis et stort problem. Det er fordi de fleste store datasystemer bruker Decision Support Systems (DSS) at batchprosessdata før de dataene leses ut. DSS er informasjonssystemer som brukes til organisasjonsbeslutningsstøtte. Ikke-transaksjonelle DSS viser ingen reelle krav til ACID-overholdelse.

Retningslinjer for sanntidsbehandling

Noen ganger kan det hende du må spørre store datastrømmer i sanntid … og du kan bare ikke gjøre denne typen ting ved hjelp av Hadoop. I disse tilfellene bruker du en sanntidsbehandlingsramme i stedet. En sanntidsbehandlingsramme er - som navnet antyder - et rammeverk som kan behandle data i sanntid (eller i nærheten av sanntid) som datastrømmer og strømmer inn i systemet. I hovedsak er sanntidsbehandlingsrammer antitese av batchbehandlingsrammene du ser distribuert i Hadoop.

Rammer for sanntidsbehandling kan klassifiseres i følgende to kategorier:

• Rammer som senker overhead for MapReduce-oppgaver for å øke systemets totale tidseffektivitet: Løsninger i Denne kategorien inkluderer Apache Storm og Apache Spark for nær-sanntids-streambehandling.

• Rammer som distribuerer nyskapende spørringsmetoder for å lette forespørsel om store data i sanntid: Noen løsninger i denne kategorien inkluderer Googles Dremel, Apache Drill, Shark for Apache Hive og Cloudera's Impala.

Real-time, strømbehandlingsrammer er ganske nyttige i en rekke bransjer - fra aksje- og finansmarkedsanalyser til e-handelsoptimeringer, og fra sanntids svindeloppdagelse til optimalisert ordlogistikk. Uansett hvilken bransje du jobber i, hvis virksomheten din påvirkes av datastrømmer i sanntid som genereres av mennesker, maskiner eller sensorer, vil en realtidsbehandling ramme være nyttig for deg når du optimaliserer og genererer verdi for din organisasjon.

plattformer for massivt parallell prosessering (MPP)

plattformer for massiv parallell prosessering (MPP) kan brukes i stedet for MapReduce som en alternativ tilnærming til distribuert databehandling. Hvis målet ditt er å distribuere parallellbehandling på et tradisjonelt datalager, kan en MPP være den perfekte løsningen.

For å forstå hvordan MPP sammenligner med et standard MapReduce-parallellbehandlingsramme, bør du vurdere følgende. MPP kjører parallelle databehandlingsoppgaver på kostbar, tilpasset maskinvare, mens MapReduce kjører dem på billige vareservere. Følgelig er MPP-prosesseringsegenskaper kostnadsbegrensende. Dette sagt, MPP er raskere og enklere å bruke enn standard MapReduce-jobber. Det er fordi MPP kan forespørres ved hjelp av Structured Query Language (SQL), men native MapReduce-jobber styres av det mer kompliserte Java-programmeringsspråket.

Kjente MPP-leverandører og produkter inkluderer den gamle skolen Teradata-plattformen, samt nyere løsninger som EMC ² s Greenplum DCA, HPs Vertica, IBMs Netezza og Oracle Exadata.

Introduksjon av NoSQL-databaser

Tradisjonelle relasjonsdatabasebehandlingssystemer (RDBMS) er ikke utstyrt for å håndtere store datakrav. Det er fordi tradisjonelle relasjonsdatabaser er utformet for å håndtere kun relasjonsdatasett som er konstruert av data som er lagret i rene rader og kolonner, og dermed er i stand til å bli forespurt via Structured Query Language (SQL).

RDBM-systemer kan ikke håndtere ustrukturert og halvstrukturert data. Videre har RDBM-systemer ganske enkelt ikke de behandlings- og håndteringsfunksjonene som trengs for å møte store datamengder og hastighetskrav.

Dette er hvor NoSQL kommer inn. NoSQL databaser, som MongoDB, er ikke-relasjonelle, distribuerte databasesystemer som ble designet for å stige til den store data utfordringen. NoSQL-databaser går utover den tradisjonelle relasjonsdatabasearkitekturen og gir en mye mer skalerbar og effektiv løsning.

NoSQL-systemer letter ikke-SQL-spørring av ikke-relasjonelle eller skjemafrie, halvstrukturerte og ustrukturerte data. På denne måten kan NoSQL-databaser håndtere strukturerte, halvstrukturerte og ustrukturerte datakilder som er vanlige i store datasystemer.

NoSQL tilbyr fire kategorier av ikke-relasjonelle databaser - grafdatabaser, dokumentdatabaser, nøkkelverdier, og kolonnefamilieforretninger. Siden NoSQL tilbyr innfødt funksjonalitet for hver av disse separate typer datastrukturer, tilbyr den svært effektiv lagrings- og gjenfinningsfunksjonalitet for de fleste typer ikke-relasjonelle data. Denne tilpasningsevnen og effektiviteten gjør NoSQL til et stadig mer populært valg for å håndtere store data og for å overvinne prosessutfordringer som følger med.

Det er noe av en debatt om betydningen av navnet NoSQL. Noen hevder at NoSQL står for Ikke bare SQL , mens andre hevder at akronymet representerer Ikke-SQL-databaser . Argumentet er ganske komplisert og det er ikke noe ekte snitt og tørt svar.For å holde det enkelt, tenk bare på NoSQL som en klasse av ikke-relasjonelle databasebehandlingssystemer som ikke faller innenfor spekteret av RDBM-systemer som forespørres ved hjelp av SQL.