Dokument Databaser i et Big Data Environment - dummies

Du finner to typer dokumentdatabaser for store dataprosjekter. En er ofte beskrevet som et lager for innhold i fullstendig dokumentformat. Den andre er en database for lagring av dokumentkomponenter for permanent lagring som en statisk enhet eller for dynamisk montering av deler av et dokument. Strukturen til dokumentene og deres deler er gitt av JavaScript Object Notation (JSON) og / eller Binary JSON (BSON).

Dokumentdatabaser er mest nyttige når du må produsere mange rapporter, og de må være dynamisk samlet fra elementer som endres ofte.

JSON er et datautvekslingsformat basert på en delmengde av JavaScript-programmeringsspråket. Selv om det er en del av et programmeringsspråk, er det tekstlig i naturen og veldig lett å lese og skrive. Det har også fordelen av å være lett for datamaskiner å håndtere. To grunnleggende strukturer finnes i JSON, og de støttes av mange, om ikke alle, moderne programmeringsspråk.

Den første grunnleggende strukturen er en samling av navn / verdi par, og de er representert programmatisk som objekter, poster, nøkkellister og så videre. Den andre grunnleggende strukturen er en bestilt liste over verdier, og de er representert programmatisk som arrays, lister eller sekvenser. BSON er en binær serialisering av JSON-konstruksjoner designet for å øke ytelsen og skalerbarheten.

MongoDB for store data

MongoDB er prosjektnavnet for "hu (mongo) us database" -systemet. Det vedlikeholdes av et firma kalt 10gen som åpen kildekode og er fritt tilgjengelig under GNU AGPL v3. 0 lisens. Kommersielle lisenser med full støtte er tilgjengelig fra 10gen.

MongoDB består av databaser som inneholder "samlinger. "En samling består av" dokumenter ", og hvert dokument består av felt. Akkurat som i relasjonsdatabaser kan du indeksere en samling.

Dette gjør at dataoppslaget blir bedre. I motsetning til andre databaser returnerer MongoDB imidlertid noe som kalles en "markør", som fungerer som en peker på dataene. Dette er en svært nyttig evne fordi den gir muligheten til å telle eller klassifisere dataene uten å trekke den ut. MongoDB støtter opprinnelig BSON, den binære implementeringen av JSON-dokumenter.

MongoDB er også et økosystem som består av følgende elementer:

Høy tilgjengelighet og replikeringstjenester for skalering på tvers av lokale og store nett.
Et nettbasert filsystem, som gjør det mulig å lagre store objekter ved å dele dem mellom flere dokumenter.
MapReduce for å støtte analyser og aggregering av ulike samlinger / dokumenter.
En sharding-tjeneste som distribuerer en enkelt database over en klynge av servere i en enkelt eller i flere datasentre. Tjenesten drives av en shard-nøkkel. Shard-tasten brukes til å distribuere dokumenter intelligent i flere tilfeller.
En spørringstjeneste som støtter ad hoc-spørringer, distribuerte søk og fulltekstsøk.

Effektive MongoDB-implementeringer inkluderer

Styring av høy volum
Sosialt nettverk
Arkivering
Real-time analytics

CouchDB for store data

En annen meget populær ikke-relasjonell database er CouchDB. Som MongoDB er CouchDB åpen kildekode. Den vedlikeholdes av Apache Software Foundation og blir gjort tilgjengelig under Apache License v2. 0. I motsetning til MongoDB ble CouchDB designet for å etterligne nettet i alle henseender.

CouchDB er for eksempel elastisk til nettverksutbrudd og vil fortsette å fungere vakkert i områder hvor nettverkstilkoblingen er spotty. Det er også hjemme på en smarttelefon eller i datasenter. Alt dette kommer med noen avganger. På grunn av den underliggende webmimicryen er CouchDB høy ventetid, noe som resulterer i en preferanse for lokal datalagring.

CouchDB er ikke godt egnet for mindre implementeringer. Du må avgjøre om disse avvikene kan ignoreres når du starter din store dataimplementering.

CouchDB-databaser består av dokumenter som består av felt og vedlegg, samt en "beskrivelse" av dokumentet i form av metadata som automatisk vedlikeholdes av systemet. Den underliggende teknologien har alle ACID-muligheter. Fordelen i CouchDB over relasjonelle er at dataene er pakket og klar for manipulering eller lagring i stedet for spredt over rader og tabeller.

CouchDB er også et økosystem med følgende funksjoner:

Komprimering: Databasene komprimeres for å eliminere bortkastet plass når en viss tomhet er nådd. Dette hjelper ytelse og effektivitet for utholdenhet.
Vis modell: En mekanisme for filtrering, organisering og rapportering av data ved bruk av et sett definisjoner som er lagret som dokumenter i databasen. Du finner et en-til-mange forhold til databaser til visninger, slik at du kan opprette mange forskjellige måter å representere dataene du har "skåret og terninger. "
Replikering og distribuerte tjenester: Dokumentlagring er utformet for å gi toveisreplikasjon. Delvis kopi kan opprettholdes for å støtte kriteribasert distribusjon eller overføring til enheter med begrenset tilkobling. Native replikering er peer-basert, men du kan implementere Master / Slave, Master / Master, og andre typer replikasjonsmodaliteter.

Effektive CouchDB-implementeringer inkluderer