Fundamentals of Big Data Integration - dummies

De grunnleggende elementene i den store dataplattformen håndterer data på nye måter i forhold til den tradisjonelle relasjonsdatabasen. Dette er på grunn av behovet for å ha skalerbarhet og høy ytelse som kreves for å håndtere både strukturerte og ustrukturerte data.

Komponenter i det store datasøkosystemet som spenner fra Hadoop til NoSQL DB, MongoDB, Cassandra og HBase har alle sine egne tilnærminger for utpakking og innlasting av data. Som et resultat kan lagene dine måtte utvikle nye ferdigheter for å håndtere integrasjonsprosessen på tvers av disse plattformene. Imidlertid vil mange av selskapets datastyring beste praksis bli enda viktigere når du flytter inn i verden med store data.

Mens store data introduserer et nytt nivå av integrasjonskompleksitet, gjelder de grunnleggende grunnleggende prinsippene fortsatt. Virksomhetsmålene dine må være fokusert på å levere kvalitet og pålitelige data til organisasjonen til rett tid og i riktig sammenheng.

For å sikre denne tilliten må du etablere felles regler for datakvalitet med vekt på nøyaktighet og fullstendighet av dataene. I tillegg trenger du en helhetlig tilnærming til å utvikle bedriftsmetadata, holde oversikt over datastreng og styring for å støtte integrasjon av dataene dine.

Samtidig utvikler tradisjonelle verktøy for dataintegrasjon å håndtere det økende antallet ustrukturerte data og voksende volum og hastighet av store data. Mens tradisjonelle former for integrasjon tar nye betydninger i en stor datafjerd, trenger integrasjonsteknologiene en felles plattform som støtter datakvalitet og profilering.

For å gjøre gode forretningsbeslutninger basert på stor dataanalyse, må denne informasjonen være klarert og forstått på alle nivåer i organisasjonen. Selv om det sannsynligvis ikke vil være kostnad eller tid som er effektiv til å være altfor opptatt av datakvalitet i utprøvningsfasen av en stor dataanalyse, må kvalitet og tillit til slutt spille en rolle dersom resultatene skal inkorporeres i forretningsprosessen.

Informasjon må leveres til virksomheten på en pålitelig, kontrollert, konsekvent og fleksibel måte over hele bedriften, uavhengig av kravene til individuelle systemer eller applikasjoner. For å oppnå dette målet gjelder tre grunnleggende prinsipper:

• Du må opprette en felles forståelse av datadefinisjoner. I begynnelsen av din store dataanalyse er det ikke sannsynlig at du har samme kontrollnivå over datadefinisjoner som du gjør med driftsdataene dine.Når du har identifisert mønstrene som er mest relevante for bedriften din, trenger du imidlertid muligheten til å kartlegge dataelementer til en felles definisjon.

• Du må utvikle et sett med datatjenester for å kvalifisere dataene og gjøre det konsistent og til slutt pålitelig. Når ustrukturerte og store datakilder er integrert med strukturert driftsdata, må du være trygg på at resultatene vil være meningsfylte.

• Du trenger en strømlinjeformet måte å integrere de store datakildene og systemene til posten på. For å ta gode beslutninger basert på resultatene av din store dataanalyse, må du levere informasjon til rett tid og med riktig sammenheng. Din store dataintegrasjonsprosess bør sikre konsistens og pålitelighet.

For å integrere data på tvers av blandede applikasjonsmiljøer, få data fra ett datamiljø (kilde) til et annet datamiljø (mål). Utdrag, transformere og laste (ETL) teknologier har blitt brukt til å oppnå dette i tradisjonelle datalagringsmiljøer. ETLs rolle utvikler seg for å håndtere nyere datastyringsmiljøer som Hadoop.

I et stort datamiljø må du kanskje kombinere verktøy som støtter batchintegrasjonsprosesser (ved hjelp av ETL) med sanntidsintegrasjon og føderasjon på tvers av flere kilder. For eksempel kan et farmasøytisk selskap blande data som er lagret i MDM-systemet (Master Data Management), med store datakilder om medisinske utfall av kundebruk.

Bedrifter bruker MDM for å lette innsamling, aggregering, konsolidering og levering av konsistente og pålitelige data på en kontrollert måte over hele bedriften. I tillegg brukes nye verktøy som Sqoop og Scribe til å støtte integrasjon av store datamiljøer. Du finner også en økende vekt på å bruke ekstrakt, laste og transformere (ELT) teknologier. Disse teknologiene beskrives neste.