Stor dataanalyse og datavarehusdummier

Du vil finne verdi i å bringe evnen til datalagret og det store datamiljøet sammen. Du må opprette et hybridmiljø der store data kan fungere hånd i hånd med datalageret.

For det første er det viktig å innse at datalageret som det er utformet i dag, ikke vil endres på kort sikt.

Derfor er det mer pragmatisk å bruke datalageret for det det er designet for å gjøre - gi en velbevist versjon av sannheten om et emne som virksomheten ønsker å analysere. Lageret kan inneholde informasjon om et bestemt selskaps produktlinje, dets kunder, dets leverandører, og detaljene i et års verdi for transaksjoner.

Informasjonen som styres i datalageret eller en avdelingsdata mart er nøye konstruert slik at metadataene er nøyaktige. Med veksten av ny nettbasert informasjon er det praktisk og ofte nødvendig å analysere denne enorme mengden data i sammenheng med historiske data. Det er her hybridmodellen kommer inn.

Visse aspekter ved å gifte datalageret med store data kan være relativt enkle. For eksempel kommer mange av de store datakildene fra kilder som inneholder sine egne veldesignede metadata. Komplekse e-handelswebsteder inneholder veldefinerte datafiler. Derfor, når analysen foregår mellom lageret og den store datakilden, arbeider informasjonsforvaltningsorganisasjonen med to datasett med nøye utformede metadata-modeller som må rasjonaliseres.

Selvfølgelig, i enkelte tilfeller mangler informasjonskildene eksplisitte metadata. Før en analytiker kan kombinere de historiske transaksjonsdataene med de mindre strukturerte store dataene, må det gjøres arbeid. Vanligvis vil første analyse av petabytes av data avsløre interessante mønstre som kan bidra til å forutsi subtile endringer i virksomheten eller potensielle løsninger på pasientens diagnose.

Den opprinnelige analysen kan være ferdigstillingsverktøy som MapReduce med Hadoop distribuert filsystem rammeverk. På dette tidspunktet kan du begynne å forstå om det er i stand til å bidra til å evaluere problemet som tas opp.

I analyseprosessen er det like viktig å eliminere unødvendige data som det er å identifisere data som er relevante for forretningsforbindelsen. Når denne fasen er fullført, må de gjenværende dataene forvandles slik at metadatadefinisjonene er presise. På denne måten, når de store dataene kombineres med tradisjonelle historiske data fra lageret, blir resultatene nøyaktige og meningsfulle.

Den store dataintegrasjonen Lynchpin

Denne prosessen krever en veldefinert dataintegrasjonsstrategi. Mens dataintegrasjon er et kritisk element i styring av store data, er det like viktig når du oppretter en hybridanalyse med datalageret. Faktisk er prosessen med å utvinne data og transformere den i et hybridmiljø, veldig lik hvordan denne prosessen utføres i et tradisjonelt datalager.

I datalagret hentes data fra tradisjonelle kildesystemer som CRM eller ERP-systemer. Det er kritisk at elementer fra disse ulike systemene er riktig tilpasset.

Rethink-utvinning, transformasjon og belastning for datalager

I datalagret finner du ofte en kombinasjon av relationsdatabase-tabeller, flate filer og ikke-relasjonelle kilder. Et godt konstruert datalager skal bygges slik at dataene konverteres til et felles format, slik at spørringer kan behandles nøyaktig og konsistent. De utpakkede filene må forvandles for å matche forretningsreglene og prosessene i fagområdet som datalagret er designet for å analysere.

Med andre ord må dataene hentes fra de store datakildene, slik at disse kildene trygt kan samarbeide og gi meningsfulle resultater. I tillegg må kildene transformeres slik at de er nyttige for å analysere forholdet mellom de historiske dataene og de mer dynamiske og sanntidsdataene som kommer fra store datakilder.

Lasting av informasjon i den store datamodellen vil være annerledes enn hva du ville forvente i et tradisjonelt datalager. Med datalager, etter at dataene er kodifisert, endres det aldri. Et typisk datalager vil gi virksomheten et øyeblikksbilde av data basert på behovet for å analysere et bestemt forretningsproblem som krever overvåking, for eksempel lager eller salg.

Den distribuerte strukturen til store data vil ofte føre til at organisasjoner først legger inn data i en rekke noder og deretter utfører utvinning og transformasjon. Når det opprettes en hybrid av det tradisjonelle datalageret og det store datamiljøet, kan det store datamiljøets distribuerte natur dramatisk endre organisasjonernes evne til å analysere store datamengder i sammenheng med virksomheten.