Lag 4 av Big Data Stack: Analytiske Data Warehouses - dummies

Datamagasinet, lag 4 av den store datastakken, og dets ledsager data mart, har lenge vært de primære teknikker som organisasjoner bruker for å optimalisere data for å hjelpe beslutningstakere. Data lagre og mars inneholder vanligvis normaliserte data samlet fra en rekke kilder og samlet for å lette analysen av virksomheten.

Datavarehus og mars forenkler opprettelsen av rapporter og visualisering av ulike dataelementer. De er vanligvis opprettet fra relasjonsdatabaser, flerdimensjonale databaser, flate filer og objektdatabaser - i hovedsak alle lagringsarkitekturer. I et tradisjonelt miljø, hvor ytelsen kanskje ikke har høyeste prioritet, er valget av den underliggende teknologien drevet av kravene til analyse, rapportering og visualisering av bedriftsdataene.

Da organisasjonen av dataene og analysens beredskap er nøkkelen, holdes de fleste data warehouse implementeringer nåværende via batchbehandling. Problemet er at batchbelastede datalager og data mars kan være utilstrekkelige for mange store dataprogrammer. Spenningen som følge av høyhastighets datastrømmer vil trolig kreve en mer sanntidstilnærming til store datalager.

Dette betyr ikke at du ikke skal opprette og mate et analytisk datalager eller en datamart med batchprosesser. Snarere kan du ende opp med å ha flere datalager eller data mars, og ytelsen og skalaen vil gjenspeile tidskravene til analytikerne og beslutningstakerne.

Fordi mange datalager og data mars består av data samlet fra ulike kilder i et selskap, må også kostnadene knyttet til rensing og normalisering av dataene tas opp. Med store data finner du noen viktige forskjeller:

• Tradisjonelle datastrømmer (fra transaksjoner, programmer og så videre) kan produsere mye forskjellig data.

• Det finnes også mange nye datakilder, hver av dem trenger litt manipulasjon før det kan være aktuelt og nyttig for virksomheten.

• Innholdskilder må også renses, og det kan kreve forskjellige teknikker enn du kan bruke med strukturerte data.

Historisk sett ble innholdet i datalager og data mars organisert og levert til bedriftsledere med ansvar for strategi og planlegging. Med store data bruker et nytt sett med lag data for beslutningstaking.

Mange store dataimplementeringer gir sanntidsfunksjoner, slik at bedrifter skal kunne levere innhold slik at enkeltpersoner med operative roller kan ta opp problemer som kundesupport, salgsmuligheter og driftsavbrudd i nær sanntid.På denne måten bidrar store data til å flytte tiltak fra kontoret til kontoret.

Eksisterende analyseverktøy og -teknikker vil være svært nyttige når det gjelder å gi mening om store data. Det er imidlertid en fangst. Algoritmene som er en del av disse verktøyene, må kunne arbeide med store mengder potensielt sanntids- og ulik data. Infrastrukturen må være på plass for å støtte dette.

Og leverandører som tilbyr analyseringsverktøy må også sørge for at deres algoritmer fungerer på tvers av distribuerte implementeringer. På grunn av disse kompleksitetene, kan du forvente en ny klasse verktøy for å gi mening om store data.

Det finnes tre klasser av verktøy i dette laget av referansearkitekturen. De kan brukes uavhengig eller kollektivt av beslutningstakere for å styre virksomheten. De tre klassene med verktøy er som følger:

• Rapportering og oversikter: Disse verktøyene gir en & ldquo; brukervennlig & rdquo; representasjon av informasjonen fra ulike kilder. Selv om det er en støttespiller i den tradisjonelle datavirksomheten, er dette området fortsatt i utvikling for store data. Noen av verktøyene som brukes, er tradisjonelle som nå kan få tilgang til de nye typer databaser som kollektivt kalles NoSQL (Not Only SQL).

• Visualisering: Disse verktøyene er neste trinn i utviklingen av rapportering. Utgangen har en tendens til å være svært interaktiv og dynamisk i naturen. Et annet viktig skille mellom rapporter og visualisert utgang er animasjon. Bedriftsbrukere kan se endringene i dataene ved hjelp av en rekke forskjellige visualiseringsteknikker, inkludert tankekart, varmekart, infographics og tilkoblingsdiagrammer. Rapportering og visualisering skjer ved slutten av forretningsaktiviteten.

• Analytics og avansert analyse: Disse verktøyene kommer inn i datalageret og behandler dataene til konsum. Avansert analyse bør utpeke trender eller hendelser som er transformative, unike eller revolusjonerende til eksisterende forretningspraksis. Prediktiv analyse og sentimentanalyse er gode eksempler på denne vitenskapen.