Sett sammen dine store data - dummier

Hvordan vil du vite hvordan du legger alle dataene dine sammen? Med et stort dataprosjekt, vil det du ønsker å gjøre med dine strukturerte og ustrukturerte data angi hvorfor du kan velge et stykke teknologi over en annen. Det bestemmer også behovet for å forstå inngående datastrukturer for å sette disse dataene på riktig sted.

Administrer forskjellige datatyper for store data

Du må vurdere noen av egenskapene til store data og hvilke typer datahåndteringssystemer du kanskje vil bruke for å adressere hver enkelt.

Integrer datatyper i et stort datamiljø.

Et annet viktig aspekt ved store data er at du ofte ikke trenger å eie alle dataene du vil bruke. Mange eksempler gjør poenget. Du kan utnytte sosiale medier data, data kommer fra tredjeparts industristatistikk, eller til og med data som kommer fra satellitter. Tenk bare på sosiale medier, og du forstår.

Ofte blir det nødvendig å integrere ulike kilder. Disse dataene kan komme fra alle interne systemer, fra både interne og eksterne kilder, eller fra helt eksterne kilder. Mye av disse dataene kan ha blitt slukket før.

Data trenger ikke komme til deg i sanntid. Du kan bare ha mye av det og det er ulik i naturen. Dette kan fortsatt kvalifisere som et stort dataproblem. Selvfølgelig kan du også stå overfor et scenario der du ser store datamengder, ved høye hastigheter, og det er ulik i naturen.

Poenget er at du ikke vil få forretningsverdi hvis du håndterer en rekke datakilder som et sett med frakoblede siloer av informasjon.

Komponenter du trenger inkluderer kontakter og metadata.

Koblinger

Du vil ha noen kontakter som gjør at du kan trekke data inn fra ulike store datakilder. Kanskje du vil ha en Twitter-kontakt eller en Facebook-en. Kanskje du trenger å integrere fra datalageret ditt med en stor datakilde som er utenfor lokalene dine, slik at du kan analysere begge disse datakildene sammen.

Metadata

En kritisk komponent for å integrere alle disse dataene er metadataene. Metadata er definisjonene, mappings og andre egenskaper som brukes til å beskrive hvordan du finner, får tilgang til og bruker et selskaps data (og programvare) komponenter. Et eksempel på metadata er data om et kontonummer. Dette kan inneholde nummer, beskrivelse, datatype, navn, adresse, telefonnummer og personvernsnivå.

Metadata kan brukes til å hjelpe deg med å organisere datalagerene dine og håndtere nye og skiftende datakilder. Selv om ideen om metadata ikke er ny, endrer og utvikler den seg i forbindelse med store data.I den tradisjonelle metadataverdenen er det viktig å ha en katalog som gir en enkelt visning av alle datakilder.

Men denne katalogen må være annerledes når du ikke kontrollerer alle disse datakilder. Du kan trenge et analytisk verktøy som hjelper deg med å forstå de underliggende metadataene.