Video: Mayer Brown's Tech Talks, Episode 3: The Big Data Paradox 2024
Du finner en nyanse om stor dataanalyse. Det handler egentlig om små data. Selv om dette kan virke forvirrende og motvirke hele premisset, er små data produktet av stor dataanalyse. Dette er ikke et nytt konsept, og det er heller ikke kjent med folk som har gjort dataanalyse i lengre tid. Det totale arbeidsområdet er større, men svarene ligger et sted i den "små". "
Tradisjonell dataanalyse begynte med databaser fylt med kundeinformasjon, produktinformasjon, transaksjoner, telemetri data, og så videre. Selv da var for mye data tilgjengelig for å analysere effektivt. Systemer, nettverk og programvare hadde ikke ytelsen eller kapasiteten til å adressere skalaen. Som en industri ble manglene tatt opp ved å skape mindre datasett.
Disse mindre datasettene var fortsatt ganske materielle, andre mangler ble raskt oppdaget; Den mest skarpe var feilen mellom dataene og arbeidskonteksten. Hvis du jobbet i Payments, måtte du se på en stor mengde urelaterte data for å gjøre jobben din. Igjen reagerte industrien ved å skape mindre, kontekstuelt relevante datasett - stort til lite til mindre.
Du kan gjenkjenne dette som migrering fra databaser til datalager til data mars. Oftere enn ikke, ble dataene for varehusene og mars valgt på vilkårlige eller eksperimentelle parametere som resulterte i en stor forsøk og feil. Bedrifter fikk ikke de perspektiver de trengte eller var mulige fordi kapasitetsreduksjonene ikke var basert på beregningsfaktor.
Skriv inn store data, med alle volumer, hastigheter og varianter, og problemet forblir eller forverres kanskje. Manglene på infrastrukturen har blitt adressert og kan lagre og behandle store mengder ytterligere data, men ny teknologi var nødvendig spesielt for å kunne håndtere store data.
Til tross for den utadvendte opptreden er dette en fantastisk ting. I dag og i fremtiden vil selskapene ha mer data enn de kan forestille seg, og de vil få midler til å fange opp og administrere det. Det som er mer nødvendig enn noensinne, er evnen til å analysere høyre dataene i tide nok til å ta avgjørelser og ta handlinger.
Bedrifter vil fortsatt krympe datasettene til "kamp trim", men de kan gjøre det beregningsmessig. De behandler de store dataene og gjør det til små data slik at det blir enklere å forstå. Det er mer presist, og fordi det var avledet fra et mye større utgangspunkt, er det mer kontekstuelt relevant.
