9 Lovene om datalagring - dummier

Hvert yrke har sine hovedprinsipper, ideer som gir struktur og veiledning i hverdagens arbeid. Datautvinning er ikke noe unntak. Følgende er ni grunnleggende ideer for å veilede deg når du kommer ned til jobb og blir en datamengder. Dette er de 9 lovene om data mining som de opprinnelig ble uttalt av den banebrytende data miner, Thomas Khabaza.

1. lov: Forretningsmål

Her er den første loven om data mining, eller "Forretningsrettelov": Forretningsmål er opprinnelsen til hver data-mining løsning.

Du undersøker data for å finne informasjon som hjelper deg med å drive virksomheten bedre. Skal ikke dette være mantraet av all bedriftsdataanalyse? Selvfølgelig bør det! Likevel er nybegynner data mindere ofte fokusert på teknologi og andre detaljer, noe som kan være interessant, men ikke i tråd med behovene og målene til de ledende beslutningstakere.

Du må utvikle en vane med å identifisere forretningsmål før du gjør noe annet, og fokusere på disse målene i hvert trinn i data-miningprosessen. Det er viktig at denne loven kommer først. Alle bør forstå at data mining er en prosess med en hensikt.

2. lov: Forretningskunnskap

Her er 2. lov om datavinnning, eller "Forretningskunnskapslov": Forretningskunnskap er sentral for hvert trinn i data-miningprosessen.

Data mining gir makt til folket - forretningsmenn - som bruker sin forretningskunnskap, erfaring og innsikt, sammen med data-mining metoder, for å finne mening i data.

Du trenger ikke å være en fin statistiker for å gjøre datautvinning, men du må vite noe om hva dataene betyr og hvordan virksomheten fungerer. Først når du forstår dataene og problemet du trenger å løse, kan data-mining-prosesser hjelpe deg med å finne nyttig informasjon og sette den i bruk.

3. lov: Data forberedelse

Her er den tredje loven om data mining, eller "Data Preparation Law": Data forberedelse er mer enn halvparten av hver data mining prosess.

Tradisjonelle statistikere har ofte muligheten til å samle inn nye data for å ta opp konkrete forskningsspørsmål. De kan bruke strenge prosesser for å planlegge eksperimenter, designe undersøkelses spørreskjemaer eller på annen måte samle høykvalitetsdata som er godt målrettet mot bestemte forskningsmål. Likevel bruker de fortsatt mye tid på å rydde og forberede data for analyse.

Data miners, derimot, må nesten alltid jobbe med data som er tilgjengelige. De bruker eksisterende forretningsrekorder, offentlige data eller dataene de kan kjøpe.Sjansen er at alle dataene ble samlet for noe annet formål enn datautvinning, og uten noen streng plan eller forsiktig datainnsamling. Så data minearbeidere bruker mye tid på databehandling.

4. lov: Høyre modell

Her er den fjerde loven for data mining, eller "NFL-DM": Den rette modellen for en gitt applikasjon kan bare oppdages ved eksperiment.

Denne loven er også kjent av shorthand NFL-DM, noe som betyr at det ikke er gratis lunsj for data minearbejderen.

Først, hva er en modell? Det er en ligning som representerer et mønster observert i data. I det minste representerer det mønsteret på en grov måte. Matematiske modeller av ekte ting er aldri perfekte! Dette er et faktum i livet, og det er like sant for kjernefysikere som det er for data miners.

I data mining blir modeller valgt gjennom prøve og feil. Du vil eksperimentere med forskjellige modelltyper.

5. lov: Mønster

Her er den femte loven om datavinnning: Det er alltid mønstre.

Som datamengder vil du undersøke data på jakt etter nyttige mønstre. Med andre ord vil du være på utkikk etter meningsfylte forhold mellom variablene i dataene. Å forstå disse forholdene gir bedre forståelse for virksomheten, og bedre spådommer om hva som vil skje i fremtiden. Viktigst, forståelsesmønstre i dataene gjør at du kan påvirke hva som vil skje i fremtiden.

Du finner alltid mønstre. Dataene har alltid noe å fortelle deg. Noen ganger bekrefter det at det du har gjort er riktig. Det kan ikke virke spennende, men i det minste forteller du at du har vært på rett spor. Andre dager kan dataene fortelle deg at din nåværende forretningspraksis ikke virker. Det er spennende, og selv om det kanskje ikke er hyggelig på kort sikt, er det å vite sannheten et viktig skritt mot forbedring.

6. lov: Forsterkning

Her er den 6. loven for datavinnning, eller "Insight Law": Data mining forsterker oppfatningen i bedriftsdomenet.

Data-mining metoder gjør at du kan forstå din bedrift bedre enn du kunne ha gjort uten dem. Data-mining metoder hjelper deg som en forstørrelse eller et mikroskop, noe som gjør det mulig å oppdage effekter som ville være vanskelig eller umulig å oppdage gjennom vanlig rapportering.

Datautvinning er ikke øyeblikkelig.

Discovery og læring gjennom data mining er en interaktiv prosess. Du vil finne funn, finne ut litt fra hver av dem, og bruk det du har oppdaget for å handle. Resultatene av hver handling du prøver, vil produsere flere data, og at dataene lar deg forstå noe mer. Det er en syklus av funn, og syklusen fortsetter så lenge du fortsetter å utforske og eksperimentere.

7. lov: Forutsigelse

Her er den 7. loven om datavinnning, eller "Forutsigelsesloven": Prediksjon øker informasjon lokalt ved generalisering.

Data mining hjelper deg med å bruke det du vet for å gjøre bedre spådommer (eller estimater) av ting du ikke kjenner. Data mining bruker data og modelleringsmetoder for å erstatte dine uformelle forventninger med data-drevne, konsistente og mer nøyaktige estimater.

8. lov: Verdi

Her er den 8. loven for data mining, eller "Value Law": Verdien av data-mining resultater er ikke bestemt av nøyaktigheten eller stabiliteten til prediktive modeller.

Data miners ikke oppstyr over teori. Som dataregner kan du aldri engang kjenne teorien bak de statistiske modellene du bruker. Kanskje det er like bra, fordi du i data mining skal bruke disse modellene på måter som ikke nødvendigvis stemmer overens med teorien bak dem.

Du vil se etter modeller som produserer riktige spådommer (og du vil bruke testing, i stedet for statistisk teori, for å bedømme det). Men du kan være mer opptatt av andre problemer, for eksempel om modellen gir forretningsfølelse, opplyser deg om uventede prediktive faktorer eller er praktisk å bruke på arbeidsplassen din.

9. lov: Endre

Her er den 9. loven om datautvinning, eller "Endringsloven": Alle mønstre kan endres.

Verdien er alltid i endring. Modellen som gir deg gode spådommer i dag, kan være ubrukelig i morgen. Dette er et faktum for alle dataanalytikere, ikke bare datamaskiner.