Slik genererer du avledede data og reduserer dens dimensionalitet for forutsigende Analytics - dummier

I denne letingsfasen av prediktiv analyse får du intim kjennskap til dataene dine - som igjen vil hjelpe deg med å velge de relevante variablene for å analysere. Denne forståelsen vil også hjelpe deg med å evaluere resultatene av modellen din. Men først må du identifisere og rense dataene for analyse.

Slik genererer du avledede data

Avledede attributter er helt nye poster konstruert av en eller flere eksisterende attributter. Et eksempel er å lage oppføringer som identifiserer bøker som er bestselgere på bokmesse. Rå data kan ikke fange slike poster - men for modelleringsformål kan de avledede poster være viktige. Pris per inntjening og 200-dagers glidende gjennomsnitt er to eksempler på avledede data som er mye brukt i økonomiske applikasjoner.

Avledede attributter kan fås ved enkel beregning som å avlede alder fra fødselsdato. Avledede attributter kan også beregnes ved å oppsummere informasjon fra flere poster.

Hvis du for eksempel konverterer en tabell over kunder og deres kjøpte bøker til en tabell, kan du spore antall bøker som selges via et anbefalingssystem, gjennom målrettet markedsføring og på en bokmesse - og identifisere demografiske kunder som kjøpte de bøkene.

Generering av slike tilleggsegenskaper gir ytterligere prediktiv effekt til analysen. Faktisk er mange slike egenskaper skapt for å sonde deres potensielle prediktive kraft. Noen prediktive modeller kan bruke mer avledede attributter enn attributter i deres rå tilstand. Hvis noen avledede attributter viser seg spesielt prediktive, og deres makt er bevist å være relevant, er det fornuftig å automatisere prosessen som genererer dem.

Avledede poster er nye poster som bringer inn ny informasjon og gir nye måter å presentere rå data på. de kan være av stor verdi for forutsigbar modellering.

Slik reduserer du dimensjonaliteten til dine data

Dataene som brukes i prediktive modeller, samles vanligvis fra flere kilder. Din analyse kan trekke fra data spredt over flere dataformater, filer og databaser, eller flere tabeller i samme database. Det er viktig å samle dataene sammen og kombinere det til et integrert format for datamodellerne å bruke.

Hvis dataene inneholder noe hierarkisk innhold, må det kanskje være flatet . Enkelte data har noen hierarkiske egenskaper som forelder-barns relasjoner, eller en post som består av andre poster.For eksempel kan et produkt som en bil ha flere beslutningstakere; flattende data, i dette tilfellet betyr at hver produsent er en ekstra funksjon i platen du analyserer.

Utjevning av data er viktig når den slås sammen fra flere relaterte poster for å danne et bedre bilde.

For eksempel kan analysering av uønskede hendelser for flere legemidler laget av flere bedrifter kreve at dataene blir flatt på stoffnivå. Ved å gjøre dette, fjerner du ett til mange forhold (i dette tilfellet mange beslutningstakere og mange stoffer for ett produkt) som kan forårsake for mye duplisering av data ved å gjenta flere substansoppføringer som gjentar produkt og produsentinformasjon ved hver oppføring.

Flatering reduserer dimensionaliteten av dataene, som er representert ved antall funksjoner som en post eller en observasjon har.

For eksempel kan en kunde ha følgende funksjoner: navn, alder, adresse, varer kjøpt. Når du starter analysen, kan du finne deg selv å evaluere poster med mange funksjoner, bare noen av dem er viktige for analysen. Så du bør eliminere alle, men de svært få funksjonene som har mest prediktive kraft for ditt spesifikke prosjekt.

Reduksjon av dataens dimensjon kan oppnås ved å sette alle dataene i et enkelt bord som bruker flere kolonner til å representere attributter av interesse. Ved analysens begynnelse må analysen selvfølgelig evaluere et stort antall kolonner - men dette nummeret kan innsnevres etter hvert som analysen utvikler seg.

Denne prosessen kan støttes ved å rekonstruere feltene - for eksempel ved å gruppere dataene i kategorier som har lignende egenskaper.

Det resulterende datasettet - det rensede datasettet - blir vanligvis satt i en egen database for analytikerne å bruke. Under modelleringsprosessen bør disse dataene lett nås, administreres og holdes oppdatert.