Hvordan man kan teste den prediktive analysemodellen - dummies

For å kunne teste den prediktive analysemodellen du bygget, må du dele datasettet i to sett: trening og test datasett. Disse datasettene skal velges tilfeldig og bør være en god representasjon av den faktiske befolkningen.

• Lignende data skal brukes til både trenings- og testdatasettene.

• Normalt er treningsdatasettet betydelig større enn testdatasettet.

• Ved hjelp av testdatasettet kan du unngå feil som overfitting.

• Den utdannede modellen kjøres mot testdata for å se hvor godt modellen skal utføre.

Noen datavennere foretrekker å ha et tredje datasett som har egenskaper som ligner på de to første: a validering datasett . Tanken er at hvis du aktivt bruker testdataene dine til å finjustere modellen din, bør du bruke et separat (tredje) sett for å kontrollere nøyaktigheten av modellen.

Å ha et valideringsdatasett, som ikke ble brukt som en del av utviklingsprosessen til modellen din, bidrar til å sikre en nøytral estimering av modellens nøyaktighet og effekt.

Hvis du har bygget flere modeller ved hjelp av ulike algoritmer, kan valideringsprøven også hjelpe deg med å vurdere hvilken modell som fungerer best.

Pass på at du dobbeltsjekker arbeidet ditt med å utvikle og teste modellen. Vær spesielt skeptisk dersom ytelsen eller nøyaktigheten av modellen virker for god til å være sant. Feil kan skje der du minst forventer dem. Feilberegning av datoer for tidsseriedata kan for eksempel føre til feilaktige resultater.

Slik bruker du kryssvalidering

Kryssvalidering er en populær teknikk du kan bruke til å evaluere og validere modellen. Det samme prinsippet om bruk av separate datasett for testing og opplæring gjelder her: Treningsdataene brukes til å bygge modellen; Modellen drives mot testsettet for å forutsi data som den ikke har sett før, noe som er en måte å evaluere nøyaktigheten på.

I kryssvalidering er de historiske dataene delt inn i X-tall for delsett. Hver gang en delmengde er valgt som skal brukes som testdata, brukes resten av delsettene som treningsdata. På neste runde blir det tidligere testsettet et av treningssettene, og et av de tidligere treningssettene blir testsettet.

Prosessen fortsetter til alle delmengder av det X antall sett har blitt brukt som testsett.

For eksempel, tenk at du har et datasett som du har delt inn i 5 sett nummerert 1 til 5. I første omgang bruker du sett 1 som testsett og bruker sett 2, 3, 4 og 5 som treningssett.På andre runde bruker du sett 2 som testsettet og setter 1, 3, 4 og 5 som treningssett.

Du fortsetter denne prosessen til alle delmengder av de 5 settene har blitt brukt som testsett.

Med kryssvalidering kan du bruke hvert datapunkt i dine historiske data for både opplæring og testing. Denne teknikken er mer effektiv enn å splitte historiske dataene i to sett, ved hjelp av settet med de fleste dataene for trening, ved hjelp av det andre settet for testing, og forlater det ved det.

Når du kryssvaliderer dataene dine, beskytter du deg mot tilfeldig utvalgte testdata som er for lett å forutsi - noe som vil gi deg feil inntrykk av at modellen din er nøyaktig. Eller, hvis du tilfeldigvis velger testdata som er for vanskelig å forutsi, kan du falskt konkludere med at modellen ikke fungerer som du hadde håpet.

Kryssvalidering er mye brukt ikke bare for å validere nøyaktigheten av modellene, men også for å sammenligne ytelsen til flere modeller.

Slik balanserer du bias og varians

Bias og varians er to kilder til feil som kan skje når du bygger din analytiske modell.

Bias er et resultat av å bygge en modell som forenkler presentasjonen av relasjonene mellom datapunkter i de historiske dataene som brukes til å bygge modellen.

Variance er resultatet av å bygge en modell som er eksplisitt spesifikk for dataene som brukes til å bygge modellen.

Å oppnå balanse mellom bias og varians - ved å redusere variansen og tolerere noe bias - kan føre til en bedre prediktiv modell. Denne avviket fører vanligvis til å bygge mindre komplekse prediktive modeller.

Mange data-mining algoritmer er opprettet for å ta hensyn til denne avviket mellom bias og variance.

Slik feilsøker du ideer

Når du tester modellen din, og du finner deg selv nå ingensteds, er det noen ideer å vurdere som kan hjelpe deg med å komme tilbake:

• Kontroller alltid arbeidet ditt. Du har kanskje oversett noe du antok var riktig, men ikke. Slike feil kan oppstå (for eksempel) blant verdiene til en prediktiv variabel i datasettet, eller i forbehandlingen du brukte på dataene.

• Hvis algoritmen du valgte ikke gir resultater, kan du prøve en annen algoritme. For eksempel prøver du flere klassifikasjonsalgoritmer tilgjengelig, og avhengig av dine data og forretningsmålene til modellen din, kan en av dem utføre bedre enn de andre.

• Prøv å velge forskjellige variabler eller opprette nye avledede variabler. Vær alltid på utkikk etter variabler som har prediktive krefter.

• Ofte kontakt med bedriftsdomseksperter som kan hjelpe deg med å forstå dataene, velge variabler og tolke modellens resultater.