Slik vurderer du dine analytiske forventninger nøyaktig - dummier

Når du analyserer kvaliteten på en prediktiv modell, vil du måle nøyaktigheten. Jo mer nøyaktig en prognose modellen gjør, jo mer nyttig er det for virksomheten, som er en indikasjon på kvaliteten. Dette er alt bra - bortsett fra når den forutsagte hendelsen er sjelden. I så fall kan den høye nøyaktigheten av den prediktive modellen være meningsløs.

For eksempel hvis sannsynligheten for at en sjelden hendelse oppstår, er 5 prosent, en modell som bare svarer på & ldquo; no & rdquo; hele tiden når du blir spurt om den sjeldne hendelsen har skjedd, ville det være riktig 95 prosent av tiden. Men hvor nyttig ville en slik modell være?

Hvis bedriften din må avtale rutinemessig med sjeldne hendelser (hvis en slik ting er mulig), ikke stole på nøyaktigheten alene som et mål på modellens pålitelighet.

I et slikt tilfelle kan du vurdere effekten og kvaliteten på en prediktiv modell i lys av hvor sannsynlig den sjeldne hendelsen skal skje. En nyttig måling å følge er å spesifisere hvilke typer feil du kan akseptere fra modellen og som du ikke kan.

Her er en rask liste over andre måter å evaluere modellen din på:

• Sjekk om modellens utdata oppfyller evalueringskriteriene dine.

• Utarbeide en teststrategi slik at du kan teste modellen din gjentatte ganger og konsekvent.

• Mål hvor godt modellen møter de forretningsmålene den ble bygget for.

• Vurder risikoen for å distribuere modellen live.

Hjelp stempel ut overfitting. Når du bygger en prediktiv modell, husk at datasettet ditt bare er et utvalg av hele befolkningen. Det vil alltid være ukjente faktorer som dataene dine ikke kan ta hensyn til, uansett hva.

• Tilpass analysen av din prediktive modell med forsiktighet, med start med denne hurtige sjekklisten:

• Forbered dine data med ytterste omhu før du bruker den til å trene din modell.

• Overvåk forsiktig utelukkende før du inkludere eller ekskluderer dem.

• Hold deg våken i gjentatt testing og evaluering.

• Kryss av prøvedata og testdata for å styre vekk fra overfitting.

• Ta kontakt med dine domenekunnskapseksperter ofte og passende.