Hvordan å adressere problemer i prediktiv analyse - dummies

Prediktiv modellering blir stadig mer populært som et verktøy for å håndtere mange aspekter av virksomheten. Sikre at dataanalyse er gjort riktig, vil øke tilliten til modellene som er ansatt - som i sin tur kan generere den nødvendige innkjøpet for prediktiv analyse for å bli en del av organisasjonens standard verktøykasse.

Kanskje denne økende populariteten kommer fra måtene som et prediktivt analyseprosjekt kan støtte beslutningsprosesser ved å lage modeller som beskriver datasett, oppdage mulige nye mønstre og trender (som indikert av dataene), og forutsi utfall med større pålitelighet.

For å oppnå dette målet må et prediktivt analyseprosjekt levere en modell som best passer dataene ved å velge beslutningsvariabler riktig og effektivt. Noen viktige spørsmål må besvares på vei til det målet:

• Hva er minimumsforutsetningene og beslutningsvariablene som gjør at modellen passer best til dataene?

• Hvordan sammenligner modellen under bygging med andre gjeldende modeller?

• Hvilke kriterier passer best for å evaluere og score denne modellen?

Nok en gang kan du ringe erfaringens opplevelse til redning: Domenekunnskapseksperter kan diskutere disse spørsmålene, tolke resultater som viser skjulte mønstre i dataene, og bidra til å verifisere og validere modellens utdata.

Hvordan beskrives begrensningene i den prediktive analysemodellen

En hvilken som helst prediktiv analysemodell har visse begrensninger basert på algoritmer den bruker og datasettet den kjører på. Du bør være oppmerksom på disse begrensningene og få dem til å fungere til din fordel; de som er knyttet til algoritmer, inkluderer

Hvorvidt dataene har ikke-lineære mønstre (ikke danner en linje)

Hvor høyt korrelerte variablene er (statistiske forhold mellom funksjoner)

Om variablene er uavhengige (ingen forhold mellom funksjoner)

For å overvinne begrensningene i modellen din, bruk lyden

kryssvalidering teknikker for å teste modellene dine. Start med å dele dataene dine i trening og teste datasett, og kjør modellen mot hver enkelt datasett separat for å evaluere og score prognosene for modellen. Slik tester og evaluerer din prediktive analysemodell

Ingen modell kan produsere 100 prosent nøyaktige prognoser; En hvilken som helst modell har potensial til å produsere unøyaktige resultater. Vær på utkikk etter noen signifikant variasjon mellom prognosene modellen din produserer og de observerte dataene - spesielt hvis modellens utganger motsetter sunn fornuft.Hvis det ser for bra ut, dårlig eller ekstremt til å være sant, så er det sannsynligvis ikke sant (til virkeligheten, uansett).

I evalueringsprosessen skal du grundig undersøke utgangene til modellene du tester og sammenligne dem med input-variablene. Modells prognoseevne bør svare på alle oppgitte forretningsmål som kjørte opprettelsen i utgangspunktet.

Hvis feil eller forstyrrelser kommer opp i modellens utgang, kan du prøve å spore dem tilbake til

Gyldigheten, påliteligheten og relativ sesongmessighet av dataene

• Forutsetninger brukt i modellen

• Variabler som ble inkludert eller utelukket i analysen

• Arbeid med bedriftsbrukere for å evaluere hvert trinn av modellens prosess; sørg for at modellutgangene enkelt kan tolkes og brukes i en virkelighetssituasjon. Balanse nøyaktigheten og påliteligheten til modellen med hvor enkelt modellens utganger kan tolkes og settes til praktisk bruk.

Slik unngår du ikke-skalerbare prediktive analysemodeller

Når du bygger en modell, behold alltid skalerbarhet i tankene. Kontroller alltid ytelsen, nøyaktigheten og påliteligheten til modellen i ulike skalaer. Modellen din skal kunne endre skalaen - og skala opp så stor som nødvendig - uten å falle fra hverandre eller gi ut dårlige spådommer.

Skalerbarhet var en ganske utfordring i fortiden. Prediktive modeller tok lang tid å bygge og løpe. Datasettene modellene kjørte på var små, og dataene var dyre å samle, lagre og søke. Men det var alt i "pre-big data" -tiden.

I dag er store data billig, rikelig og voksende. Faktisk venter et annet potensielt problem: Det formidable datavolumet som er tilgjengelig for øyeblikket, kan påvirke modellen negativt og forringe ytelsen, og utdatere modellen på relativt kort tid. Korrekt implementert, skalerbarhet kan hjelpe "fremtidssikker" modellen din.

Fremtiden er ikke den eneste trusselen. Selv i dagens elektroniske epoke kan streamede data overvelde en modell - spesielt hvis datastrømmene øker til en flom.

Datavolum alene kan føre til at beslutningsvariablene og forutsigbare faktorer vokser til gigantiske tall som krever kontinuerlig oppdatering til modellen. Så ja, modellen din hadde blitt bedre skalerbar - raskt skalerbar.