Slik bruker du datautjevning i Prediktiv Analytics - dummier

Datautjevning i prediktiv analyse forsøker i hovedsak å finne "signalet" i "støy" av kasserer datapunkter som betraktes som "støyende". Tanken er å skarpere mønstrene i dataene og markere trender dataene peker på.

Implikasjonen bak datautjevning er at dataene består av to deler: en del (som består av kjerne datapunkter ) som betyr generelle trender eller virkelige trender, og en annen del som hovedsakelig består av avvik støy ) - noen svingende punkter som skyldes noe volatilitet i dataene. Datautjevning forsøker å eliminere den andre delen.

Slik slår du av støyen

Datautjevning virker på flere forutsetninger:

Denne svingningen i data er sannsynlig å være støy.
At den støyende delen av dataene er kortvarig.
At dataets svingning, uavhengig av hvor variert det kan være, vil ikke påvirke de underliggende trender som er representert av kjerne datapunkter.

Støy i data har en tendens til å være tilfeldig; dets svingninger bør ikke påvirke de generelle trendene som er trukket fra å undersøke resten av dataene. Så å redusere eller eliminere støyende datapunkter kan klargjøre reelle trender og mønstre i dataene - i virkeligheten, forbedre dataets "signal-til-støy-forhold. “

Forutsatt at du har identifisert støyen riktig og deretter redusert, kan datautjevning hjelpe deg med å forutsi neste observerte datapunkt ganske enkelt ved å følge de store trender du har oppdaget i dataene.

Datautjevning gjelder selve flertallet av datapunktene, deres posisjoner i en graf og hva de resulterende mønstrene spår om den generelle trenden av (si) en aksjekurs, om den generelle retningen er opp, ned eller sidelengs.

Denne teknikken vil ikke nøyaktig forutsi den nøyaktige prisen på neste handel for et gitt lager - men å forutse en generell trend kan gi mer kraftig innsikt enn å vite den faktiske prisen eller svingningene.

En prognose basert på en generell trend utledet av utjevnet data antar at hvilken retning dataene har fulgt så langt, vil fortsette inn i fremtiden på en måte som stemmer overens med trenden. På aksjemarkedet, for eksempel, er tidligere resultater ingen bestemt indikasjon på fremtidig ytelse, men det kan sikkert være en generell veiledning for fremtidig bevegelse av aksjekursen.

Metoder, fordeler og ulemper ved utjevning av data

Datautjevning er ikke forvekslet med tilpassing av en modell, som er en del av dataanalysen som består av to trinn:

Finn en egnet modell som representerer dataene.
Pass på at modellen passer dataene effektivt.

Datautjevning fokuserer på å etablere en grunnleggende retning for kjernedatapunktene ved å (1) ignorere eventuelle støyende datapunkter og (2) tegne en jevnere kurve gjennom datapunktene som hopper over de vriende og understreker primære mønstre - trender - i dataene, uansett hvor sakte deres fremkomst. Følgelig tjener datautjevning i en numerisk tidsserie som en form for filtrering.

Datautjevning kan bruke en av følgende metoder:

Tilfeldig gange er basert på ideen om at neste utfall eller fremtidige datapunkt er et tilfeldig avvik fra den siste kjente eller nåværende datapunktet.
Moving gjennomsnittlig er et løpende gjennomsnitt av påfølgende, like fordelte perioder. Et eksempel var beregningen av et 200-dagers glidende gjennomsnitt på en aksjekurs.
Eksponentiell utjevning tilordner eksponentielt mer vekt eller viktighet til nyere datapunkter enn til eldre datapunkter.
- Enkelt: Denne metoden skal brukes når tidsseriedataene ikke har noen trend og ingen sesongmessighet.
- Lineær: Denne metoden bør brukes når tidsseriedataene har en trendlinje.
- Seasonal: Denne metoden bør brukes når tidsseriedataene ikke har noen trend, men sesongmessigheten.

Hva disse utjevningsmetodene alle har til felles, er at de utfører en slags gjennomsnittsprosess på flere datapunkter. Slike gjennomsnitt av tilstøtende datapunkter er den viktigste måten å nullle på underliggende trender eller mønstre.

Fordelene ved datautjevning er

Det er enkelt å implementere.
Det hjelper å identifisere trender.
Det hjelper med å avsløre mønstre i dataene.
Det eliminerer datapunkter som du har bestemt ikke er av interesse.
Det hjelper med å forutsi den generelle retningen til de neste observerte datapunktene.
Det genererer fine, glatte grafer.

Men alt har en ulempe. Ulempene med datautjevning er

Det kan eliminere gyldige datapunkter som skyldes ekstreme hendelser.
Det kan føre til unøyaktige spådommer hvis testdataene kun er sesongmessige og ikke fullt ut representative av virkeligheten som genererte datapunktene.
Det kan skifte eller skje dataene, spesielt toppene, noe som resulterer i et forvrengt bilde av hva som skjer.
Det kan være sårbart for signifikant forstyrrelse fra utestengere innenfor dataene.
Det kan føre til en stor avvik fra de opprinnelige dataene.

Hvis datautjevning bare gir dataene bare en ansiktsløftning, kan den tegne en grunnleggende feil på følgende måter:

Det kan introdusere feil gjennom forvrengninger som behandler de jevne dataene som om de var identiske med originalen data.
Det kan skje tolkning ved å ignorere - og gjemme - risiko innebygd i dataene.
Det kan føre til tap av detaljer i dataene dine - noe som gjør at en glatt kurve kan avvike sterkt fra den opprinnelige data.

Hvor alvorlig datautjevning kan påvirke dataene dine avhenger av innholdet av dataene ved hånden, og hvilken utjevningsteknikk som ble implementert på disse dataene.For eksempel, hvis de opprinnelige dataene har flere topper i det, vil datautjevning føre til større skifting av disse toppene i de glatte grafer - mest sannsynlig en forvrengning.

Her er noen advarselspunkter å huske på når du nærmer deg datautjevning:

Det er en god ide å sammenligne glatte grafer til uberørte grafer som plotter de opprinnelige dataene.
Datapunkter fjernet under datautjevning kan ikke være støy; de kan være gyldige, virkelige datapunkter som er resultatet av sjeldne, men ekte hendelser.
Datautjevning kan være nyttig i moderering, men overforbruk kan føre til feilaktig visning av dataene dine.

Ved å bruke din faglige vurdering og bedriftskunnskapskunnskap, kan du bruke datautjevning effektivt. Fjernelse av støy fra dataene dine - uten å påvirke nøyaktigheten og nytten til de opprinnelige dataene - er minst like mye kunst som en vitenskap.