Begrensningene til dataene i Prediktiv Analytics - Dummies

Som med mange aspekter av ethvert forretningssystem, er data en menneskelig skapelse - så det er mulig å ha noen begrensninger på brukbarheten når du først få det. Her er en oversikt over noen begrensninger du sannsynligvis vil støte på:

• Dataene kan være ufullstendige. Manglende verdier, til og med mangel på en seksjon eller en vesentlig del av dataene, kan begrense brukbarheten.

  Dataene dine kan for eksempel bare dekke ett eller to forhold for et større sett som du prøver å modellere - som når en modell som er bygget for å analysere aksjemarkedsresultater, bare har data tilgjengelig fra de siste 5 årene, som skjelner begge dataene og modellen mot antagelsen om et oksemarked.

  I det øyeblikket markedet gjennomgår en korreksjon som fører til et bjørnmarked, unnlater modellen å tilpasse seg - bare fordi den ikke ble utdannet og testet med data som representerer et bjørnmarked.

  Pass på at du ser på en tidsramme som gir deg et komplett bilde av de naturlige svingningene i dataene dine; Dine data bør ikke begrenses av sesongmessig .

• Hvis du bruker data fra undersøkelser, husk at folk ikke alltid gir nøyaktig informasjon. Ikke alle vil svare sannferdig om (si) hvor mange ganger de trener - eller hvor mange alkoholholdige drikker de forbruker - per uke. Folk kan ikke være uærlig så mye som selvbevisst, men dataene er fortsatt skjevt.

• Data samlet fra forskjellige kilder kan variere i kvalitet og format. Data samlet fra så forskjellige kilder som spørreundersøkelser, e-postmeldinger, dataregistreringsskjemaer, og selskapets nettsted vil ha forskjellige egenskaper og strukturer. Data fra ulike kilder kan ikke ha mye kompatibilitet mellom datafeltene. Slike data krever stor forbehandling før den er analyseklar. Den tilhørende sidebaret gir et eksempel.

Data samlet fra flere kilder kan ha forskjeller i formatering, dupliserte poster og inkonsekvenser på tvers av sammenslåtte datafelt. Forvent å bruke lang tid på å rense slike data - og til og med lenger validere påliteligheten.

For å bestemme begrensningene for dataene dine, vær sikker på at:

• Verifiser alle variablene du vil bruke i din modell.

• Vurder omfanget av dataene, spesielt over tid, slik at modellen din kan unngå sesongfellesskapet.

• Kontroller manglende verdier, identifiser dem og vurder deres innflytelse på den samlede analysen.

• Se opp for ekstreme verdier (outliers) og avgjøre om de skal inkluderes i analysen.

• Bekreft at treningsbassenget og testdataene er store nok.

• Pass på at datatype (heltall, desimalverdier eller tegn osv.) Er riktig og sett de øvre og nedre grensene for mulige verdier.

• Vær ekstra oppmerksom på dataintegrasjon når dataene kommer fra flere kilder.

Pass på at du forstår datakilder og deres innvirkning på den generelle kvaliteten på dataene dine.

• Velg et relevant datasett som er representativt for hele befolkningen.

• Velg de riktige parameterne for analysen din.

Selv etter all denne oppmerksomheten, vær ikke overrasket hvis dataene dine fortsatt trenger forhåndsbehandling før du kan analysere det nøyaktig. Preprocessing tar ofte lang tid og betydelig innsats fordi den må ta opp flere problemer relatert til de opprinnelige dataene. Disse problemene inkluderer:

• Ingen verdier mangler fra dataene.

• Eventuelle uoverensstemmelser og / eller feil som finnes i dataene.

• Eventuelle duplikater eller avvikere i dataene.

• Enhver normalisering eller annen transformasjon av dataene.

• Eventuelle avledede data som trengs for analysen.