Ser dataene dine riktig ut? - dummies

De fleste datasettene kommer med en slags metadata, som egentlig er en beskrivelse av dataene i fil. Metadata inneholder vanligvis beskrivelser av formatene, noen indikasjon på hvilke verdier som er i hvert datafelt, og hva disse verdiene betyr.

Når du møter et nytt datasett, må du aldri ta metadata til pålydende. Sjelden for store data krever at systemene som genererer det, holdes oppe og går så mye som mulig. Av denne grunn er det ikke alltid topp prioritet å oppdatere metadataene for disse systemene når endringer implementeres. Du må bekrefte at dataene egentlig er som metadatakravene.

Kontrollerer kildene dine

Så åpenbart som det kan høres, er det viktig at du har tro på hvor dataene kommer fra. Dette er spesielt viktig når du kjøper data. Tusenvis av leverandører der ute tilbyr alle mulige data. Og de er ikke alle likeverdige troverdigheter.

Før du kjøper data, prøv å forstå nøyaktig hvor og hvordan leverandøren samler den. Mystiskhet og vaghet er røde flagg.

Ikke bruk leverandører på deres ord. Ikke stole utelukkende på kundetilfredshetsposteringer på nettstedet eller klientreferanser levert av leverandøren. Hvis det er mulig, prøv å spore opp noen som bruker eller har brukt dataene.

Hvis dataene kommer fra interne systemer, er det fortsatt viktig å vurdere kildene. Ulike systemer har forskjellige formål og fokuserer derfor på ulike data. De kan også samle inn data på forskjellige tidspunkter.

For eksempel er det ikke uvanlig for noen hotellkjeder å bestille reservasjoner i et eget system fra den de bruker i resepsjonen når gjesten sjekker inn. Det er mulig at gjesten mottar Et rabattert tilbud mellom booking og innsjekking. Dette betyr at romprisen i reservasjonssystemet kanskje ikke samsvarer med frekvensen i resepsjonssystemet. I tillegg kan reservasjonen bli kansellert, og gjør det aldri til resepsjonen!

Nå, anta at du utfører en analyse av hotellinntektene etter by. Det er ganske viktig at du vet at romprisdataene hentes fra resepsjonen i stedet for reservasjonssystemet. Men hva om du prøver å analysere hvor mange bestillinger som ble generert av firmaets Super Bowl-kommersielle? I dette tilfellet vil du se data fra reservasjonssystemet.

Hotelleksemplet illustrerer at selv egentlig rent data kan være problematisk. Selv om dataene er nøyaktige og nøyaktig hva det hevder å være, kan timing være et problem.Data endres over tid.

Verifiseringsformater

Som nevnt tidligere i dette kapitlet, er en av de tingene som metadataene dine gir deg en indikasjon på hvordan dataene formateres. Med formatert, mener vi hvordan hvert enkelt dataelement ser ut. Er "Produktkode" et tegn eller tall? Er "Startdato" en dato, eller er det virkelig et datetime-stempel?

Datatyper er viktige i statistisk analyse fordi de dikterer hvilken statistikk og statistiske prosedyrer som kan brukes til hvilke dataelementer. Hvis du prøver å ta gjennomsnittsverdien av et tegnfelt som "Fornavn", vil du få en feilmelding hver gang.

Typisk er denne typen metadata ganske nøyaktig. Det lagres vanligvis av systemet som holder dataene og kan genereres automatisk. Verifisering av formatene er generelt ganske grei. Slike bekreftelse er i hovedsak et biprodukt av validering av dataområder diskutert i det følgende avsnitt. Men det er tilfeller hvor det kan være litt vanskeligere.

Vi har sett et slikt scenario flere ganger enn vi bryr oss om å huske. Det skjer noen ganger at når et system først er utviklet, forsøker utviklingslaget å legge litt fleksibilitet i datastrukturene for å imøtekomme fremtidige forbedringer. Noen ganger legger de bare en masse tomme (og brede) alfanumeriske datakolonner på slutten av hver post. Disse hjelpekolonnene er i utgangspunktet ikke brukt til noe.

Analytikere vil alltid ta feil på siden av å be om mer data enn mindre - ofte, alle data i stedet for noen. Dette faktum, kombinert med behovet for å hente dataene raskt, resulterer noen ganger i en datadump. Denne dumpen inneholder vanligvis hjelpekolonnene. I disse tilfellene forteller metadata deg noe som "Felt 1-11" er formatert som "200 alfanumeriske tegn. "

Slik informasjon er praktisk talt ubrukelig. For å gi mening om et datafelt som dette, trenger du ganske mye å få hendene skitne. Det er ikke mye du kan gjøre bortsett fra siden gjennom et par dusin poster og prøver å lage en informert gjetning om hva som egentlig er i feltet. I de fleste tilfeller pleier disse feltene å være tomme. Men ikke alltid. Den gode nyheten er at hvis feltet faktisk blir brukt, bør du kunne finne en programmerer et sted som vet hva det blir brukt til.

Skriv inn dataene dine

En av de mest kritiske trinnene i å utføre en statistisk analyse, er å sørge for at dataene dine er det som er meningen å være. Statistiske prosedyrer vil alltid krasje hvis du ikke gir dem gyldig informasjon om dataformater. Men disse prosedyrene er stort sett blinde for problemer med dataens gyldighet.

Forstå hvordan et datafelt er formatert, er det ikke nok. Før du skifter et datasett til en statistisk prosedyre, må du forstå hva dataene egentlig er i hvert av feltene du bruker.

De fleste data faller inn i en av fire kategorier: nominelt, ordinært, intervall og forhold.Datatypen bestemmer hva slags statistikk og statistiske prosedyrer som kan brukes på bestemte datafelt. Du kan ikke ta et gjennomsnitt av et felt som "Etternavn", for eksempel.

Forvirrende datatyper med dataformater er enkle (og altfor vanlige). Å vite om et datafelt er et tegn, heltall eller kontinuerlig, forteller deg ikke datatypen.

Tegnfelter brukes noen ganger som plassholdere for data som kan bli fanget i fremtidige utgivelser av et system. Det er ingenting å hindre at et slikt felt blir brukt til å fange penger eller annen numerisk data.

Den vanligste datatypen feil innebærer å anta at et numerisk felt, spesielt et heltverdiert felt, faktisk inneholder numeriske ordinære data. Det er svært vanlig for bedrifter å bruke numeriske koder ( nominelle data) for å representere produkter, regioner, butikker og ulike andre enheter.

Flyselskapsflygingskoder er et eksempel. Sensusregioner er en annen. Selv kredittkort og personnummer er vanligvis lagret som heltall. Men alle disse enhetene er bare identifikatorer. De er nominelle variabler. gjennomsnittlig kredittkortnummer i en banks portefølje er en meningsløs statistikk.