Hvordan du håndterer dupliserte verdier i dataene dine - dummier

Data lagres på forskjellige måter i forskjellige systemer. Så det er ingen overraskelse at når du samler og konsoliderer data fra ulike kilder, er det mulig at duplikater dukker opp. Spesielt er det som gjør en individuell rekord unik, forskjellig for forskjellige systemer.

Sammendrag av investeringskonto er vedlagt et kontonummer. En porteføljesammendrag kan lagres på individuelt eller husholdningsnivå. Og handelshistorikken til alle disse kontoene lagres på det enkelte transaksjonsnivå.

Det er viktig å være klar over hva som skal skille unike poster i datafilen. For eksempel, hvis det er en transaksjonsnivåfil, blir kontonumre og husstands-IDer duplisert. Så lenge du forstår dette og foretar en transaksjonsnivåanalyse, blir du greit.

Men hvis du er interessert i å bruke disse dataene for å analysere antall kontoer som beholdes av hver husstand, vil du få problemer. Husholdninger som handler oftere vil ha flere poster enn de som ikke handler veldig mye. Du må ha en fil på kontonivå.

Det er ikke spesielt vanskelig å fjerne dupliserte poster. De fleste statistiske pakker og databasesystemer har innebygde kommandoer som gruppeposter sammen. (Faktisk, i databasenspråk SQL, kalles denne kommandoen Group By.)