Skraping, innsamling og håndtering av dataloggerverktøy - dummies

Om du trenger data for å støtte en forretningsanalyse eller en kommende journalistikk, kan nettskraping hjelpe deg med å spore interessante og unike datakilder. I web-skraping konfigurerer du automatiserte programmer og lar dem skure nettet for de dataene du trenger. Her er szome gratis verktøy som du kan bruke til å skrape data eller bilder, inkludert import. io, ImageQuilts og DataWrangler.

Skrapdata med import. io

Har du noen gang prøvd å kopiere og lime inn et bord fra nettet til et Microsoft Office-dokument og da ikke kunne få kolonnene til å ordne seg riktig? Frustrerende, ikke sant? Dette er akkurat smertepunktet som importerer. Io ble designet for å adressere.

import. io - uttalt "import-eye-oh" - er et gratis skrivebordsprogram som du kan bruke til å smertefritt kopiere, lime inn, ren og formatere hvilken som helst del av en nettside med bare noen få museklikk. Du kan til og med bruke import. io for automatisk å krype og trekke ut data fra flersidelister.

Bruke import. Io, du kan skrape data fra en enkel eller komplisert serie av nettsider:

• Enkelt: Få tilgang til nettsidene gjennom enkle hyperkoblinger som vises på side 1, side 2, side 3.

• komplisert: > Fyll ut et skjema eller velg fra en rullegardinliste, og send deretter inn din skrapforespørsel til verktøyet. import. Io mest imponerende funksjon er evnen til å observere museklikkene for å lære hva du vil, og deretter tilby deg måter at den automatisk kan fullføre oppgavene for deg. Selv om importen. Jeg lærer og foreslår oppgaver, det tar ikke tiltak på disse oppgavene før etter at du har merket forslaget som riktig. Følgelig reduserer disse menneskelige forsterkede interaksjonene risikoen for at maskinen trekker en feil konklusjon på grunn av over-gjetting.

Innsamling av bilder med ImageQuilts

ImageQuilts er en Chrome-utvidelse utviklet delvis av den legendariske Edward Tufte, en av de første flotte pionerene i datavisualisering - han populariserte bruken av data-til- blekkforhold for å bedømme effektiviteten av diagrammer.

Oppgaven ImageQuilts utfører er villedende enkel å beskrive, men svært kompleks å implementere. ImageQuilts lager kollasjer med titalls bilder og deler dem alle sammen i en "quilt" som består av flere rader med samme høyde. Denne oppgaven kan være kompleks fordi kildebildene er nesten aldri like høye. ImageQuilts skraper og endrer bildene før de suges sammen i ett utgangsbilde.

Det viste bildeteppet ble avledet fra et «Merket for gjenbruk» Google Images-søk i termen

data science . ImageQuilts tillater deg selv å velge rekkefølgen på bildene eller å randomisere dem. Du kan bruke verktøyet til å dra og slippe et bilde til et hvilket som helst sted, fjerne et bilde, zoome alle bilder samtidig, eller zoome hvert bilde enkeltvis.

Du kan til og med bruke verktøyet til å skjule mellom bildefargene - fra farge til gråtoner eller invertert farge (som er nyttig for å lage kontaktark av negativer, hvis du er en av de sjeldne menneskene som fremdeles behandler analog fotografi).

Wrangling data med DataWrangler

DataWrangler er et online verktøy som støttes av University of Washington Interactive Data Lab (da DataWrangler ble utviklet, ble denne gruppen kalt Stanford Visualization Group). Den samme gruppen utviklet Lyra, et interaktivt datavisualiseringsmiljø som du kan bruke til å lage komplekse visualiseringer uten programmeringserfaring.

Hvis målet ditt er å

sculpt ditt datasett - eller rydde opp ting ved å flytte ting rundt som en billedhugger ville (splitt denne delen i to, skjær av den og flytte den der borte, trykk den ned slik at alt under det blir skiftet til høyre, og så videre) - DataWrangler er verktøyet for deg. Du kan gjøre manipulasjoner med DataWrangler ligner på hva du kan gjøre i Excel ved hjelp av Visual Basic. For eksempel kan du bruke DataWrangler eller Excel med Visual Basic til å kopiere, lime inn og formatere informasjon fra lister på Internett.

DataWrangler foreslår selv handlinger basert på datasettet og kan gjenta komplekse handlinger på tvers av hele datasettene - handlinger som å eliminere hoppede rader, dele data fra en kolonne til to, eller slå en overskrift inn i kolonnedata. DataWrangler kan også vise deg hvor datasettet mangler data.

Manglende data kan indikere en formateringsfeil som må ryddes opp.