Hjem Personlig finansiering Bilde Klassifisering med Hadoop - dummies

Bilde Klassifisering med Hadoop - dummies

Video: [7] Likert test - Analytisk statistikk 2024

Video: [7] Likert test - Analytisk statistikk 2024
Anonim

Bildeklassifisering krever En betydelig mengde databehandlingsressurser, som imidlertid har begrenset omfanget av distribusjon. Bildeklassifisering er et hett tema i Hadoop-verdenen fordi ingen vanlig teknologi var i stand til - til Hadoop kom sammen - å åpne dører for denne typen dyre behandling i så stor og effektiv skala.

Bildeklassifisering starter med ideen om at du bygger et treningssett og at datamaskiner lærer å identifisere og klassifisere hva de ser på. På samme måte som det å ha flere data bidrar til å bygge bedre svindeldeteksjons- og risikomodeller, hjelper det også systemer for å bedre klassifisere bilder.

I dette brukssaken refereres dataene til treningssettet, samt modellene er klassifiserende. Classifiers gjenkjenner funksjoner eller mønstre i lyd, bilde eller video og klassifiser dem på riktig måte. Klassifikatorer er bygget og iterativt raffinert fra treningssett slik at deres presisjonspoeng (et mål for nøyaktighet) og tilbakekallingspoeng (et mål for dekning) er høye. Hadoop passer godt til bildeklassifisering fordi den gir et massivt parallelt behandlingsmiljø for ikke bare å opprette klassifiseringsmodeller (iterating over treningssett), men gir også nesten ubegrenset skalerbarhet for å behandle og kjøre disse klassifiseringene på tvers av massive sett med ustrukturerte datamengder.

Tenk på multimediekilder som YouTube, Facebook, Instagram og Flickr - alt er kilder til ustrukturerte binære data. Figuren viser en måte at du kan bruke Hadoop til å skalere behandlingen av store mengder lagrede bilder og video for multimedia semantisk klassifisering.

Du kan se hvordan alle konseptene knyttet til Hadoop-behandlingsrammen blir brukt på disse dataene. Legg merke til hvordan bilder lastes inn i HDFS. Klassifiseringsmodellene, bygget over tid, blir nå brukt på de ekstra bildegenskapskomponentene i kartfasen av denne løsningen. Som du ser i nederste høyre hjørne, består utgangen av denne behandlingen av bildeklassifiseringer som spenner fra tegneserier til sport og steder, blant annet.

Hadoop kan også brukes til lyd- eller stemmeanalyser. En sikkerhetsindustri klient vi jobber med skaper et lyd klassifiseringssystem for å klassifisere lyder som høres via akustisk berikede fiberoptiske kabler som ligger rundt omkretsen av atomreaktorer.

Dette systemet vet for eksempel hvordan man nesten umiddelbart klassifiserer hvisken av vinden i forhold til hvisken av en menneskelig stemme eller for å skille lyden av menneskelige fotspor som går i perimeterparkene fra dyrelivet.

Denne beskrivelsen kan ha en slags

Star Trek følelse av det, men du kan nå se levende eksempler. Faktisk gjør IBM det offentlige et av de største bildeklassifiseringssystemene i verden, via IBM Multimedia Analysis and Retrieval System (IMARS). Her er resultatet av et IMARS-søk for begrepet

alpint skisport. På toppen av figuren kan du se resultatene fra klassifiseringene som er kartlagt til bildesettet som ble behandlet av Hadoop, sammen med en tilhørende tagsky. Merk den mer grovde definerte overordnede klassifiseringen, i motsetning til den mer granulære. Faktisk merk merke til flere klassifiseringsklasser: ruller inn, som ruller inn - alle genereres automatisk av klassifiseringsmodellen, bygget og scoret med Hadoop.

Ingen av disse bildene har noen ekstra metadata. Ingen har åpnet iPhoto og merket et bilde som en vintersport for å få det til å dukke opp i denne klassifiseringen. Det er vinter sport klassifiserer som ble bygget for å gjenkjenne bildegenskaper og egenskaper av sport som spilles i en vinterinnstilling.

Bilde klassifisering har mange applikasjoner, og å kunne utføre denne klassifiseringen i massiv skala ved å bruke Hadoop åpner flere muligheter for analyse, da andre applikasjoner kan bruke klassifikasjonsinformasjonen generert for bildene.

Se på dette eksemplet fra helsevesenet. Et stort helseforetak i Asia var fokusert på å levere helsetjenester via mobilklinikker til en landbefolkning fordelt på en stor landmasse. Et betydelig problem som byrået møtte var den logistiske utfordringen ved å analysere medisinske bildedata som ble generert i sine mobile klinikker.

En radiolog er en knapp ressurs i denne delen av verden, så det var fornuftig å overføre de medisinske bildene elektronisk til et sentralt punkt og få en hær av leger å undersøke dem. Legene som undersøkte bildene ble imidlertid raskt overbelastet.

Byrået jobber nå med et klassifikasjonssystem for å identifisere mulige forhold for effektivt å gi forslag til legene om å verifisere. Tidlig testing har vist denne strategien for å redusere antall tapte eller unøyaktige diagnoser, sparer tid, penger og - mest av alt - lever.

Bilde Klassifisering med Hadoop - dummies

Redaktørens valg

Hvordan å stable og gruppereformer i Word 2013 - dummies

Hvordan å stable og gruppereformer i Word 2013 - dummies

Enkeltformer kan noen ganger være nyttige i en dokument, men den virkelige kraften til Word 2013's Shapes-funksjonen kan bli funnet ved å kombinere figurer for å lage mer komplekse tegninger og logoer. Du kan stable formene oppå hverandre og kontrollere rekkefølgen de vises i stakken. Når du har ...

Hvordan du angir punktavstand i Word 2013 - dummies

Hvordan du angir punktavstand i Word 2013 - dummies

Word 2013 lar deg legge til "luft" til plass før eller etter eller i midten av avsnittene dine. I midten av avsnittet har du linjeavstand. Før og etter avsnittet kommer punktavstand. Hvordan sette linjeavstanden Endre linjeavstanden legger til ekstra mellomrom mellom alle tekstlinjer ...

Slik starter du et nytt dokument i Word 2007 - dummies

Slik starter du et nytt dokument i Word 2007 - dummies

Starter et nytt dokument i Word 2007 er lett. Hvis du nettopp har startet Word 2007 og vil åpne et tomt dokument, kan du følge tre enkle trinn.

Redaktørens valg

Slik oppretter du en AWS Administrator User - Dummies

Slik oppretter du en AWS Administrator User - Dummies

Opprett Administrator-gruppen er det første trinnet for å sikre at din AWS (Amazon Web Services) -kontoen er fortsatt trygg. Det neste trinnet er å opprette en konto for deg selv og tilordne den til administratorgruppen, slik at du har full tilgang til de administrative funksjonene i din AWS-konto. Følgende trinn beskriver hvordan ...

Vurderer AWS-støttede plattformer - dummies

Vurderer AWS-støttede plattformer - dummies

Hvis du ikke har behandlet AWS eller skyen ennå, du kan være fristet til å tenke på plattformer som en bestemt kombinasjon av gjenstander. For eksempel, når du ser ditt eget lokale oppsett, har du en server som kjører et bestemt operativsystem og har et bestemt sett med maskinvareressurser. Systemet har en bestemt ...

Lage skuffer på Amazon Web Services - dummies

Lage skuffer på Amazon Web Services - dummies

Når du er den stolte eieren av Amazon Web Services (AWS ) konto, det er på tide å gjøre noe nyttig, som å lage en bøtte. Start med å sjekke ut dine S3-ressurser. For å gjøre det, klikk S3-lenken på startsiden for AWS Management Console, som vist her: Du er tatt til en side som lar deg administrere ...

Redaktørens valg

Slik bruker du Eye-Fi med Evernote-dummies

Slik bruker du Eye-Fi med Evernote-dummies

Et selskap kalt Eye-Fi gjør det mulig å Koble kameraet ditt med Evernote, selv uten å koble kameraet til datamaskinen. Følg disse trinnene for å bruke Eye-Fi: Følg instruksjonene som følger med Eye-Fi-kortet for å konfigurere en Eye-Fi-konto. Sett inn Eye-Fi-kortet i kameraet. Slå på kameraet ditt. ...

Hvordan man merker på Evernote for datamaskiner og tabletter - dummies

Hvordan man merker på Evernote for datamaskiner og tabletter - dummies

Hele poenget med å lagre nyttig informasjon er for å kunne finne den senere. Tagging i Evernote er fundamentalt lik for alle plattformer og er ekstremt nyttig når du dash om å prøve å skrive inn notater på hvilken enhet du bruker på den tiden. For å lage en tagg for et notat på en datamaskin eller ...