Hjem Personlig finansiering Teller objekter i en datastrøm - dummier

Teller objekter i en datastrøm - dummier

Video: Web Apps of the Future with React by Neel Mehta 2025

Video: Web Apps of the Future with React by Neel Mehta 2025
Anonim

Lære å telle objekter i en strøm kan hjelpe deg med å finne de hyppigste gjenstandene eller rangere vanlige og uvanlige hendelser. Denne algoritmen utnytter hashfunksjoner og omtrentlige skisser. Det gjør det etter at du har filtrert dupliserte objekter og teller forskjellige elementer som har dukket opp i datastrømmen.

Du bruker denne teknikken til å løse problemer som å finne de hyppigste spørsmålene i en søkemotor, de bestselgende elementene fra en nettbutikk, de mest populære sidene på et nettsted eller de mest volatile aksjene (ved å telle tiden en aksje er solgt og kjøpt).

Du bruker løsningen på dette problemet, Count-Min Sketch, til en datastrøm. Det krever bare én datafort og lagrer så lite informasjon som mulig. Denne algoritmen brukes i mange virkelige situasjoner (for eksempel å analysere nettverkstrafikk eller administrere distribuerte datastrømmer). Oppskriften krever bruk av en haug med hashfunksjoner, hver med tilknytning til en bitvektor, på en måte som ligner et blomstfilter, som vist i figuren:

  1. Initialiser alle bitvektorene til nuller i alle posisjoner.
  2. Bruk hash-funksjonen for hver bitvektor når du mottar en gjenstand fra en strøm. Bruk den resulterende numeriske adressen til å øke verdien på den aktuelle posisjonen.
  3. Bruk hash-funksjonen til en gjenstand og hent verdien på tilhørende posisjon når du blir bedt om å estimere frekvensen til et objekt. Av alle verdiene mottatt fra bitvektorene, tar du det minste som frekvensen av strømmen.

Hvordan verdier oppdateres i en Count-Min Sketch.

Fordi kollisjoner alltid er mulige når du bruker en hashfunksjon, spesielt hvis den tilhørende bitvektoren har få spor, har flere bitvektorer tilgjengelig for hånden at minst en av dem beholder den riktige verdien. Valget av valget skal være det minste fordi det ikke er blandet med falske positive teller på grunn av kollisjoner.

Teller objekter i en datastrøm - dummier

Redaktørens valg

10 Tips for visuelt analysere og presentere data i Excel - dummies

10 Tips for visuelt analysere og presentere data i Excel - dummies

Her er noen konkrete forslag om hvordan du med hell kan bruke diagrammer som dataanalyseværktøy i Excel, og hvordan du kan bruke diagrammer for å mer effektivt kommunisere resultatene av dataanalysen du gjør. Bruk riktig diagramtype Hva mange mennesker ikke skjønner er at du bare kan lage fem ...

10 Måter å forbedre Power Pivot Performance - dummies

10 Måter å forbedre Power Pivot Performance - dummies

Når du publiserer Power Pivot-rapporter på nettet, har du tenkt for å gi publikum den beste opplevelsen som er mulig. En stor del av denne erfaringen er å sikre at ytelsen er god. Ordet ytelse (som det gjelder applikasjoner og rapportering) er vanligvis synonymt med hastighet - eller hvor raskt et program utfører bestemte handlinger ...

Legger ekstra analyselagre til Excel-diagrammer - dummies

Legger ekstra analyselagre til Excel-diagrammer - dummies

Det er ikke uvanlig å bli bedt om å legge til Ekstra analyse til din visualisering som vanligvis ikke er plottet på et Excel-diagram. For eksempel viser dette diagramet salg for hvert kvartal, men klienten vil kanskje også se prosentveksten i samme kvartal. De fleste Excel-analytikere oppfyller dette behovet med faktiske tekstbokser. ...

Redaktørens valg

Data Visualisering Storyboard: Dokumentasjon Key Performance Indicators (KPIs) - dummies

Data Visualisering Storyboard: Dokumentasjon Key Performance Indicators (KPIs) - dummies

Forstå nøkkelmålinger som publikum må vise, overvåke eller spore er det siste skrittet i utviklingen av historien din. Enkelt sagt er en nøkkelindikator (KPI) en kjerne-måling som knytter seg direkte til selskapets mål. Gjennomføre scoping-workshops Den beste måten å jobbe med publikum på for å dokumentere KPI-er er ...

Data Visualisering Storyboard: Dokumentasjonsmål - dummies

Data Visualisering Storyboard: Dokumentasjonsmål - dummies

Å Få en klar forståelse av målgruppens mål og eksisterende smertepunkter vil hjelpe du bestemmer hva du skal inkludere og - enda viktigere - hva som ikke skal inkluderes i storyboardet. Den enkleste måten å gjøre dette på, kan være å holde en liten planleggingsøkt som inkluderer executive sponsor (hvis det er en) og ...

Data Visualisering Storyboard: Identifisere målgruppen din - dummies

Data Visualisering Storyboard: Identifisere målgruppen din - dummies

Det første trinnet i å utvikle et klart storyboard for deg datavisualisering identifiserer publikum. Hvem du bygger data visualisering for å bestemme hvilken type storyboard du utvikler og hvilket nivå av data du viser. Den enkleste måten å klassifisere målgruppen din er å se på to enkle komponenter: forretningsområde ...

Redaktørens valg

ACT-strategi for å multiplisere en horisontal matrise med en vertikal matrise - dummies

ACT-strategi for å multiplisere en horisontal matrise med en vertikal matrise - dummies

På ACT Matematisk test, du må sannsynligvis multiplisere par matriser som har enten en rad eller en kolonne. En enkel måte å formere en horisontal matrise med en vertikal matris er å sette opp et lite rutenett. Denne metoden lar deg fylle ut tallene for å få det riktige svaret. Matrix ...

ACT-strategi for å løse en matrise ved hjelp av en determinant-dummies

ACT-strategi for å løse en matrise ved hjelp av en determinant-dummies

Er en determinant en vanlig operasjon utført på en firkantet matrise. På ACT Math-testen er den eneste determinantformelen du trenger å være kjent med, for en 2 x 2-matrise. Her er formelen for determinanten av Merk at determinanten av en matrise bare er et tall, ikke en matrise. Å ...

ACT Trick for Quadratics: Slik finner du raskt en Parabola-dummies retning

ACT Trick for Quadratics: Slik finner du raskt en Parabola-dummies retning

For å spare tid når du graver en kvadratisk funksjon på ACT Math-testen, kan du raskt bestemme retningen for parabolen ved hjelp av et enkelt triks basert på koeffisienten a. Dette trikset vedrører tegnet på variabelen a (i uttrykket ax2): Når a er positivt, er grafen konkav opp. I ...