Grunnleggende om K-Means og DBSCAN Clustering Models for Predictive Analytics - dummies

Unsupervised læring har mange utfordringer for prediktiv analyse - inkludert ikke å vite hva du kan forvente når du kjører en algoritme. Hver algoritme vil produsere forskjellige resultater; Du vil aldri være sikker på om ett resultat er bedre enn det andre - eller om resultatet har noen verdi.

Når du vet hva resultatene skal være, kan du tilpasse algoritmen til å produsere de ønskede resultatene. I virkelige datasett vil du ikke ha denne luksusen. Du må avhenge av litt tidligere kunnskap om dataene - eller intuisjonen - for å bestemme hvilke initialiseringsparametere og algoritmer som skal brukes mens du lager din modell.

I virkelige uovervåtte læringsoppgaver er denne forkunnskapen imidlertid utilgjengelig og det ønskede resultatet er vanskelig å finne. Å velge riktig antall klynger er nøkkelproblemet. Hvis du tilfeldigvis snubler over riktig antall klynger, vil dataene gi innsikt som du kan lage svært nøyaktige spådommer. På baksiden kan gjetning av feil antall klaser gi lavere resultater.

K-algoritmen er et godt valg for datasett som har et lite antall klynger med proporsjonale størrelser og lineært separerbare data - og du kan skalere den opp for å bruke algoritmen på svært store datasett.

Tenk på lineært separerbare data som en haug med poeng i en graf som kan skilles med en rett linje. Hvis dataene ikke er lineært separerbare, må mer avanserte versjoner av K-midler være ansatt - noe som vil bli dyrere beregningsmessig og kan ikke være egnet for meget store datasett. I sin standardimplementasjon er kompleksiteten til å beregne klyngesentrene og avstandene lave.

K-betyr er mye ansatt for å løse problemer med store data fordi den er enkel å bruke, effektiv og svært skalerbar. Ikke rart at de fleste kommersielle leverandører bruker K-middelalgoritmen som en nøkkelkomponent i sine prediktive analysepakker.

Implementeringen av DBSCAN (Density-Based Spatial Clustering of Applications with Noise) i scikit-lær krever ingen brukerdefinerte initialiseringsparametere for å opprette en forekomst. Du kan overstyre standardparametrene under initialisering hvis du vil. Dessverre, hvis du bruker standardparametrene, kan algoritmen ikke gi nært samsvar med ønsket utfall.

DBSCAN passer bedre til datasett som har uforholdsmessige klyngestørrelser, og hvis data kan skilles på en ikke-lineær måte.Som K-betyr, er DBSCAN skalerbar, men bruk av det på svært store datasett krever mer minne og datakraft.