Unngår prøvestråler og lekkasjer i maskinlæringen

Valideringsmetoden til maskinlæring er en undersøkelse av et mulig middel for innsampling bias. In-sampling bias kan skje med dataene dine før maskinlæring tas i bruk, og det medfører høy variasjon av følgende estimater. I tillegg bør du være oppmerksom på lekkasjer som kan oppstå når noen opplysninger fra utvalget av prøver passerer til in-sample data. Dette problemet kan oppstå når du utarbeider dataene eller etter at maskinens læringsmodell er klar og klar.

Løsningen, som kalles ensembling av prediktorer, virker perfekt når treningsprøven ikke er fullstendig forvrengt, og fordelingen av den er forskjellig fra utvalget, men ikke på en ugjennomtrengelig måte, slik som som når alle dine klasser er til stede, men ikke i riktig grad (som et eksempel). I slike tilfeller påvirkes resultatene av en viss variasjon av estimatene som du muligens kan stabilisere på en av flere måter: ved resampling, som i oppstart, ved subsampling (ta en prøve av prøven); eller ved å bruke mindre prøver (som øker bias).

For å forstå hvordan ensembling fungerer så effektivt, visualiser bildet av et tyrens øye. Hvis prøven din påvirker spådommene, vil noen spådommer være nøyaktige, og andre vil gå galt på en tilfeldig måte. Hvis du endrer prøven, vil de riktige spådommene fortsette å være riktig, men de feilene vil begynne å variere mellom forskjellige verdier. Noen verdier vil være den nøyaktige prediksjonen du leter etter; andre vil bare oscillere rundt den rette.

Ved å sammenligne resultatene kan du gjette at det som er gjentakende er det riktige svaret. Du kan også ta et gjennomsnitt av svarene og gjette at det riktige svaret skal være midt i verdiene. Med Bull's-Eye-spillet kan du visualisere overlagring av bilder av forskjellige spill: Hvis problemet er varianse, vil du til slutt gjette at målet er i det mest truede området eller i det minste i midten av alle bildene.

I de fleste tilfeller viser en slik tilnærming seg å være riktig og forbedrer maskinens læringsprognoser mye. Når problemet ditt er forstyrrende og ikke varians, betyr det ikke at du bruker ensembling skade hvis du ikke sampler for få prøver. En god tommelfingerregel for subsampling er å ta et utvalg fra 70 til 90 prosent sammenlignet med de opprinnelige dataene i prøven. Hvis du vil lage ensembling arbeid, bør du gjøre følgende:

• Gjør et stort antall ganger gjennom dataene dine og modellene (fra minst tre iterasjoner til idealt hundrevis av ganger).
• Hver gang du repeterer, kan du prøve å samle inn data (eksempelvis oppstart).
• Bruk maskinlæring for modellen på de resamplerte dataene, og forutsi resultatene utenfor prøven. Oppbevar disse resultatene for senere bruk.
• På slutten av iterasjonene, for alle tilfeller der du ikke ønsker å forutsi, ta alle sine spådommer og gjennomsnitts dem hvis du gjør en regresjon. Ta den hyppigste klassen hvis du gjør en klassifisering.

Lekkasjefeller kan overraske deg fordi de kan vise seg å være en ukjent og uoppdaget kilde til problemer med maskinens læringsprosesser. Problemet er snooping, eller på annen måte observerer dataene utenfor prøven for mye og tilpasser seg det for ofte. Kort sagt, snooping er en slags overfitting - og ikke bare på treningsdataene, men også på testdataene, noe som gjør overfittingproblemet selv vanskeligere å oppdage til du får friske data.

Vanligvis innser du at problemet er snooping når du allerede har brukt maskinlæringsalgoritmen til din bedrift eller til en tjeneste for publikum, noe som gjør problemet et problem som alle kan se.

Du kan unngå snooping på to måter. Først når du bruker dataene, må du passe på å skille opp trenings-, validerings- og testdataene nøye. Også, når du behandler, aldri ta informasjon fra validering eller test, selv de mest enkle og uskyldige eksemplene. Verre er fortsatt å bruke en kompleks transformasjon ved hjelp av alle dataene.

I økonomi er det for eksempel velkjent at beregning av gjennomsnitt og standardavvik (som faktisk kan fortelle deg mye om markedsforhold og risiko) fra alle opplærings- og testdataene, kan lekke dyrebar informasjon om modellene dine. Når lekkasje skjer, utfører maskinalæringsalgoritmer spådommer på testsettet i stedet for dataene utenfor dataene fra markedene, noe som betyr at de ikke fungerte i det hele tatt og dermed forårsaker tap av penger.

Kontroller ytelsen til eksemplene dine utenfor prøven. Faktisk kan du få tilbake noe informasjon fra snooping på testresultatene for å hjelpe deg med å finne ut at bestemte parametere er bedre enn andre, eller føre deg til å velge en maskinlæringsalgoritme i stedet for en annen. For hver modell eller parameter, bruk ditt valg basert på kryssvalideringsresultater eller fra valideringsprøven. Aldri faller for å få takeaways fra dataene dine utenom prøven, eller du vil angre på det senere.