Hvorfor duplikater betyr noe
Duplikater kaster bort regnekraft, får en modell til å vekte gjentatte eksempler for tungt og, verst av alt, lekker mellom trenings- og testdata, slik at resultatene ser bedre ut enn modellen egentlig er. Innhentede og sammenslåtte datasett er fulle av dem.
Eksakte kopier
Identiske filer har samme hashverdi. Å beregne hash for hver fil går raskt og fanger kopier med andre navn eller i andre mapper.
Nesten-kopier
- Bilder: versjoner som er skalert, komprimert på nytt, beskåret eller lett redigert. Perseptuelle hasher eller bilde-embeddinger finner dem.
- Video: nye kodinger og klipp fra samme opptak. Sammenlign prøvetatte bilderuter.
- Tekst: maler, siterte svar, signaturer og kopierte avsnitt. Shingling og likhetssøk finner overlappende passasjer.
Sjekk på tvers av oppdelingen
Sammenlign treningsdata med validerings- og testdata, ikke bare innenfor hvert sett. Del opp etter kilde der du kan, så kopier av samme element havner på samme side.
Bestem hvilken kopi du beholder
Behold den beste versjonen (høyest oppløsning, mest fullstendig tekst) og registrer de andre som kopier i stedet for å slette dem, så avgjørelsen kan etterprøves.