Warum Duplikate wichtig sind
Duplikate verschwenden Rechenleistung, lassen ein Modell wiederholte Beispiele übergewichten und, am schlimmsten, sickern zwischen Trainings- und Testdaten durch, sodass die Werte besser aussehen, als das Modell wirklich ist. Gesammelte und zusammengeführte Datensätze sind voll davon.
Exakte Duplikate
Identische Dateien haben denselben Hash. Jede Datei zu hashen geht schnell und erfasst Kopien mit anderen Namen oder in anderen Ordnern.
Beinahe-Kopien
- Bilder: verkleinerte, neu komprimierte, beschnittene oder leicht bearbeitete Versionen. Perceptual Hashes oder Bild-Embeddings finden sie.
- Video: Neukodierungen und Clips, die aus derselben Aufnahme geschnitten wurden. Vergleichen Sie Stichproben-Frames.
- Text: Vorlagen, zitierte Antworten, Signaturen und kopierte Absätze. Shingling und Ähnlichkeitssuche finden überlappende Passagen.
Über Aufteilungen hinweg prüfen
Vergleichen Sie Trainingsdaten mit Validierungs- und Testdaten, nicht nur innerhalb jedes Sets. Teilen Sie nach Möglichkeit nach Quelle auf, damit Kopien desselben Elements auf derselben Seite landen.
Entscheiden, welche Kopie Sie behalten
Behalten Sie die beste Version (höchste Auflösung, vollständigster Text) und erfassen Sie die anderen als Kopien, statt sie zu löschen, damit die Entscheidung überprüft werden kann.