Warum das wichtig ist
Probleme in Trainingsbildern werden zu Problemen im Modell. Duplikate lassen Testergebnisse besser aussehen, als sie sind, defekte und unscharfe Dateien kosten Trainingszeit, und personenbezogene Daten auf Fotos schaffen rechtliche Pflichten. Bei der Bereinigung eines Datensatzes geht es weniger darum, Dateien wegzuwerfen, als darum zu wissen, was darin steckt.
1. Festlegen, was „schlecht“ für Ihr Modell bedeutet
Ein unscharfes Foto kann für ein Modell zur Produktsuche Rauschen sein und für ein Modell, das mit schlechten Kameras zurechtkommen muss, nützliche Daten. Schreiben Sie in ein oder zwei Sätzen auf, was Sie nicht im Datensatz haben wollen und warum. Jeder spätere Schritt stützt sich auf diesen Satz.
2. Prüfen, ob sich jede Datei öffnen lässt
Dekodieren Sie jedes Bild, nicht nur den Dateinamen. Achten Sie auf leere Dateien, abgebrochene Downloads, falsche Dateiendungen und Formate, die Ihr Trainingscode nicht lesen kann. Führen Sie eine Liste der Dateien, die sich nicht öffnen ließen, statt den Loader sie stillschweigend überspringen zu lassen, damit Sie wissen, mit wie viel des Datensatzes Sie tatsächlich trainiert haben.
3. Exakte Duplikate und Beinahe-Kopien finden
Exakte Kopien finden Sie durch den Vergleich von Datei-Hashes. Beinahe-Kopien, etwa verkleinerte, neu komprimierte oder leicht beschnittene Versionen, erfordern einen wahrnehmungsbasierten Vergleich, zum Beispiel mit Perceptual Hashes oder Bild-Embeddings. Prüfen Sie Duplikate über Ihre Trainings-, Validierungs- und Testaufteilung hinweg: Eine Kopie, die sowohl im Training als auch im Test liegt, schönt Ihre Ergebnisse.
4. Unschärfe, Belichtung und informationsarme Bilder markieren
- Unschärfe: Eine verbreitete Heuristik misst, wie viel feine Details ein Bild hat. Der richtige Schwellenwert hängt von Ihren Daten ab, kalibrieren Sie ihn daher an einer Stichprobe, die Sie selbst angesehen haben.
- Belichtung: Bilder, bei denen die meisten Pixel auf Schwarz oder Weiß abgeschnitten sind, enthalten wenig Information.
- Wenig Information: Leere Frames, nahezu einfarbige Bilder und Screenshots von Fehlerseiten rutschen oft in gesammelte Webdaten.
- Überlagerungen: Wasserzeichen und eingebrannter Text können einem Modell das falsche Signal beibringen.
5. Nach personenbezogenen Daten auf den Fotos suchen
Gesichter, Kfz-Kennzeichen, Bildschirme und Dokumente im Hintergrund sind personenbezogene Daten nach der DSGVO, wenn eine Person identifizierbar ist. Entscheiden Sie, ob Sie sie brauchen und ob Sie eine Rechtsgrundlage haben. Gesichter zu zählen reicht oft, um das Ausmaß des Problems zu verstehen, ohne jemanden zu identifizieren.
6. Eine Stichprobe prüfen, dann entscheiden
Automatische Prüfungen sind ein erster Durchgang. Prüfen Sie eine Stichprobe jeder markierten Gruppe, bevor Sie handeln, und behalten Sie die Originale. Verschieben oder kennzeichnen Sie Dateien, statt sie zu löschen, damit Sie umentscheiden können, wenn sich das Modell oder die Anforderungen ändern.
7. Dokumentieren
Halten Sie fest, welche Prüfungen liefen, wie viele Dateien jede markiert hat und was Sie entschieden haben. Ein kurzes Datenblatt macht den Trainingslauf reproduzierbar und ist die Art technischer Dokumentation, die der EU AI Act von Anbietern von Hochrisiko-Systemen verlangt (Artikel 11 und Anhang IV).