Was ein Dataset-Cleaner leisten sollte
Die meisten Trainingsdatensätze mischen Dateitypen: Produktfotos, Kameraaufnahmen, Support-E-Mails, Dokumente. Sie zu bereinigen heißt, jede Datei auf Probleme zu prüfen, die das Modell verschlechtern oder rechtliche Risiken schaffen, und festzuhalten, was gefunden wurde. Ein guter Prozess markiert Probleme mit Begründung und überlässt Ihnen die Entscheidung, statt Dateien stillschweigend zu löschen.
Prüfungen für alle Dateitypen
- Defekte Dateien: Dateien, die sich nicht öffnen lassen oder mittendrin abbrechen.
- Duplikate: exakte und nahezu identische Kopien, besonders zwischen Trainings-, Validierungs- und Testdaten.
- Personenbezogene Daten: alles, was eine Person identifiziert und nach der DSGVO eine Rechtsgrundlage braucht.
- Zweckeignung: Dateien, die nicht zu dem passen, was das Modell lernen soll.
Bilder
Markieren Sie Unschärfe, Über- und Unterbelichtung, leere oder informationsarme Bilder, Wasserzeichen und eingebrannten Text sowie Gesichter oder Kfz-Kennzeichen im Hintergrund. Kalibrieren Sie Schwellenwerte an einer Stichprobe, die Sie selbst geprüft haben. Vollständige Bild-Checkliste.
Video
Markieren Sie eingefrorene Bilder, dunkle und überbelichtete Abschnitte, Unschärfe und verschmutzte Linsen, fehlende Frames und defekte Kodierungen, und geben Sie für jedes Problem Start- und Endzeit an, damit Sie die guten Teile eines Clips behalten. Vollständige Video-Checkliste.
Text
Markieren Sie E-Mail-Adressen, Telefonnummern, Ausweis- und Identifikationsnummern, Karten- und Kontonummern, offengelegte API-Schlüssel und Tokens, Kopien und Beinahe-Kopien, leere oder abgeschnittene Dokumente sowie Text in der falschen Sprache oder Kodierung. Leitfaden zu personenbezogenen Daten in Texten.
Sortieren, prüfen, entscheiden
Sortieren Sie Dateien in Gruppen wie „passt zur Anfrage“, „enthält, was Sie nicht wollen“, „zur Prüfung“ und „nicht prüfbar“. Prüfen Sie eine Stichprobe jeder Gruppe, behalten Sie die Originale und trainieren Sie nur mit dem, was Sie ausgewählt haben.
Dokumentieren
Halten Sie fest, welche Prüfungen liefen, wie viele Dateien jede markiert hat und was Sie entschieden haben. Das macht das Training reproduzierbar und unterstützt die Daten-Governance, etwa nach Artikel 10 des EU AI Act für Hochrisiko-Systeme.