Warum Labels das Modell begrenzen
Ein Modell kann nur so einheitlich sein wie seine Labels. Falsche Labels bringen ihm das Falsche bei, und uneinheitliche Labels zwischen Annotatoren setzen der Genauigkeit eine Obergrenze, die auch mehr Daten nicht anheben.
1. Richtlinien mit schwierigen Beispielen schreiben
Zeigen Sie für jede Klasse klare Beispiele und die Grenzfälle: ein teilweise sichtbares Objekt, eine sarkastische Nachricht, ein Kratzer im Unterschied zu einer Spiegelung. Aktualisieren Sie die Richtlinien, wenn Annotatoren uneinig sind.
2. Übereinstimmung messen
Lassen Sie zwei Personen dieselbe Stichprobe annotieren und vergleichen Sie. Wo sie uneinig sind, ist die Richtlinie unklar oder der Fall wirklich mehrdeutig. Beides sollten Sie vor dem Training wissen.
3. Nach fehlenden und falschen Labels suchen
Prüfen Sie auf Objekte ohne Box, Boxen ohne Objekt, Labels außerhalb der erlaubten Liste und Text ohne Label. Prüfen Sie eine Zufallsstichprobe jeder Klasse, nicht nur die Fälle, bei denen ein Modell danebenliegt.
4. Balance und Abdeckung prüfen
Zählen Sie Beispiele pro Klasse und pro Umgebung (Kamera, Standort, Kunde, Sprache). Seltene Klassen und fehlende Umgebungen sind die Stellen, an denen Modelle im Produktivbetrieb versagen.
5. Labels und Aufteilung sauber halten
Stellen Sie sicher, dass Beinahe-Kopien desselben Elements keine unterschiedlichen Labels tragen und nicht auf beiden Seiten der Trainings- und Testaufteilung liegen.