Mit der Aufgabe beginnen, nicht mit den Daten
Bevor Sie etwas sammeln, schreiben Sie auf, was das Modell tun soll, wie eine richtige Antwort aussieht und wo es eingesetzt wird. „Beschädigte Produkte auf Retourenfotos erkennen“ braucht ganz andere Daten als „Kundenfragen zu unseren Produkten beantworten“. Die Aufgabe entscheidet, welche Daten nützlich sind und welche Rauschen.
1. Aus erlaubten Quellen sammeln
Listen Sie jede Quelle auf: eigene Systeme, Kunden, Partner, öffentliche Datensätze, gesammelte Webseiten. Prüfen Sie für jede, ob Sie sie für Training nutzen dürfen, und bei personenbezogenen Daten, ob eine Rechtsgrundlage nach der DSGVO besteht. Bewahren Sie die Liste auf; Sie werden sie brauchen.
2. Das Gesammelte bereinigen
Prüfen Sie jede Datei auf Defekte, Duplikate, geringe Qualität und personenbezogene Daten und halten Sie fest, was Sie finden. Siehe KI-Trainingsdaten bereinigen.
3. Einheitlich annotieren
Wenn das Modell aus Labels lernt, schreiben Sie Richtlinien mit Beispielen für schwierige Fälle und messen Sie, wie oft zwei Annotatoren übereinstimmen. Uneinheitliche Labels begrenzen das Modell, egal wie viele Daten Sie hinzufügen. Label-Qualität.
4. Vor dem Training aufteilen
Legen Sie Validierungs- und Testdaten vor dem Training beiseite und teilen Sie nach Quelle (Kunde, Kamera, Dokument) statt nach Datei auf, damit Beinahe-Kopien nicht auf beiden Seiten landen. Ein Testset, das ins Training gelangt, liefert Werte, denen Sie nicht trauen können.
5. Klein anfangen und Fehler ansehen
Trainieren Sie eine erste Version auf einer kleineren, sauberen Teilmenge und lesen Sie die Fehler des Modells. Sie zeigen besser als eine größere, unordentliche Sammlung, welche Daten als Nächstes fehlen.
6. Den Datensatz dokumentieren
Halten Sie Quellen, Bereinigungsschritte, Annotationsregeln, Aufteilung und bekannte Lücken fest. So können Sie das Modell reproduzieren und Fragen von Kunden und Behörden beantworten. Datensatz-Dokumentation.