Warum einen Datensatz dokumentieren
Monate später wird jemand fragen, womit ein Modell trainiert wurde: ein Kunde, ein Prüfer, eine Behörde oder Ihr eigenes Team. Ein kurzes Datenblatt, das Sie beim Aufbau des Datensatzes schreiben, beantwortet das in Minuten statt in Wochen.
Was hineingehört
- Zweck: wofür die Daten gedacht sind und was sie abbilden sollen.
- Quellen: woher jeder Teil stammt, wann und mit welchen Rechten.
- Erhebung: wie und von wem die Daten gesammelt wurden.
- Bereinigung: welche Prüfungen liefen, wie viele Dateien jede markiert hat und was entschieden wurde.
- Annotation: Richtlinien, wer annotiert hat, Übereinstimmung zwischen Annotatoren.
- Aufteilung: wie Trainings-, Validierungs- und Testdaten getrennt wurden.
- Personenbezogene Daten: was gefunden wurde, Rechtsgrundlage, wie damit umgegangen wurde.
- Bekannte Lücken: Umgebungen, Gruppen oder Klassen, die fehlen oder selten sind.
- Version: ein Datum oder Hash und welche Modelle ihn verwendet haben.
Neben den Daten aufbewahren
Speichern Sie das Datenblatt mit der Datensatzversion und aktualisieren Sie es, wenn sich die Daten ändern. Ein veraltetes Datenblatt ist schlimmer als keines.
Regulierung
Für Hochrisiko-KI-Systeme verlangt Artikel 10 des EU AI Act von Anbietern eine Daten-Governance, die viele dieser Punkte abdeckt. Siehe Artikel 10 und Ihre Trainingsdaten.