Hvorfor dokumentere et datasett
Måneder senere vil noen spørre hva en modell er trent på: en kunde, en revisor, en tilsynsmyndighet eller ditt eget team. Et kort datablad skrevet mens du bygger datasettet, gir svaret på minutter i stedet for uker.
Hva du bør ta med
- Formål: hva dataene skal brukes til og hva de skal representere.
- Kilder: hvor hver del kom fra, når og med hvilke rettigheter.
- Innsamling: hvordan dataene ble samlet inn, og av hvem.
- Rensing: hvilke kontroller som ble kjørt, hvor mange filer hver av dem flagget og hva som ble bestemt.
- Merking: retningslinjer, hvem som merket og enighet mellom annotatørene.
- Oppdeling: hvordan trenings-, validerings- og testdata ble skilt.
- Personopplysninger: hva som ble funnet, behandlingsgrunnlag og hvordan de ble håndtert.
- Kjente hull: situasjoner, grupper eller klasser som mangler eller er sjeldne.
- Versjon: en dato eller hashverdi, og hvilke modeller som brukte den.
Oppbevar det sammen med dataene
Lagre databladet sammen med datasettversjonen, og oppdater det når dataene endres. Et utdatert datablad er verre enn ingen.
Regelverk
For høyrisiko-AI-systemer krever artikkel 10 i EU AI Act at leverandører har datastyring som dekker mange av disse punktene. Se artikkel 10 og treningsdataene dine.