Hva en datasett-renser bør gjøre
De fleste treningsdatasett blander filtyper: produktbilder, kameraopptak, kundeservice-e-post og dokumenter. Å rense dem betyr å sjekke hver fil for problemer som svekker modellen eller skaper juridisk risiko, og å skrive ned hva du fant. En god prosess flagger problemene med en begrunnelse og lar deg ta avgjørelsen, i stedet for å slette filer i det stille.
Kontroller for alle filtyper
- Ødelagte filer: filer som ikke åpnes eller stopper halvveis.
- Duplikater: eksakte kopier og nesten-kopier, særlig på tvers av trenings-, validerings- og testdata.
- Personopplysninger: alt som identifiserer en person, og som krever et behandlingsgrunnlag etter GDPR.
- Passer til formålet: filer som ikke passer til det modellen skal lære.
Bilder
Flagg uskarphet, over- og undereksponering, tomme bilder med lite informasjon, vannmerker og innbrent tekst, og ansikter eller skilt i bakgrunnen. Juster tersklene på et utvalg du har sett gjennom selv. Full sjekkliste for bilder.
Video
Flagg frosset bilde, mørke og overeksponerte partier, uskarphet og skitten linse, tapte bilderuter og ødelagte filer, og oppgi start- og sluttid for hvert problem, så du kan beholde de gode delene av et opptak. Full sjekkliste for video.
Tekst
Flagg e-postadresser, telefonnumre, fødselsnumre, kort- og kontonumre, eksponerte API-nøkler, kopier og nesten-kopier, tomme eller avkuttede dokumenter, og tekst på feil språk eller med feil tegnkoding. Veiledning om personopplysninger i tekst.
Sorter, gå gjennom, bestem
Sorter filene i grupper som «passer forespørselen», «har det du ikke vil ha», «for deg å sjekke» og «kunne ikke sjekkes». Gå gjennom et utvalg fra hver gruppe, behold originalene, og tren bare på det du har valgt.
Dokumenter det
Skriv ned hvilke kontroller som ble kjørt, hvor mange filer hver av dem flagget og hva du bestemte. Oversikten gjør treningen etterprøvbar og støtter datastyring, for eksempel etter artikkel 10 i EU AI Act for høyrisikosystemer.