Hvorfor det er viktig
Problemer i treningsbildene blir problemer i modellen. Duplikater får testresultatene til å se bedre ut enn de er, ødelagte og uskarpe filer kaster bort treningstid, og personopplysninger i bilder gir juridiske forpliktelser. Å rense et datasett handler mindre om å kaste filer og mer om å vite hva det inneholder.
1. Bestem hva «dårlig» betyr for modellen din
Et uskarpt bilde kan være støy for en modell for produktsøk og nyttige data for en modell som må takle dårlige kameraer. Skriv ned, i én eller to setninger, hva du ikke vil ha i datasettet og hvorfor. Alle de neste stegene bygger på den setningen.
2. Sjekk at hver fil åpnes
Dekod hvert bilde, ikke bare filnavnet. Se etter tomme filer, avbrutte nedlastinger, feil filendelser og formater treningskoden ikke kan lese. Før en liste over filer som ikke kunne åpnes, i stedet for å la innlesingen hoppe over dem i det stille, så du vet hvor mye av datasettet du faktisk trente på.
3. Finn eksakte kopier og nesten-kopier
Eksakte kopier finner du ved å sammenligne filenes hashverdier. Nesten-kopier, som versjoner som er skalert, komprimert på nytt eller litt beskåret, krever en visuell sammenligning, for eksempel perseptuelle hasher eller bilde-embeddinger. Sjekk duplikater på tvers av trenings-, validerings- og testdata: en kopi som ligger både i trenings- og testdata, blåser opp resultatene.
4. Flagg uskarphet, eksponering og bilder med lite informasjon
- Uskarphet: en vanlig tommelfingerregel måler hvor mye fine detaljer et bilde har. Riktig terskel avhenger av dataene dine, så juster den på et utvalg du har sett gjennom selv.
- Eksponering: bilder der de fleste pikslene er klippet til svart eller hvitt, har lite informasjon.
- Lite informasjon: tomme bilder, nesten ensfargede flater og skjermbilder av feilsider sniker seg ofte inn i innhentede data.
- Overlegg: vannmerker og innbrent tekst kan lære en modell feil signal.
5. Se etter personopplysninger i bildene
Ansikter, bilskilt, skjermer og dokumenter i bakgrunnen er personopplysninger etter GDPR når en person kan identifiseres. Avgjør om du trenger dem, og om du har et behandlingsgrunnlag. Å telle ansikter er ofte nok til å forstå omfanget uten å identifisere noen.
6. Gå gjennom et utvalg, og bestem deg
Automatiske kontroller er en første gjennomgang. Se gjennom et utvalg fra hver flaggede gruppe før du handler, og behold originalene. Flytt eller merk filer i stedet for å slette dem, så du kan ombestemme deg når modellen eller kravene endrer seg.
7. Før en oversikt
Skriv ned hvilke kontroller du kjørte, hvor mange filer hver av dem flagget og hva du bestemte. Et kort datablad gjør treningen etterprøvbar og er den typen teknisk dokumentasjon EU AI Act krever at leverandører av høyrisikosystemer tar vare på (artikkel 11 og vedlegg IV).