Start med oppgaven, ikke dataene
Før du samler inn noe, skriv ned hva modellen skal gjøre, hvordan et riktig svar ser ut og hvor den skal brukes. «Finne skadede produkter i returbilder» krever helt andre data enn «svare kunder om produktene våre». Oppgaven bestemmer hvilke data som er nyttige og hvilke som er støy.
1. Samle inn fra kilder du har lov til å bruke
List opp alle kilder: egne systemer, kunder, partnere, åpne datasett, innhentede nettsider. Sjekk for hver kilde at du har rett til å bruke den til trening, og for personopplysninger at du har et behandlingsgrunnlag etter GDPR. Ta vare på listen; du får bruk for den senere.
2. Rens det du har samlet inn
Sjekk hver fil for ødelagte filer, duplikater, lav kvalitet og personopplysninger, og skriv ned hva du finner. Se slik renser du et datasett for AI-trening.
3. Merk dataene konsekvent
Hvis modellen lærer av merkelapper, skriv retningslinjer med eksempler på vanskelige tilfeller, og mål hvor ofte to personer er enige. Inkonsekvente merkelapper begrenser modellen uansett hvor mye data du legger til. Kvalitet på merkelapper.
4. Del opp før du trener
Sett av validerings- og testdata før treningen, og del opp etter kilde (kunde, kamera, dokument) i stedet for etter fil, så nesten-kopier ikke havner på begge sider. Et testsett som lekker inn i treningen, gir resultater du ikke kan stole på.
5. Start smått og se på feilene
Tren en første versjon på et mindre, rent utvalg, og les modellens feil. De forteller deg hvilke data du bør legge til, langt bedre enn en større og rotete samling.
6. Dokumenter datasettet
Skriv ned kilder, rensesteg, merkeregler, oppdeling og kjente hull. Da kan du gjenskape modellen og svare på spørsmål fra kunder og myndigheter. Dokumentasjon av datasett.