Hvorfor merkelappene begrenser modellen
En modell kan aldri bli mer konsekvent enn merkelappene sine. Feil merkelapper lærer den feil ting, og uenighet mellom annotatørene setter et tak på nøyaktigheten som mer data ikke løfter.
1. Skriv retningslinjer med vanskelige eksempler
Vis tydelige eksempler for hver klasse og grensetilfellene: et objekt som bare delvis er synlig, en sarkastisk melding, en ripe kontra en refleks. Oppdater retningslinjene når annotatørene er uenige.
2. Mål enigheten
La to personer merke det samme utvalget og sammenlign. Der de er uenige, er retningslinjen uklar eller tilfellet virkelig tvetydig. Begge deler er verdt å vite før treningen.
3. Se etter manglende og feil merkelapper
Sjekk etter objekter uten boks, bokser uten objekt, merkelapper utenfor den tillatte listen og tekst uten merkelapp. Gå gjennom et tilfeldig utvalg fra hver klasse, ikke bare de en modell tar feil på.
4. Sjekk balanse og dekning
Tell eksempler per klasse og per situasjon (kamera, sted, kunde, språk). Sjeldne klasser og manglende situasjoner er der modeller svikter i drift.
5. Hold merkelapper og oppdeling rene
Sørg for at nesten-kopier av samme element ikke har ulike merkelapper, og at de ikke ligger på begge sider av skillet mellom trenings- og testdata.