Datakvalitet og treningsdata for AI
Praktiske sjekklister for team som klargjør data til AI-trening. De beskriver generell praksis; der vår egen tjeneste nevnes, er den under utvikling.
- Alle filtyper
Rense datasett for KI: bilder, video og tekst
Sjekkliste for rensing av treningsdata til AI på tvers av bilder, video og tekst: ødelagte filer, duplikater, uskarphet, frosset video, personopplysninger og en oversikt over hva du bestemte.
- Bilder
Slik renser du et bildedatasett før KI-trening
Sjekkliste for rensing av bildedatasett før AI-trening: ødelagte filer, duplikater, uskarphet, eksponering, personopplysninger og en oversikt over valgene.
- Tekst
Slik finner du personopplysninger i tekstdatasett
Slik finner du e-postadresser, telefonnumre, fødselsnumre, kort- og kontonumre og eksponerte nøkler i tekstdatasett før AI-trening, og hva du gjør med funnene.
- Regelverk
EU AI Act artikkel 10: hva den betyr for treningsdataene dine
Hva artikkel 10 i EU AI Act sier om trenings-, validerings- og testdata for høyrisiko-AI-systemer, og en praktisk sjekkliste for datastyring og dokumentasjon.
- Video
Finn frosset, mørk og uskarp video i videodatasett
Sjekk videodatasett før AI-trening: frosset bilde, mørke og overeksponerte partier, uskarphet, skitten linse, tapte bilderuter og ødelagte filer, med tidskoder.
- Arbeidsflyt
Slik klargjør du data for å trene din egen AI-modell
Steg for steg: slik klargjør du bilder, video og tekst for å trene eller finjustere din egen AI-modell, fra å definere oppgaven og samle inn data til å rense, dele opp og dokumentere dem.
- Tekst
Slik klargjør du bedriftsdata for å finjustere en LLM
Fra kundeservice-e-post, chatlogger og dokumenter til rene data for finjustering av en språkmodell: format, duplikater, personopplysninger, nøkler og evaluering.
- Arbeidsflyt
Slik sjekker du kvaliteten på annotering og merkelapper
Finn og rett feil i merkelapper i bilde-, video- og tekstdatasett: retningslinjer, enighet mellom annotatører, manglende og feil merkelapper, balanse og lekkasje.
- Alle filtyper
Slik finner du duplikater og nesten-kopier i et datasett
Hvorfor duplikater skader treningsdata, og slik finner du eksakte kopier og nesten-kopier i bilde-, video- og tekstdatasett, også på tvers av oppdelingen.
- Regelverk
GDPR og treningsdata for AI: dette bør du sjekke før du trener
Praktisk oversikt over GDPR-spørsmål for treningsdata: når data er personopplysninger, behandlingsgrunnlag, formål, dataminimering, anonymisering mot pseudonymisering og dokumentasjon.
- Arbeidsflyt
Slik dokumenterer du et datasett: et praktisk datablad
Hva du bør skrive ned om et treningsdatasett for AI: formål, kilder, innsamling, rensing, merking, oppdeling, personopplysninger, kjente hull og versjoner.
- Video
Undervannsvideo fra havbruk: kvalitetssjekk før trening
Sjekk undervannsvideo fra oppdrettsanlegg før AI-trening: frosset og mørkt bilde, begroing på linsen, grumsete vann, uskarphet og telling av fisk, med tidskoder.
- Bilder
Produktbilder for netthandel: kvalitetssjekk før trening
Sjekk produkt- og returbilder før AI-trening for søk, katalog eller skadedeteksjon: duplikater, uskarphet, eksponering, bakgrunn, personer og tekst i bilder.
- Regelverk
KI-forordningen artikkel 10: sjekkliste for treningsdata
Sjekkliste punkt for punkt for artikkel 10 i KI-forordningen: datastyring for trenings-, validerings- og testdata i høyrisiko KI-systemer, etter endret tekst.
- Regelverk
KI-forordningen: plikter for alle som lager eller bruker KI
Ikke bare høyrisiko: pliktene i KI-forordningen som gjelder bredt, som KI-kompetanse og åpenhet, og rollene leverandør og idriftsetter forklart enkelt.
- Regelverk
GPAI: sammendrag av treningsdata etter KI-kontorets mal
Artikkel 53 i KI-forordningen: hvem som må publisere et sammendrag av treningsinnholdet, hva malen fra KI-kontoret spør om, når det skal oppdateres, og fristene.
- Regelverk
Opphavsrett og treningsdata for KI i EU
Hva KI-forordningen og EUs opphavsrett krever av leverandører av KI-modeller: retningslinje for opphavsrett, forbehold mot tekst- og datautvinning og robots.txt.
- Regelverk
Finjustering: når blir du leverandør etter KI-forordningen?
Når endring eller finjustering av en generell KI-modell gjør deg til leverandør etter KI-forordningen, hva du må dokumentere, og reglene for høyrisikosystemer.
- Regelverk
Er KI-systemet mitt høyrisiko etter KI-forordningen?
Slik avgjør KI-forordningen om et KI-system er høyrisiko: produkter etter vedlegg I, de åtte områdene i vedlegg III, unntaket i artikkel 6 nr. 3 og datoene.
- Regelverk
KI-forordningen vedlegg IV: dokumentasjon av treningsdata
Hva vedlegg IV i KI-forordningen krever at leverandører av høyrisiko KI-systemer dokumenterer om treningsdata: datablad, opprinnelse, utvalg, merking og rensing.
- Regelverk
Gjelder KI-forordningen i Norge? Status i EØS
Gjelder KI-forordningen i Norge? Status for innlemmelse i EØS-avtalen, den planlagte norske KI-loven, tilsynsmyndigheten og opphavsrett for treningsdata.