Hvorfor det er viktig
Kundeservice-e-post, chatlogger, dokumenter og innhentet nettekst inneholder ofte personopplysninger. Etter GDPR krever personopplysninger i et treningsdatasett et behandlingsgrunnlag og et klart formål, og en modell kan gjenta det den har sett. Å finne dem før treningen er mye billigere enn å håndtere dem etterpå.
Hva du skal se etter
- Kontaktopplysninger: e-postadresser, telefonnumre og postadresser.
- Nasjonale ID-numre: for eksempel det norske fødselsnummeret (11 sifre; i dagens ordning er de to siste kontrollsifre).
- Finansielle numre: kortnumre (som består Luhn-kontrollen) og bankkontonumre som IBAN (som består en mod-97-kontroll).
- Navn på privatpersoner, særlig sammen med andre opplysninger.
- Hemmeligheter: API-nøkler, tilgangstokener og passord limt inn i saker eller kode.
Slik finner du dem
- Mønstre med validering. Regulære uttrykk finner kandidater; kontrollsifre fjerner mange falske treff. Omtrent ett av ti tilfeldige 16-sifrede tall består Luhn-kontrollen, så kombiner den med kjente kortprefikser og kontekst.
- Navnegjenkjenning (NER) finner navn og steder som ingen mønstre kan beskrive. Det er nyttig, men det overser noen navn og flagger noen vanlige ord, så bruk det som en pekepinn, ikke en dom.
- Søk etter hemmeligheter ser etter kjente formater for nøkler og tokener, og etter lange tilfeldige tegnstrenger der hemmeligheter pleier å dukke opp.
- Kontekst. «Ring meg på» foran et nummer, eller en signatur nederst i en e-post, gjør et treff sikrere.
Hva du gjør med funnene
Avgjør for hver type om modellen trenger den. Vanlige valg er å utelate dokumentet, å maskere verdien (for eksempel bytte ut en e-postadresse med en plassholder) eller å beholde den der du har et behandlingsgrunnlag og en grunn. Merk at pseudonymiserte data, der en person fortsatt kan identifiseres med tilleggsopplysninger, fortsatt er personopplysninger etter GDPR. Eksponerte nøkler bør tilbakekalles, ikke bare fjernes fra datasettet.
Regn med bomskudd og falske alarmer
Ingen skanner finner alt. Gå gjennom et utvalg av flaggede og uflaggede dokumenter, mål hvor ofte kontrollene tar feil på dine egne data, og før en oversikt over hva du skannet, hva du fant og hva du bestemte.