Pourquoi documenter un jeu de données
Des mois plus tard, quelqu’un demandera sur quoi un modèle a été entraîné : un client, un auditeur, une autorité de contrôle ou votre propre équipe. Une courte fiche de données rédigée pendant la construction du jeu de données y répond en quelques minutes au lieu de plusieurs semaines.
Ce qu’il faut inclure
- Finalité : à quoi servent les données et ce qu’elles doivent représenter.
- Sources : d’où vient chaque partie, quand, et avec quels droits.
- Collecte : comment les données ont été rassemblées et par qui.
- Nettoyage : quels contrôles ont été exécutés, combien de fichiers chacun a signalés et ce qui a été décidé.
- Annotation : consignes, qui a annoté, accord entre annotateurs.
- Découpage : comment les données d’entraînement, de validation et de test ont été séparées.
- Données personnelles : ce qui a été trouvé, la base légale, la façon dont elles ont été traitées.
- Lacunes connues : contextes, groupes ou classes absents ou rares.
- Version : une date ou une empreinte (hash), et les modèles qui l’ont utilisée.
La garder à côté des données
Conservez la fiche avec la version du jeu de données et mettez-la à jour lorsque les données changent. Une fiche obsolète est pire que pas de fiche du tout.
Réglementation
Pour les systèmes d’IA à haut risque, l’article 10 de l’AI Act européen demande aux fournisseurs une gouvernance des données qui couvre beaucoup de ces points. Voir l’article 10 et vos données d’entraînement.