Ce qu’un outil de nettoyage de données doit faire
La plupart des jeux d’entraînement mélangent les types de fichiers : photos de produits, vidéos de caméras, e-mails du support, documents. Les nettoyer, c’est vérifier chaque fichier pour repérer ce qui dégrade le modèle ou crée un risque juridique, et noter ce que l’on a trouvé. Un bon processus signale les problèmes avec une raison et vous laisse décider, au lieu de supprimer des fichiers en silence.
Contrôles pour tous les types de fichiers
- Fichiers corrompus : fichiers qui ne s’ouvrent pas ou s’arrêtent en cours de lecture.
- Doublons : copies exactes et quasi-copies, surtout entre données d’entraînement, de validation et de test.
- Données personnelles : tout ce qui identifie une personne et nécessite une base légale au titre du RGPD.
- Adéquation : fichiers qui ne correspondent pas à ce que le modèle doit apprendre.
Images
Signalez le flou, la sur- et sous-exposition, les images vides ou pauvres en information, les filigranes et le texte incrusté, ainsi que les visages ou plaques d’immatriculation en arrière-plan. Calibrez les seuils sur un échantillon vérifié à l’œil. Liste complète pour les images.
Vidéo
Signalez les images figées, les passages sombres ou surexposés, le flou et l’objectif sale, les images perdues et les fichiers mal encodés, en indiquant le début et la fin de chaque problème pour conserver les bonnes parties d’un clip. Liste complète pour la vidéo.
Texte
Signalez les adresses e-mail, numéros de téléphone, numéros d’identification, numéros de carte et de compte, clés d’API et jetons exposés, copies et quasi-copies, documents vides ou tronqués, et textes dans la mauvaise langue ou le mauvais encodage. Guide des données personnelles dans les textes.
Trier, vérifier, décider
Triez les fichiers en groupes comme « correspond à la demande », « contient ce que vous ne voulez pas », « à vérifier » et « impossible à vérifier ». Vérifiez un échantillon de chaque groupe, conservez les originaux et n’entraînez qu’avec ce que vous avez choisi.
Documenter
Notez quels contrôles ont été exécutés, combien de fichiers chacun a signalés et ce que vous avez décidé. Cette trace rend l’entraînement reproductible et soutient la gouvernance des données, par exemple au titre de l’article 10 de l’AI Act pour les systèmes à haut risque.