Pourquoi c’est important
Les problèmes des images d’entraînement deviennent des problèmes du modèle. Les doublons font paraître les scores de test meilleurs qu’ils ne le sont, les fichiers corrompus et flous font perdre du temps d’entraînement, et les données personnelles présentes sur les photos créent des obligations juridiques. Nettoyer un jeu de données consiste moins à écarter des fichiers qu’à savoir ce qu’il contient.
1. Définir ce qu’est une « mauvaise » image pour votre modèle
Une photo floue peut être du bruit pour un modèle de recherche de produits et une donnée utile pour un modèle qui doit fonctionner avec de mauvaises caméras. Écrivez, en une ou deux phrases, ce que vous ne voulez pas dans le jeu de données et pourquoi. Toutes les étapes suivantes s’appuient sur cette phrase.
2. Vérifier que chaque fichier s’ouvre
Décodez chaque image, pas seulement le nom du fichier. Repérez les fichiers vides, les téléchargements tronqués, les mauvaises extensions et les formats que votre code d’entraînement ne sait pas lire. Tenez une liste des fichiers impossibles à ouvrir au lieu de laisser le chargeur les ignorer en silence : vous saurez ainsi sur quelle part du jeu de données vous avez réellement entraîné le modèle.
3. Trouver les copies exactes et les quasi-copies
Les copies exactes se trouvent en comparant les empreintes (hash) des fichiers. Les quasi-copies, comme les versions redimensionnées, recompressées ou légèrement recadrées, demandent une comparaison perceptuelle, par exemple avec des empreintes perceptuelles ou des embeddings d’images. Cherchez les doublons entre vos données d’entraînement, de validation et de test : une copie présente à la fois dans l’entraînement et dans le test gonfle vos résultats.
4. Signaler le flou, l’exposition et les images pauvres en information
- Flou : une heuristique courante mesure la quantité de détails fins dans une image. Le bon seuil dépend de vos données ; calibrez-le donc sur un échantillon vérifié à l’œil.
- Exposition : les images dont la plupart des pixels sont saturés en noir ou en blanc contiennent peu d’information.
- Peu d’information : images vides, couleur quasi uniforme et captures d’écran de pages d’erreur se glissent souvent dans les données collectées sur le web.
- Incrustations : les filigranes et le texte incrusté peuvent apprendre au modèle un mauvais signal.
5. Chercher les données personnelles sur les photos
Les visages, plaques d’immatriculation, écrans et documents visibles en arrière-plan sont des données personnelles au sens du RGPD lorsqu’une personne est identifiable. Décidez si vous en avez besoin et si vous disposez d’une base légale. Compter les visages suffit souvent pour mesurer l’ampleur du problème sans identifier personne.
6. Vérifier un échantillon, puis décider
Les contrôles automatiques sont un premier passage. Vérifiez un échantillon de chaque groupe signalé avant d’agir, et conservez les originaux. Déplacez ou marquez les fichiers plutôt que de les supprimer, afin de pouvoir changer d’avis lorsque le modèle ou les exigences évoluent.
7. Garder une trace
Notez quels contrôles vous avez exécutés, combien de fichiers chacun a signalés et ce que vous avez décidé. Une courte fiche de données rend l’entraînement reproductible et correspond au type de documentation technique que l’AI Act européen demande aux fournisseurs de systèmes à haut risque de conserver (article 11 et annexe IV).