Pourquoi les doublons comptent
Les doublons gaspillent du calcul, poussent le modèle à surpondérer les exemples répétés et, pire encore, fuient entre données d’entraînement et de test, si bien que les scores paraissent meilleurs que le modèle ne l’est réellement. Les jeux de données collectés sur le web et fusionnés en sont remplis.
Copies exactes
Des fichiers identiques ont la même empreinte (hash). Calculer l’empreinte de chaque fichier est rapide et permet de repérer les copies portant un autre nom ou rangées dans un autre dossier.
Quasi-copies
- Images : versions redimensionnées, recompressées, recadrées ou légèrement retouchées. Les empreintes perceptuelles ou les embeddings d’images permettent de les trouver.
- Vidéo : réencodages et clips coupés dans le même enregistrement. Comparez des images échantillonnées.
- Texte : modèles de réponse, réponses citées, signatures et paragraphes copiés. Le découpage en fragments (shingling) et la recherche par similarité trouvent les passages qui se recoupent.
Contrôler entre les découpages
Comparez les données d’entraînement avec les données de validation et de test, pas seulement à l’intérieur de chaque ensemble. Découpez par source lorsque c’est possible, afin que les copies d’un même élément se retrouvent du même côté.
Décider quelle copie garder
Gardez la meilleure version (résolution la plus élevée, texte le plus complet) et notez les autres comme des copies plutôt que de les supprimer, afin que la décision puisse être revue.