Partir de la tâche, pas des données
Avant de collecter quoi que ce soit, écrivez ce que le modèle doit faire, à quoi ressemble une bonne réponse et où il sera utilisé. « Détecter les produits endommagés sur les photos de retour » demande d’autres données que « répondre aux questions des clients sur nos produits ». La tâche détermine quelles données sont utiles et lesquelles sont du bruit.
1. Collecter à partir de sources autorisées
Listez chaque source : vos systèmes, vos clients, vos partenaires, des jeux de données publics, des pages web collectées. Vérifiez pour chacune que vous avez le droit de l’utiliser pour l’entraînement et, pour les données personnelles, que vous disposez d’une base légale au titre du RGPD. Gardez cette liste ; vous en aurez besoin.
2. Nettoyer ce que vous avez collecté
Vérifiez chaque fichier pour repérer les fichiers corrompus, les doublons, la faible qualité et les données personnelles, et notez ce que vous trouvez. Voir nettoyer un jeu de données d’entraînement.
3. Annoter de façon cohérente
Si le modèle apprend à partir d’étiquettes, rédigez des consignes avec des exemples de cas difficiles et mesurez l’accord entre deux annotateurs. Des étiquettes incohérentes limitent le modèle, quelle que soit la quantité de données ajoutée. Qualité des annotations.
4. Découper avant d’entraîner
Mettez de côté les données de validation et de test avant l’entraînement, et découpez par source (client, caméra, document) plutôt que par fichier, pour que les quasi-copies ne se retrouvent pas des deux côtés. Un jeu de test qui fuit dans l’entraînement donne des scores peu fiables.
5. Commencer petit et regarder les erreurs
Entraînez une première version sur un sous-ensemble propre et modeste, puis lisez les erreurs du modèle. Elles indiquent mieux qu’une collection plus grande et plus désordonnée quelles données ajouter ensuite.
6. Documenter le jeu de données
Notez les sources, les étapes de nettoyage, les règles d’annotation, le découpage et les lacunes connues. Vous pourrez reproduire le modèle et répondre aux questions des clients et des autorités. Documentation d’un jeu de données.