Affinage ou recherche documentaire ?
L’affinage (fine-tuning) change la façon dont un modèle se comporte : son ton, son format et les tâches qu’il maîtrise. Si vous voulez surtout qu’il réponde à partir de vos documents, la recherche documentaire (chercher dans vos documents au moment de la question) est souvent plus simple et plus facile à tenir à jour. Beaucoup d’équipes utilisent les deux. Dans tous les cas, les données doivent être propres.
1. Choisir des exemples qui montrent le comportement voulu
Un jeu d’affinage se compose généralement de paires entrée et sortie idéale, par exemple une question de client et la meilleure réponse donnée par votre équipe. Un petit jeu d’exemples bons et cohérents tend à faire mieux qu’un grand jeu de qualité inégale.
2. Trouver les copies et les quasi-copies
Les données du support regorgent de modèles de réponse, de signatures et de fils répétés. Les doublons font répéter au modèle des formules toutes faites et peuvent fuir entre données d’entraînement et données d’évaluation. Trouvez et marquez les doublons avant le découpage.
3. Trouver les données personnelles et les secrets
Les e-mails et les discussions contiennent des noms, des adresses e-mail, des numéros de téléphone, des numéros d’identification, des numéros de carte et de compte, et parfois des mots de passe ou des clés d’API. Un modèle peut reproduire ce sur quoi il a été entraîné. Trouvez-les, puis masquez-les, retirez-les ou ne les conservez qu’avec une base légale. Révoquez toute clé exposée. Voir les données personnelles dans les jeux de textes.
4. Contrôler la langue, l’encodage et la longueur
Signalez les messages vides ou tronqués, les caractères corrompus, les réponses automatiques et les textes dans des langues dans lesquelles vous ne voulez pas que le modèle réponde.
5. Garder un jeu d’évaluation à part
Mettez de côté de vrais exemples que le modèle ne voit jamais à l’entraînement et évaluez-le sur ceux-ci, idéalement avec les personnes qui répondent aujourd’hui aux clients.
6. Noter ce qui a été utilisé
Notez les sources, les périodes couvertes, les filtres, les données personnelles trouvées et la façon dont elles ont été traitées. Vous en aurez besoin le jour où quelqu’un demandera sur quoi le modèle a été entraîné.