Fine-Tuning oder Retrieval?
Fine-Tuning verändert, wie sich ein Modell verhält: seinen Ton, sein Format und die Aufgaben, die es gut beherrscht. Wenn es vor allem aus Ihren Dokumenten antworten soll, ist Retrieval (das Durchsuchen Ihrer Dokumente zum Zeitpunkt der Frage) oft einfacher und leichter aktuell zu halten. Viele Teams nutzen beides. So oder so müssen die Daten sauber sein.
1. Beispiele wählen, die das gewünschte Verhalten zeigen
Ein Fine-Tuning-Datensatz besteht meist aus Paaren von Eingabe und idealer Ausgabe, zum Beispiel einer Kundenfrage und der besten Antwort, die Ihr Team gegeben hat. Eine kleinere Menge guter, einheitlicher Beispiele schlägt meist eine große Menge gemischter Qualität.
2. Kopien und Beinahe-Kopien finden
Supportdaten sind voller Vorlagen, Signaturen und wiederholter Threads. Duplikate bringen das Modell dazu, Textbausteine zu wiederholen, und können zwischen Trainings- und Evaluierungsdaten durchsickern. Finden und markieren Sie Duplikate, bevor Sie aufteilen.
3. Personenbezogene Daten und Geheimnisse finden
E-Mails und Chats enthalten Namen, E-Mail-Adressen, Telefonnummern, Ausweisnummern, Karten- und Kontonummern und manchmal Passwörter oder API-Schlüssel. Ein Modell kann wiedergeben, womit es trainiert wurde. Finden Sie sie und maskieren oder entfernen Sie sie, oder behalten Sie sie nur mit einer Rechtsgrundlage. Widerrufen Sie offengelegte Schlüssel. Siehe personenbezogene Daten in Textdatensätzen.
4. Sprache, Kodierung und Länge prüfen
Markieren Sie leere oder abgeschnittene Nachrichten, fehlerhafte Zeichen, automatische Antworten und Text in Sprachen, in denen das Modell nicht antworten soll.
5. Ein zurückgehaltenes Evaluierungsset behalten
Legen Sie echte Beispiele beiseite, die das Modell im Training nie sieht, und bewerten Sie es daran, idealerweise mit den Personen, die heute Kunden antworten.
6. Festhalten, was eingeflossen ist
Notieren Sie Quellen, Zeiträume, Filter, welche personenbezogenen Daten gefunden wurden und wie sie behandelt wurden. Sie werden es brauchen, wenn jemand fragt, womit das Modell trainiert wurde.