Wann Modelldestillation den zusätzlichen Trainingsaufwand wert ist

Zwei Arten der Destillation mit unterschiedlichen Voraussetzungen

Destillation auf Sequenzebene ist die einfache Variante. Der Lehrer beantwortet eine Reihe von Prompts, Sie behalten die Antworten, die Ihre Prüfungen bestehen, und der Schüler wird darauf feingetunt, als wären es menschliche Labels. OpenAI hat diesen Ablauf für sein gehostetes Fine-Tuning dokumentiert, eine Plattform, die für neue Nutzer geschlossen ist und für berechtigte Bestandskunden auslaufen wird. Derselbe Ablauf funktioniert mit einem Open-Weight-Schüler, den Sie in Ihrer eigenen Umgebung trainieren, und mit jedem Lehrer, den Sie aufrufen können, auch über eine gehostete API.

Destillation auf Token-Ebene trainiert den Schüler auf die Wahrscheinlichkeit, die der Lehrer jedem Token gibt, statt nur auf seinen fertigen Text. Hinton und Kollegen schrieben 2015, dass solche weichen Zielwerte bei hoher Entropie pro Trainingsfall deutlich mehr Information tragen als harte Labels. Generalized Knowledge Distillation, vorgeschlagen von Agarwal und Kollegen, lässt den Schüler zusätzlich eigene Ausgaben erzeugen, die der Lehrer bewertet. Das verringert die Lücke zwischen dem, was ein Schüler im Training sieht, und dem, was er bei der Inferenz erzeugt. In Hugging Face TRL lädt der experimentelle GKDTrainer den Lehrer als Modell neben dem Schüler, dieser Weg braucht also einen Lehrer, dessen Gewichte Sie selbst ausführen können.

Wann sich der Mehraufwand lohnt

• Der Lehrer erfüllt Ihre Abnahmekriterien für die Aufgabe bereits. Betrachten Sie das als Einstiegskriterium: Filterung, menschliche Korrekturen und zusätzliche Aufgabendaten können einen Schüler manchmal über seinen Lehrer heben, aber ein Lehrer, den Sie selbst einsetzen würden, liefert eine bekannte Ausgangsbasis.
• Das Volumen ist hoch genug, damit die niedrigeren Betriebskosten des Schülers die Kosten für Datenerzeugung und Training wieder einspielen.
• Menschliche Labels sind knapp oder langsam, während sich die Ausgaben des Lehrers günstig per Regeln oder Stichprobenprüfung kontrollieren lassen.
• Latenzgrenzen oder Vorgaben zum Datenstandort machen den Aufruf des Lehrers in der Produktion unpraktikabel.

Wenn Sie bereits Tausende geprüfter Ergebnisse haben, trainieren Sie direkt darauf. Ein Lehrer bringt Kosten und eigene Fehler mit, und echte Labels sind der bessere Maßstab.

Den Lehrer genauso einplanen wie den Schüler

Den Trainingsdatensatz zu erzeugen ist Inferenz, die Sie bezahlen. Ein hypothetisches Budget mit offengelegten Annahmen: 60.000 Prompts mit je 1.500 Eingabe- und 250 Ausgabetoken ergeben 90 Millionen Eingabe- und 15 Millionen Ausgabetoken. Multiplizieren Sie mit den aktuellen Tokenpreisen des Lehrers, rechnen Sie die nach dem Filtern verworfenen Generierungen hinzu und die Prüfung einer Stichprobe durch Fachleute.

On-Policy-Methoden bringen eine zweite Rechnung. Der Lehrer bewertet während des gesamten Trainings die Ausgaben des Schülers und braucht deshalb in jedem Trainingslauf GPU-Kapazität, nicht nur davor. Und der ganze Zyklus wiederholt sich, wenn sich die Aufgabe ändert: Eine neue Kategorie oder Richtlinie bedeutet neue Lehrerausgaben, neues Filtern und einen neuen Schüler.

Welche Qualität verloren gehen kann

Der Schüler lernt die Verteilung, die Sie ihm gezeigt haben, daher sind seine Schwachstellen vorhersehbar.

• Eingaben außerhalb der Trainingsprompts, etwa neue Vorlagen, Sprachen oder Anfragetypen
• Seltene Kategorien, die der Lehrer zu selten gesehen hat, um sie weiterzugeben
• Fehler des Lehrers, die Ihr Filter nicht erkannt hat, so getreu wiedergegeben wie richtige Antworten
• Allgemeine Fähigkeiten jenseits der Aufgabe, etwa das Befolgen ungewöhnlicher Anweisungen, die ein enger Trainingsdatensatz nicht erhält

Die Autoren von GKD weisen außerdem darauf hin, dass einem kleinen Schüler die Kapazität fehlen kann, den Lehrer vollständig nachzubilden, weshalb ihre Methode andere Verlustfunktionen zulässt. Bleibt eine Lücke trotz zusätzlicher Daten bestehen, ist ein größerer Schüler oder eine engere Aufgabe der übliche Ausweg.

An der Wahrheit messen, nicht nur am Lehrer

Die Übereinstimmung mit dem Lehrer ist leicht zu messen und für sich allein irreführend, weil sie das Kopieren seiner Fehler belohnt. Bewerten Sie Lehrer und Schüler auf einem zurückgehaltenen, von Menschen gelabelten Set, und ergänzen Sie ein Prüfset mit Eingaben, die nicht zur Aufgabe gehören, um zu sehen, ob der Schüler sie markiert, statt selbstsicher zu antworten.

Ein hypothetisches Ergebnis für einen Klassifikator von Vertragsklauseln, getestet an 800 von Juristen gelabelten Klauseln:

• Alle Klauseln: Lehrer bei 736 richtig, Schüler bei 728, und beide stimmen bei 95 Prozent der Klauseln überein
• 60 seltene Klauseltypen: Lehrer bei 53 richtig, Schüler bei 48
• 100 Dokumente außerhalb der Aufgabe: Lehrer markiert 90, Schüler 52

Der Abstand insgesamt beträgt einen Prozentpunkt, aber der Schüler ist bei seltenen Klauseln schwächer und übersieht 48 der 100 Dokumente, die er nicht klassifizieren sollte. Man kann ihm also nicht die Entscheidung überlassen, welche Eingaben er zurückgibt. Ein hybrides Design braucht ein eigenes Routing-Gate, etwa eine Prüfung des Dokumenttyps oder einen Klassifikator für Fremddokumente, das auf einem eigenen gelabelten Set validiert ist, bevor es seltene Typen und unbekannte Dokumente an den Lehrer schickt. Messen Sie, wie viele Fremddokumente trotzdem beim Schüler landen und wie viel Traffic der Lehrer weiterhin bekommt, bevor Sie die Ersparnis verbuchen.