Kiedy destylacja modelu jest warta dodatkowej pracy treningowej

Dwa rodzaje destylacji o różnych wymaganiach

Destylacja na poziomie sekwencji to prostszy wariant. Nauczyciel odpowiada na zestaw promptów, zostawiasz odpowiedzi, które przejdą twoje testy, a ucznia dostrajasz na nich tak, jakby były etykietami od ludzi. OpenAI opisało ten przebieg dla swojego hostowanego fine-tuningu, platformy, która jest już zamknięta dla nowych użytkowników i wygaszana dla uprawnionych obecnych klientów. Ten sam przebieg działa z uczniem z otwartymi wagami trenowanym w twoim środowisku i z każdym nauczycielem, którego możesz wywołać, także przez hostowane API.

Destylacja na poziomie tokenów uczy ucznia prawdopodobieństw, jakie nauczyciel przypisuje każdemu tokenowi, a nie tylko gotowego tekstu. Hinton i współautorzy pisali w 2015 roku, że takie miękkie cele, gdy mają wysoką entropię, niosą w każdym przykładzie treningowym znacznie więcej informacji niż twarde etykiety. Generalized Knowledge Distillation, zaproponowana przez Agarwala i współautorów, pozwala ponadto uczniowi generować własne odpowiedzi, które ocenia nauczyciel. Zmniejsza to rozbieżność między tym, co uczeń widzi w treningu, a tym, co sam produkuje podczas inferencji. W Hugging Face TRL eksperymentalny GKDTrainer wczytuje nauczyciela jako model obok ucznia, więc ta droga wymaga nauczyciela, którego wagi możesz uruchomić u siebie.

Kiedy dodatkowa praca się zwraca

• Nauczyciel już spełnia twoje kryteria akceptacji dla zadania. Traktuj to jako warunek wejścia: filtrowanie, poprawki ludzi i dodatkowe dane z zadania mogą czasem wynieść ucznia ponad nauczyciela, ale nauczyciel, którego sam byś wdrożył, daje znany punkt wyjścia.
• Wolumen jest na tyle duży, że niższy koszt serwowania ucznia odrobi koszt generowania danych i treningu.
• Etykiet od ludzi jest mało albo powstają powoli, a odpowiedzi nauczyciela da się tanio sprawdzić regułami lub przeglądem próbki.
• Limity opóźnień albo wymogi co do miejsca przetwarzania danych sprawiają, że wywoływanie nauczyciela na produkcji jest niepraktyczne.

Jeśli masz już tysiące zweryfikowanych wyników, trenuj bezpośrednio na nich. Nauczyciel dokłada koszt i własne błędy, a prawdziwe etykiety są lepszym punktem odniesienia.

Zaplanuj budżet na nauczyciela, nie tylko na ucznia

Wygenerowanie zbioru treningowego to inferencja, za którą płacisz. Hipotetyczny budżet z jawnymi założeniami: 60 000 promptów po 1500 tokenów wejścia i 250 tokenów wyjścia daje 90 milionów tokenów wejściowych i 15 milionów wyjściowych. Pomnóż to przez aktualne ceny tokenów nauczyciela, dolicz generacje odrzucone po filtrowaniu i przegląd próbki przez ekspertów.

Metody on-policy dokładają drugi rachunek. Nauczyciel ocenia odpowiedzi ucznia przez cały trening, więc potrzebuje mocy GPU w każdym przebiegu treningowym, a nie tylko przed nim. Cały cykl powtarza się też przy zmianie zadania: nowa kategoria albo zasada oznacza nowe odpowiedzi nauczyciela, nowe filtrowanie i nowego ucznia.

Jaką jakość możesz stracić

Uczeń uczy się rozkładu, który mu pokazałeś, więc jego słabe punkty da się przewidzieć.

• Wejścia spoza promptów treningowych, na przykład nowe szablony, języki lub typy próśb
• Rzadkie kategorie, które nauczyciel widział zbyt rzadko, by je przekazać
• Błędy nauczyciela, których nie wyłapał twój filtr, odtwarzane równie wiernie jak poprawne odpowiedzi
• Ogólne umiejętności spoza zadania, na przykład wykonywanie nietypowych instrukcji, których wąski zbiór treningowy nie podtrzymuje

Autorzy GKD zauważają też, że małemu uczniowi może brakować pojemności, by w pełni naśladować nauczyciela, dlatego ich metoda dopuszcza inne funkcje straty. Jeśli luka utrzymuje się mimo dodatkowych danych, zwykle pomaga większy uczeń albo węższe zadanie.

Oceniaj względem prawdy, nie tylko względem nauczyciela

Zgodność z nauczycielem łatwo zmierzyć, ale sama w sobie wprowadza w błąd, bo nagradza kopiowanie jego pomyłek. Oceń nauczyciela i ucznia na odłożonym zbiorze oznaczonym przez ludzi i dodaj zbiór sondujący z wejściami spoza zadania, żeby sprawdzić, czy uczeń je oznacza, zamiast pewnie odpowiadać.

Hipotetyczny wynik klasyfikatora klauzul umownych testowanego na 800 klauzulach oznaczonych przez prawników:

• Wszystkie klauzule: nauczyciel ma rację w 736, uczeń w 728, a obaj zgadzają się w 95 procentach klauzul
• 60 rzadkich typów klauzul: nauczyciel ma rację w 53, uczeń w 48
• 100 dokumentów spoza zadania: nauczyciel oznacza 90, uczeń 52

Ogólna różnica to jeden punkt procentowy, ale uczeń jest słabszy na rzadkich klauzulach i przepuszcza 48 ze 100 dokumentów, których nie powinien klasyfikować, więc nie można mu powierzyć decyzji, które wejścia oddać. Projekt hybrydowy potrzebuje osobnej bramki routingu, na przykład sprawdzenia typu dokumentu albo klasyfikatora dokumentów spoza zadania, zweryfikowanej na własnym oznaczonym zbiorze, zanim zacznie kierować rzadkie typy i nieznane dokumenty do nauczyciela. Zanim policzysz oszczędność, zmierz, ile dokumentów spoza zadania mimo to trafia do ucznia i ile ruchu nadal obsługuje nauczyciel.