Testy regresji aplikacji LLM: co uruchamiać przy zmianie promptu lub modelu

Co liczy się jako zmiana

W zwykłym oprogramowaniu przebieg regresji następuje po zmianie kodu. W aplikacji LLM zachowanie zmienia się także wtedy, gdy ktoś edytuje prompt w pliku konfiguracyjnym, ponownie indeksuje dokumenty albo zmienia ustawienie, a także gdy dostawca aktualizuje model kryjący się za aliasem. Obejmij to wszystko kontrolą wersji albo przynajmniej dziennikiem zmian i uruchamiaj zestaw przy każdej z tych zmian.

• Zmiany promptu i promptu systemowego, także te wprowadzane poza repozytorium kodu
• Nowy model lub nowa wersja modelu oraz aktualizacje aliasu u dostawcy
• Nowe lub zmienione dokumenty w indeksie wyszukiwania oraz zmiany podziału na fragmenty lub embeddingów
• Nowe narzędzia oraz zmienione opisy narzędzi lub uprawnienia
• Ustawienia takie jak temperatura, maksymalna długość wyniku czy liczba pobieranych fragmentów

Co wchodzi do zestawu regresji

Zespół inżynierów Anthropic odróżnia ewaluacje możliwości, które mierzą postęp w zadaniach, z którymi system jeszcze sobie nie radzi, od ewaluacji regresji, które powinny mieć odsetek zaliczeń bliski 100%. Dla zestawu regresji oznacza to przypadki, z którymi obecna wersja sobie radzi, obejmujące każdy zauważony i naprawiony typ błędu, plus krytyczne kryteria z odbioru. Gdy błąd zostaje naprawiony, jego przypadek trafia do zestawu, żeby błąd nie wrócił niezauważony.

Ułóż kontrole według kosztu. Kontrole deterministyczne idą pierwsze i szybko wychwytują błędy: schematy, pola wymagane, argumenty narzędzi, cytaty wskazujące istniejące dokumenty, odmowy przy prośbach spoza zakresu. Potem przychodzą sędziowie LLM, każdy zweryfikowany względem ocen eksperta dziedzinowego, dla kryteriów wymagających oceny. Trzymaj zestaw na tyle mały, żeby uruchamiać go przy każdej zmianie; Hamel Husain i Shreya Shankar opisują zestawy do CI jako małe i celowe, często liczące 100 przykładów lub więcej.

Walidacja sędziego LLMInżynieria ewaluacji AI

Porównuj wersje przypadek po przypadku

Uruchom starą i nową wersję na tych samych przypadkach, co w języku sylabusa ISTQB CT-AI nazywa się testem back-to-back, i przyjrzyj się przypadkom, które zmieniły wynik. Nowy prompt może podnieść średnią, a mimo to zepsuć pięć przypadków, które wcześniej działały, i to właśnie te pięć może zauważyć klient. Podawaj trzy liczby: przypadki, które przestały przechodzić, przypadki, które zaczęły przechodzić, i zmianę netto.

To, czy zmiana netto jest prawdziwa, wymaga testu sparowanego, a nie porównania dwóch średnich. Nasz poradnik o wielkości próby w ewaluacjach pokazuje metodę na przykładzie: przy 100 przypadkach 8 naprawionych i 5 zepsutych to wciąż szum.

Wielkość próby w ewaluacji

Kiedy zatrzymać wydanie

• Każdy nowy błąd w kryterium krytycznym zatrzymuje wydanie, niezależnie od średniej.
• Kontrola deterministyczna, która przestała przechodzić, zatrzymuje wydanie, bo oznacza bug.
• Przy kryteriach statystycznych zatrzymaj wydanie, gdy odsetek zaliczeń wyraźnie spadnie poniżej wymagania z odbioru, czyli także górna granica jego przedziału jest poniżej, i sprawdź ręcznie, gdy wynik jest na granicy albo przypadki zmieniły wynik w obu kierunkach.
• Sędzia, który się zmienił, z nowym modelem albo nowym promptem, jest ponownie sprawdzany na etykietach eksperta, zanim jego liczby zaczną się liczyć.

Zmiana modelu zasługuje na drugi krok. Zanim przełączysz produkcję na nowy model, uruchom go w trybie cienia na próbce prawdziwego ruchu, z odpowiedziami zapisywanymi, ale niepokazywanymi, i porównaj je z obecną wersją. Przebiegi w cieniu wychwytują pytania, których twój zestaw testów jeszcze nie zawiera.

Szybki i tani zestaw testów

Zestaw 300 przypadków, każdy w trzech przebiegach, z dwoma sędziami na przebieg, to 900 odpowiedzi i 1800 wywołań sędziów na zmianę. Pełny zestaw uruchamiaj przy zmianach modelu i promptu, a mniejszy zestaw dymny przy drobnych poprawkach, używaj zapisanych odpowiedzi niezmienionej wersji jako punktu odniesienia i przenoś sędziego na tańszy model dopiero wtedy, gdy sprawdzisz ten model na etykietach eksperta.

Testowanie systemów AI