Które dawne sprawy trafiają do zestawu testowego agenta, a które nie mogą służyć do strojenia

Które dawne sprawy się nadają

Dawna sprawa jest przydatna tylko wtedy, gdy znasz właściwy wynik i możesz porównać z nim działanie agenta. Bierz sprawy, które spełniają wszystkie te warunki:

• Sprawa jest zamknięta, a jej końcowy wynik zapisany, na przykład faktura zatwierdzona, wstrzymana albo odrzucona z podaniem powodu
• Dwie osoby znające proces doszłyby na podstawie tych samych dokumentów do tego samego werdyktu; tym kryterium Anthropic opisuje jednoznaczne zadanie ewaluacyjne
• Decyzję da się podjąć na podstawie informacji dostępnych w chwili wpłynięcia sprawy. Jeśli pracownik rozwiązał ją po rozmowie telefonicznej, po której nie został żaden ślad, nie można oczekiwać, że agent trafi w ten sam wynik
• Potrafisz odtworzyć dane wejściowe: dokumenty, odpowiednie rekordy w ówczesnym stanie i obowiązującą wtedy politykę

Zapisane wyniki nie są automatycznie poprawne. Zanim sprawa trafi do zestawu, ekspert dziedzinowy potwierdza albo poprawia wynik i notuje uzasadnienie. Jeśli sprawne wersje agenta nie przechodzą sprawy w wielu przebiegach, najpierw sprawdź samą sprawę i jej oceniacza, zanim obwinisz agenta. Przewodnik Anthropic traktuje odsetek zaliczeń bliski zera jako częsty sygnał źle przygotowanego zadania, ale sprawa może też być po prostu trudna.

Dobierz przekrój, który odpowiada prawdziwej pracy

Większość zestawu losuj proporcjonalnie do rzeczywistego wolumenu poszczególnych typów spraw. Potem celowo dodaj sprawy, bo kosztowne błędy są rzadkie i losowa próbka je pomija.

• Rutynowe sprawy według typu, mniej więcej w proporcjach z ostatnich kilku miesięcy
• Znane wyjątki, takie jak dostawy częściowe, niezgodne waluty, zduplikowane zgłoszenia i dokumenty w innym języku
• Sprawy, w których właściwym działaniem jest zatrzymanie się i przekazanie sprawy człowiekowi
• Sprawy, w których narzędzie albo źródło danych zwraca pusty wynik, błąd lub nieaktualne dane
• Później każdy potwierdzony błąd z produkcji, ograniczony do minimum potrzebnego do jego odtworzenia

Anthropic zaleca zrównoważone zestawy, które sprawdzają, kiedy zachowanie powinno wystąpić, a kiedy nie, żeby zestaw nagradzający tylko domknięcie nie popychał zespołu w stronę agenta, który nigdy nie eskaluje.

Hipotetyczny przykład: dla agenta uzgadniającego faktury pierwszy zestaw 80 spraw mógłby zawierać 44 standardowe dopasowania, 12 odchyleń w granicach tolerancji, 8 odchyleń poza tolerancją, które trzeba wstrzymać, 8 faktur bez zamówienia, które trzeba eskalować, 4 duplikaty i 4 sprawy, w których zapytanie do ERP kończy się błędem. Twoje proporcje wynikają z historii twoich spraw.

Ponieważ celowo dodane sprawy są nadreprezentowane, łączny odsetek zaliczeń w tym zestawie nie jest wskaźnikiem, jakiego można oczekiwać na produkcji. Raportuj każdą kategorię osobno albo przed połączeniem zważ kategorie ich rzeczywistą częstotliwością.

Część, pod którą nikt nie stroi agenta

Podziel sprawy, zanim powstanie pierwszy prompt. Zestaw deweloperski służy do czytania transkryptów, poprawiania promptów, wybierania przykładów i naprawiania narzędzi. Zestaw wydzielony jest tylko oceniany i podsumowywany według kategorii; nikt nie zmienia agenta, patrząc na jego sprawy.

Zespoły uczenia maszynowego stosują tę samą dyscyplinę do danych testowych. Machine Learning Crash Course Google'a zwraca uwagę, że zestawy testowe zużywają się przy wielokrotnym użyciu, a duplikaty między danymi treningowymi i testowymi zawyżają wyniki.

Sposób podziału zależy od tego, co ma mierzyć zestaw wydzielony. Jeśli agent ma radzić sobie z dostawcami albo szablonami dokumentów, których nigdy nie widział, trzymaj wszystkie sprawy danego dostawcy lub szablonu po jednej stronie, żeby znajomość nie poprawiała wyniku. Jeśli na produkcji będą przeważać znani dostawcy, sprawy tego samego dostawcy po obu stronach to uczciwy test, ale usuń dokładne albo prawie dokładne kopie tego samego dokumentu. Za strojenie pod zestaw wydzielony uznaj takie działania:

• Skopiowanie sprawy z zestawu wydzielonego albo jej bliskiej parafrazy do promptu jako przykładu
• Dopisanie reguły do promptu po przeczytaniu, dlaczego konkretna sprawa z zestawu wydzielonego nie przeszła
• Dopracowywanie dwóch wersji agenta przez ciągłe sprawdzanie, która przechodzi więcej spraw z zestawu wydzielonego

Gdy sprawa z zestawu wydzielonego wpłynęła już na agenta, przenieś ją do zestawu deweloperskiego i zastąp świeżą sprawą z bieżącej pracy.

Co zawiera rekord każdej sprawy

Zapisz każdą sprawę jako rekord, który harness ewaluacyjny może uruchomić bez dopytywania kogokolwiek. Ten szkic dla hipotetycznego agenta fakturowego nie jest schematem żadnego dostawcy.

case_id: inv-0147
split: held_out             # development | held_out
category: price_deviation_outside_tolerance
group_key: supplier-2291    # used when the split is by supplier
source_ref: ERP document 5100231 (pseudonymised copy)
inputs:
  documents: [invoice.pdf, purchase_order.json, goods_receipt.json]
  system_snapshot: snapshots/inv-0147/erp-2026-06-03.json
  policy_version: ap-tolerance-policy v4
expected_outcome:
  action: hold
  reason_code: PRICE_ABOVE_TOLERANCE
must_not:
  - post_invoice
  - change_vendor_master_data
graders:
  - deterministic: action and reason_code match
  - rubric: hold note names the line and the price difference
reviewed_by: AP team lead, 2026-09-18

Najważniejsze pola to oczekiwany wynik zapisany jako sprawdzalny stan, zakazane działania i snapshot systemów z chwili wpłynięcia sprawy. Bez snapshotu sprawa może zacząć nie przechodzić tylko dlatego, że zamówienie zostało w międzyczasie zamknięte.

Dane osobowe w dawnych sprawach

Dawne sprawy często zawierają nazwiska, dane bankowe albo informacje o zdrowiu. Zachowaj tylko to, co odtwarza decyzję, pseudonimizuj identyfikatory, które nie wpływają na wynik, i zapisuj pochodzenie każdej sprawy, żeby można ją było usunąć na żądanie. O tym, czy prawdziwe sprawy w ogóle mogą służyć do testów, decyduje twój inspektor ochrony danych.

Kiedy zestaw testowy wprowadza w błąd

• Powstał ze spraw, które łatwo było opisać, więc wynik dotyczy tylko łatwiejszej połowy pracy
• Proces albo polityka się zmieniły i dawne oczekiwane wyniki są teraz błędne, więc przy każdej zmianie wersji polityki sprawy trzeba przejrzeć ponownie

Przypisz zestawowi właściciela i wersjonuj go razem z agentem. Praktyczny pierwszy krok to pobranie zamkniętych spraw z ostatnich trzech miesięcy dla jednego procesu, poproszenie właściciela procesu o oznaczenie spraw, którym ufałby jako punktowi odniesienia, i sprawdzenie, ile ich zostanie.

Agenci AI i automatyzacja procesów