Testowanie agenta na bieżącej pracy, zanim będzie mógł cokolwiek zmienić

Co tutaj oznacza tryb cienia

Pomysł pochodzi z inżynierii wydań. Martin Fowler opisuje dark launching jako wywoływanie nowego zachowania backendu na produkcji bez pokazywania wyniku użytkownikom, a równoległe działanie jako uruchamianie starej i nowej implementacji obok siebie i porównywanie wyników. SRE Workbook Google'a opisuje traffic teeing, w którym kopia ruchu produkcyjnego trafia do nowej wersji, a jej odpowiedzi są odrzucane, i zaznacza, że w systemach ze stanem trudniej to skonfigurować.

Agent procesowy jest właśnie takim systemem. Jego wartość leży w zmianach, które wprowadza, więc tryb cienia musi oddzielić odczyt, który odbywa się naprawdę, od zapisu, który jest tylko proponowany.

Jak upewnić się, że niczego nie zmieni

• Daj agentowi poświadczenia, które w samych systemach docelowych pozwalają tylko na odczyt. Polecenie w prompcie nie jest kontrolą
• Zastąp każde narzędzie zapisujące rejestratorem, który zapisuje pełne proponowane wywołanie, jego argumenty i identyfikator sprawy
• Zablokuj wychodzące e-maile i wiadomości na poziomie sieci albo bramy
• Sprawdź odczyty pod kątem skutków ubocznych: oznaczenie wiadomości jako przeczytanej, zablokowanie rekordu, zużycie limitu API, wpis w logu audytowym
• Potwierdź konfigurację testem: agent próbuje zapisu w trybie cienia i ta próba musi się nie udać

Rejestrowanie zapisów samo ma skutek uboczny. Późniejsze kroki, które odczytują to, co agent zapisał, na przykład nowy numer księgowania albo zmieniony status, niczego nie znajdą. Daj więc przebiegowi w cieniu odizolowaną kopię stanu, który zmienia, na przykład tenant w piaskownicy albo symulowany magazyn rekordów, który spójnie odpowiada na późniejsze odczyty, albo zatrzymuj każdy przebieg w cieniu przy pierwszym zapisie i porównuj tylko do tego momentu. W przeciwnym razie późniejsze kroki zawodzą albo się rozjeżdżają z powodów, które nic nie mówią o agencie.

Fowler wskazuje, że pierwotnym celem dark launchingu był pomiar dodatkowego obciążenia przed wydaniem. Tutaj jest tak samo: agent czytający każdą sprawę zwiększa ruch w systemach produkcyjnych, więc uzgodnij limity z ich właścicielami.

Porównywanie propozycji z decyzjami

Przypisz każdej zapisanej propozycji to, co człowiek ostatecznie zrobił z tą samą sprawą. Ponieważ oboje pracują na tych samych sprawach w tym samym czasie, unikasz słabości, na którą SRE Workbook zwraca uwagę przy porównaniach przed i po: mylenia zmiany z różnicami między tygodniami. Przydziel każdą sprawę do jednej z grup:

• Zgodność: to samo działanie i te same kluczowe wartości
• Agent eskalował, a człowiek zakończył sprawę
• Rozbieżność, oceniana przez drugiego eksperta, który nie wie, która strona co zaproponowała

Nie zakładaj, że człowiek miał rację. Decyzje ludzi są punktem odniesienia, a nie prawdą absolutną, i część rozbieżności okaże się ludzkimi błędami. Zgodność też nie jest dowodem, bo agent i człowiek mogą pomylić się w ten sam sposób, więc do ślepej oceny włącz również losową próbkę spraw zgodnych.

Przykładowe podsumowanie

Hipotetyczne liczby dla ilustracji: przez trzy tygodnie agent fakturowy działa w cieniu na 400 sprawach. Jego propozycja zgadza się z decyzją człowieka w 318, 52 eskaluje, a w 30 się różni. Ślepa ocena tych 30 przez eksperta pokazuje, że agent mylił się w 19, człowiek w 8, a 3 sprawy są niejednoznaczne. Ta sama ocena losowo wybranych 40 z 318 spraw zgodnych znajduje 2, w których mylili się oboje. Większość z 19 błędów dotyczy jednej grupy dostawców z fakturami korygującymi.

W tym przykładzie decyzja wynika z kategorii, a nie z nagłówkowych mniej więcej 80 procent zgodności. Faktury korygujące zostają u ludzi i trafiają do zestawu testowego. Standardowe dopasowania, które stanowią większość zgodnych spraw, przechodzą do kolejnego etapu, w którym agent działa z akceptacją. Przy tak małych liczbach każda kategoria potrzebuje własnego zliczenia, zanim ktokolwiek wyciągnie wnioski.

Kryteria wyjścia z trybu cienia

Spisz je, zanim ruszy pierwsza sprawa w trybie cienia, i uzyskaj zgodę właściciela procesu, tak jak SRE Workbook wymaga, by interesariusze uzgodnili cel, zanim posłuży do podejmowania decyzji. Typowa lista obejmuje minimalną liczbę spraw w każdej kategorii, akceptowalny odsetek błędów w ocenionych sprawach, pobranych zarówno z rozbieżności, jak i z próbki spraw zgodnych, brak prób wywołań spoza dozwolonych narzędzi, koszt na sprawę w uzgodnionym budżecie i wyjaśnienie każdego powodu eskalacji. Spełnienie ich daje prawo do działania pod nadzorem, a nie autonomię.

Czego tryb cienia nie pokaże

Nie przetestuje ścieżki zapisu: ponowień, ochrony przed duplikatami i błędów, które pojawiają się dopiero wtedy, gdy wywołanie naprawdę coś zmienia. Nie pokaże, jak reagują klienci albo dalsze procesy, a na czas działania podwaja pracę. Przewodnik Anthropic po ewaluacji agentów zauważa, że testy A/B mierzą rzeczywiste wyniki, ale potrzebują odpowiedniego ruchu i niewiele mówią o przyczynach. Tryb cienia leży między ewaluacjami offline a tym etapem. Dobry pierwszy krok to spisanie narzędzi zapisujących, z których korzystałby agent, i sprawdzenie, czy każde da się zastąpić rejestratorem bez zmiany kodu agenta.