Przegląd wyjątków agenta bez kolejki, której nikt nie jest w stanie skończyć

Co jest wyjątkiem

Rutynowe eskalacje są częścią normalnej pracy i obsługuje się je w kolejce operacyjnej. Przegląd dotyczy zdarzeń, które sugerują, że błąd tkwi w agencie, jego narzędziach albo regułach:

• Nieudane automatyczne kontrole wyniku
• Sprawy poprawione przez człowieka po tym, jak agent je zakończył
• Późniejsze odwrócenia, na przykład anulowane księgowanie albo zwrot
• Reklamacje dotyczące sprawy obsłużonej przez agenta
• Eskalacje z nieprzypisanym powodem oraz skupiska błędów narzędzi

Stały budżet zamiast czytania wszystkiego

Podziel wyjątki według wagi. Wszystko, gdzie pieniądze zostały źle przesunięte, dane opuściły organizację albo złamano obowiązkową regułę, przeglądasz zawsze. Resztę grupujesz według sygnatury, na przykład typ sprawy plus zawodzące narzędzie plus typ błędu, i z każdej grupy losujesz kilka spraw w ramach stałego tygodniowego budżetu. Przewodnik Arize po ewaluacji agentów proponuje podobny podział: jasno zdefiniowane błędy zbieraj automatycznie, a niejednoznaczne lub wysokiego ryzyka najpierw kieruj do człowieka.

Hipotetyczny budżet: dwie godziny tygodniowo wspólnej pracy eksperta procesowego i inżyniera, co wystarcza na mniej więcej piętnaście do dwudziestu zgrupowanych przeglądów, jeśli każdy trwa sześć do ośmiu minut. Ponieważ grupy są próbkowane równo, a nie według wolumenu, odsetka błędów w próbce nie traktuj jako wskaźnika błędów na produkcji. Zważ każdą grupę jej rzeczywistym wolumenem albo raportuj grupy osobno.

Rekord triażu, który do czegoś prowadzi

Rekord powinien być na tyle krótki, żeby wypełnić go w trakcie przeglądu. Zwykle wystarcza pięć pól:

• Co się stało w porównaniu z tym, co powinno się stać, zapisane jako wartości rekordów
• Gdzie coś poszło nie tak: dane wejściowe, narzędzie, rozumowanie modelu, luka w regułach albo w zestawie testowym
• Waga, na tej samej skali co przy próbkowaniu
• Jeden imiennie wskazany właściciel
• Jedno działanie ze sprawdzalnym stanem końcowym, na przykład przypadek regresyjny, który przechodzi

To zapożyczenie z wytycznych SRE Google'a dotyczących postmortemów, które dla każdego działania wymagają jednego właściciela, priorytetu i wpisu do śledzenia, weryfikowalnych stanów końcowych oraz tonu bez szukania winnych. Przytaczają też słowa jednego z liderów: postmortem bez dalszych działań niczym nie różni się od braku postmortemu.

Od wyjątku do przypadku regresyjnego

1. 1

   Ogranicz

   Zachowaj minimum danych odtwarzających błąd i usuń dane osobowe, które na niego nie wpływają. Arize radzi to samo: potwierdzaj błędy i usuwaj duplikaty zamiast kopiować każdy z osobna.

2. 2

   Potwierdź oczekiwany wynik

   Właściciel procesu określa, jaki jest poprawny wynik. Jeśli nie potrafi, działaniem jest doprecyzowanie reguły, a nie napisanie testu.

3. 3

   Zmierz przed poprawką i po niej

   Test deterministyczny, na przykład test narzędzia albo walidatora, powinien nie przechodzić przed poprawką i przechodzić po niej. Kompleksowa sprawa agenta może zawodzić tylko w części przebiegów, więc uruchom ją kilka razy na bieżącym wydaniu, zapisz odsetek niepowodzeń i po poprawce porównaj ten odsetek dla istotnego wyniku, zamiast oczekiwać jednego gwarantowanego zaliczenia.

4. 4

   Zachowaj, a potem wycofaj

   Sprawa trafia do zestawu regresyjnego, który według przewodnika Anthropic po ewaluacji agentów powinien przechodzić niemal w 100 procentach. Wycofaj ją, gdy zmieni się opisywany przez nią proces.

Ponieważ poprawkę napisano, patrząc na tę sprawę, należy ona do zestawu deweloperskiego i regresyjnego, a nie do wydzielonego. Żeby sprawdzić, czy poprawka się uogólnia, dodaj do zestawu wydzielonego kilka nowych spraw tego samego rodzaju.

Jak utrzymać kolejkę skończoną

Wpisy o niskiej wadze, które nie trafią do próbki w ustalonej liczbie tygodni, zamyka się jako nieprzejrzane i liczy, nigdy nie usuwa po cichu. Przy grupach o dużym wolumenie trendy zastępują czytanie pojedynczych spraw: jeśli sygnatura dalej rośnie, dostaje miejsce w przeglądzie. Wytyczne SRE dotyczące postmortemów zalecają przechowywanie zapisów w przeszukiwalnym repozytorium z metadanymi i traktowanie powracających incydentów jako sygnału opieszałej realizacji działań. Tutaj jest tak samo: sygnatura, która ciągle wraca, oznacza, że przypisane jej działanie nie działa.

Inne sygnały ostrzegawcze to działania otwarte od tygodni, zestaw regresyjny, który tylko rośnie, bo żadna sprawa nie jest z niego wycofywana, oraz przeglądy prowadzone przez inżynierów bez nikogo z procesu. Dobry pierwszy krok to pobranie poprawionych i odwróconych spraw z ostatniego miesiąca, pogrupowanie ich według sygnatury i sprawdzenie, ile naprawdę jest odrębnych grup.