Ile weryfikacji przez ludzi zaplanować przed automatyzacją procesu

Weryfikacja to kwestia obsady

Zautomatyzowana część procesu skaluje się wraz z mocą obliczeniową. Ludzie, którzy sprawdzają jej wyniki, już nie. Jeśli nikt nie zaplanuje ich czasu, weryfikacja pojawi się jako zaległości w czyjejś skrzynce, sprawy będą czekać, a czas obsługi, który miał uzasadniać projekt, zniknie. NIST AI Risk Management Framework wymaga, by procesy nadzoru człowieka były zdefiniowane, ocenione i udokumentowane. W praktyce oznacza to nazwiska, godziny i kolejkę, za którą ktoś odpowiada.

Trzy drogi, którymi sprawy trafiają do weryfikacji

• Każda sprawa. Typowe na początku i stałe przy działaniach, które wasze zasady zastrzegają dla człowieka, na przykład zwolnieniu płatności.
• Sprawy, które uruchamiają wyzwalacz: niska pewność modelu, kwota powyżej limitu, niezaliczona reguła albo agent, który zatrzymuje się i pyta. Artykuł Anthropic o agentach z 2024 roku opisuje zatrzymywanie się w punktach kontrolnych po informację zwrotną od człowieka albo gdy agent napotka przeszkodę.
• Losowa próbka z pozostałych. Usługa Amazon Augmented AI, dziś zamknięta dla nowych klientów, była zbudowana właśnie wokół połączenia weryfikacji przy niskiej pewności z próbkowaniem losowym, a ten wzorzec warto powtórzyć w każdym stosie. Próbka mówi wam, jaki jest odsetek błędów w sprawach, których nikt inny nie oglądał.

Arkusz przepustowości dla hipotetycznego procesu

Liczby są założeniami dla ilustracji. Zastąpcie każdą tym, co zmierzy wasz pilotaż.

1. 1

   Wolumen

   2000 spraw tygodniowo, z czego 30 procent wpływa w poniedziałki.

2. 2

   Faza pierwsza: pełna weryfikacja

   Każda sprawa sprawdzana w 3 minuty: 6000 minut, czyli 100 godzin weryfikacji tygodniowo.

3. 3

   Faza druga: wyzwalacze i próbka

   30 procent spraw uruchamia wyzwalacz i zajmuje 4 minuty, bo to te trudniejsze: 2400 minut. Próbka 10 procent z pozostałych 1400 zajmuje po 2 minuty: 280 minut. Razem około 45 godzin tygodniowo.

4. 4

   Sprawdzenie szczytu

   W poniedziałek w fazie drugiej 600 spraw daje około 13 godzin weryfikacji. Jeśli jeden weryfikator ma na tę pracę 6 produktywnych godzin dziennie, poniedziałek wymaga co najmniej trzech osób, inaczej kolejka przechodzi na wtorek.

Z arkusza wynikają dwie rzeczy. Faza pierwsza wymaga ponad dwa razy więcej godzin niż faza druga, więc budżet pilotażu nie powinien zakładać obsady z fazy drugiej. A wynik fazy drugiej mocno zależy od odsetka wyzwalaczy. Jeśli wyzwalacz uruchamia 45 procent spraw zamiast 30, ten sam tydzień wymaga około 64 godzin weryfikacji zamiast 45. Zmierzcie odsetek wyzwalaczy na prawdziwych sprawach, zanim ustalicie obsadę.

Co sprawia, że przegląd trwa dwie minuty, a nie dziesięć

Minuty na przegląd są efektem projektu, a nie stałą cechą procesu. Weryfikator pracuje szybko, gdy proponowany wynik przychodzi z dowodami, takimi jak pola źródłowe, fragment dokumentu i reguła, która zadziałała, razem z powodem oznaczenia sprawy. Akceptacja lub poprawka powinna wymagać jednej akcji w narzędziu, którego weryfikator już używa, a każda poprawka powinna być zapisywana jako dane strukturalne. Wytyczne Anthropic dotyczące ewaluacji zalecają zamianę błędów z produkcji w zadania testowe, a te poprawki są ich źródłem.

Kiedy udział weryfikacji może spaść

Zmniejszajcie go dla jednego typu spraw naraz, gdy losowa próbka niezweryfikowanych spraw przez uzgodniony okres pozostaje poniżej uzgodnionego poziomu błędów. Zachowajcie próbkę także potem, bo to jedyny pomiar spraw, których nikt nie sprawdza, i podnieście udział z powrotem, jeśli odsetek błędów w próbce rośnie. Sprawdzajcie też weryfikatorów. Osoba, która zatwierdza setki poprawnych wyników, może przestać się przyglądać, więc kilka spraw ze znanymi błędami wmieszanych w kolejkę pokaże, czy weryfikacja nadal je wyłapuje.

Wpisanie czasu weryfikacji do planu

Budżetujcie fazę pierwszą z pełną weryfikacją, a fazę drugą jako przedział, a nie obietnicę. Godziny należą do zespołu procesu, a nie do IT, a weryfikatorzy potrzebują uprawnień do poprawiania wyniku, a nie tylko do jego zatwierdzania. W projektach agentów, które budujemy, każdy agent zaczyna na poziomie, na którym człowiek decyduje o każdej sprawie, a jego zakres rośnie dopiero po wspólnym przeglądzie wyników.

Pełny koszt procesu z AIIle decyduje agent