Kiedy projekt AI powinien wybrać prostszą drogę lub się zatrzymać

Dlaczego projekty AI rzadko kończą się same

Każda iteracja projektu AI przynosi małą poprawę i wiarygodny kolejny pomysł: lepszy prompt, kolejne narzędzie, nowszy model. Dema zwykle pokazują przypadki, które działają. Bez terminów i progów nikt nie odpowiada za stwierdzenie, że projekt doszedł do granicy. NIST AI Risk Management Framework traktuje to jako jawną decyzję: czy system realizuje zamierzony cel i czy jego rozwój lub wdrożenie powinny być kontynuowane. Ktoś musi podejmować to rozstrzygnięcie według harmonogramu.

Sygnały, które wymagają decyzji

• Jakość od kilku iteracji stoi poniżej wymaganego poziomu, zwłaszcza w najważniejszych typach spraw. Zanim to stwierdzicie, przeczytajcie zapisy błędów. Wytyczne Anthropic dotyczące ewaluacji zauważają, że oceniający może odrzucać poprawne odpowiedzi, więc plateau bywa problemem pomiaru.
• Pojedyncze przebiegi przechodzą, ale powtórzenia dają różne wyniki, więc w pojedynczej sprawie nie można na nich polegać.
• Koszt obsłużonej sprawy przy zmierzonych odsetkach weryfikacji i eskalacji pozostaje wyższy niż w obecnym procesie i nie widać już wiarygodnej dźwigni. FinOps Foundation opisuje koszty jednostkowe jako sposób, by zobaczyć, gdzie koszty wyprzedzają dostarczaną wartość.
• Nakład weryfikacji nie spada, bo weryfikatorzy nadal wykonują pracę od nowa, zamiast ją sprawdzać.
• Złożoność rośnie szybciej niż wyniki: każda poprawka dodaje krok, agenta albo wyjątek. Artykuł Anthropic o agentach z 2024 roku radzi dodawać złożoność tylko wtedy, gdy wyraźnie poprawia wyniki.

Opcje między kontynuacją a zatrzymaniem

1. 1

   Zawęzić

   Zostawcie typy spraw, które spełniają poprzeczkę, a resztę kierujcie do ludzi.

2. 2

   Uprościć

   Zastąpcie agenta stałym workflowem lub pojedynczym wywołaniem modelu albo użyjcie reguł, a modelu tylko dla wyjątków. NIST wymaga, by rozważyć także realne alternatywy bez AI.

3. 3

   Zmienić podejście

   Próbujcie innego modelu, innego projektu retrievalu albo fine-tuningu tylko wtedy, gdy analiza błędów wskazuje przyczynę, którą ta zmiana usunie.

4. 4

   Wstrzymać

   Poczekajcie na coś konkretnego, na przykład zapisane wyniki, API albo zgodę, z datą ponownego przeglądu.

5. 5

   Zatrzymać

   Wyłączcie i wycofajcie system, z odpowiedzialnością, którą NIST opisuje dla dezaktywacji systemów, których wyniki nie odpowiadają zamierzonemu zastosowaniu.

Hipotetyczny przegląd po czterech miesiącach

Załóżmy projekt, który kieruje przychodzące zgłoszenia do wsparcia i przygotowuje szkice odpowiedzi. Uzgodniona poprzeczka to 90 procent poprawnego kierowania. Po czterech miesiącach kierowanie osiąga 93 procent przy rutynowych zgłoszeniach, ale przy sporach o rozliczenia od trzech iteracji utrzymuje się w okolicach 60 procent, a zapisy pokazują, że te sprawy wymagają historii konta, której system nie widzi. Konsultanci przepisują większość szkiców, więc weryfikacja trwa mniej więcej tyle, co pisanie. Zmierzony koszt obsłużonego zgłoszenia jest nieco wyższy niż w obecnym procesie.

Sponsor w jednym spotkaniu zawęża projekt i część zatrzymuje. Kierowanie trwa dalej dla rutynowych zgłoszeń. Spory o rozliczenia trafiają do ludzi, dopóki historia konta nie będzie dostępna przez zatwierdzone API, co staje się wstrzymaniem z datą. Szkice odpowiedzi zostają zatrzymane. Po sześciu tygodniach koszt sprawy zostaje zmierzony ponownie w węższym zakresie i ta liczba rozstrzyga kolejny przegląd.

Decyzja bez presji kosztów utopionych

Ustalcie terminy przeglądów i progi na starcie projektu, żeby rozmowa dotyczyła dowodów, a nie włożonego wysiłku. Na każdym przeglądzie pytajcie, czy sfinansowalibyście kolejny etap dziś, wiedząc to, co już wiecie, i pomijajcie w odpowiedzi wydane już pieniądze. Zaproście kogoś spoza zespołu projektu. Udokumentowane zatrzymanie to wynik: zestaw testowy, analiza błędów i model kosztów przydadzą się przy następnej próbie.

Porządne wycofanie tego, co zatrzymujecie

Ramy NIST wymagają procedur bezpiecznego wycofywania systemów AI. W praktyce oznacza to cofnięcie kont serwisowych i kluczy API, usunięcie lub zarchiwizowanie danych zgodnie z uzgodnioną retencją, poinformowanie użytkowników, co zastępuje system, oraz odłożenie zestawu testowego i zapisu decyzji tam, gdzie znajdzie je kolejny zespół. Gdy budujemy agentów procesowych, a zadanie załatwia zwykły workflow, budujemy właśnie jego.

Co musi wykazać pilotaż AIPełny koszt procesu z AI