Ile kosztuje proces z AI, gdy policzyć weryfikację i poprawki

Dlaczego cena tokena odpowiada na węższe pytanie

FinOps Foundation opisuje, że unit economics dla AI zwykle zaczynają się od kosztu tokena i dojrzewają w stronę miar wynikowych, takich jak koszt akcji agenta czy koszt sprawy, której udało się uniknąć. Cena tokena to miara zasobów. Mówi inżynierowi, czy projekt jest wydajny, ale nie mówi, czy proces stał się tańszy.

Nawet koszt modelu trudniej przewidzieć, niż sugeruje cennik. Sprawa może wymagać kilku wywołań, ponowień i długiego kontekstu, a agent potrafi wpaść w pętlę. AWS Generative AI Lens zaleca warunki zatrzymania dla długotrwałych workflowów agentów, żeby dało się przewidzieć maksymalny koszt przebiegu. Ceny też się zmieniają, a dokument FinOps Foundation o AI zauważa, że mogą mocno się zmieniać w obie strony.

Pozycje kosztu obsłużonej sprawy

• Użycie modelu na każdym etapie sprawy, łącznie z ponowieniami.
• Udział platformy: hosting, retrieval, logowanie i monitoring.
• Czas weryfikacji: minuty na sprawdzaną sprawę razy odsetek sprawdzanych spraw razy pełny koszt godziny pracy weryfikatora.
• Eskalacje: sprawy oddane ludziom i obsługiwane tak jak dziś.
• Poprawki: błędy wykryte po zakończeniu, łącznie z dodatkową pracą, jaką powodują dalej w procesie.
• Koszty stałe: budowa rozłożona na uzgodniony okres oraz utrzymanie, przebiegi ewaluacji i zmiany modeli.

Dzielcie przez sprawy zakończone, a nie rozpoczęte. Sprawa eskalowana nadal jest sprawą obsłużoną, ale jej koszt to koszt ręczny plus to, co system wydał, zanim się poddał.

Przykład obliczeń z założeniami

Każda liczba poniżej jest hipotetyczna i dobrana tak, by łatwo liczyć. Załóżmy 10 000 zgłoszeń serwisowych miesięcznie. Dziś każde zajmuje 12 minut przy pełnym koszcie 48 euro za godzinę, czyli 9,60 euro na sprawę i 96 000 euro miesięcznie.

• Model i platforma: 0,30 euro na sprawę, łącznie 3000 euro.
• System kończy 80 procent spraw, a każdą sprawdza się w 2 minuty: 8000 razy 1,60 euro, czyli 12 800 euro.
• 20 procent jest eskalowanych i obsługiwanych ręcznie: 2000 razy 9,60 euro, czyli 19 200 euro.
• 3 procent zakończonych spraw wymaga później 20-minutowej poprawki: 240 razy 16 euro, czyli 3840 euro.
• Stałe: budowa za 120 000 euro rozłożona na 24 miesiące plus 4000 euro miesięcznego utrzymania, czyli 9000 euro.

Suma wynosi 47 840 euro, czyli 4,78 euro na obsłużoną sprawę wobec 9,60 euro dziś. Model i platforma to około 6 procent tej kwoty. W tym przykładzie weryfikacja i eskalacje razem stanowią około dwóch trzecich kosztu.

Które założenia zmieniają wynik

Zmieniajcie jedno założenie naraz. Jeśli odsetek eskalacji wzrośnie z 20 do 35 procent, koszt sprawy wzrośnie z 4,78 do 5,91 euro. Jeśli weryfikacja zajmie 4 minuty zamiast 2, wyniesie 6,06 euro. Obniżenie kosztu modelu i platformy o połowę zmniejszy go tylko do 4,63 euro. W projekcie takim jak ten o uzasadnieniu biznesowym decydują zmierzone minuty weryfikacji i odsetek eskalacji. W agencie o dużym wolumenie, z długimi pętlami i małą weryfikacją, dominować może z kolei koszt modelu, więc policzcie to dla własnego projektu.

Zbieranie liczb w trakcie pilotażu

FinOps Foundation nazywa instrumentację w trakcie budowy najtańszym wczesnym krokiem: tagujcie zasoby i emitujcie licznik użycia, żeby mianownik istniał później. W procesie oznacza to oznaczanie każdego wywołania modelu identyfikatorem sprawy, zapisywanie, kiedy weryfikator otwiera i zamyka sprawę, logowanie każdej eskalacji i poprawki z przyczyną oraz branie kosztów stałych z umów. Śledźcie tę liczbę jako trend dla jednego procesu, zamiast porównywać ją z niezwiązanymi zespołami.

Porównywanie projektów tą samą formułą

Przepuśćcie obecny proces, kupiony produkt, własną budowę i prostszy workflow oparty na regułach przez to samo obliczenie. Każda oszczędność pozostaje warunkowa, dopóki pilotaż nie zmierzy odsetka eskalacji, weryfikacji i poprawek na prawdziwych sprawach. Korzyści, które nie są kosztem, na przykład krótszy czas obsługi, należą obok tej liczby, a nie do niej. Gdy budujemy agentów procesowych, raportujemy tę liczbę w euro na obsłużoną sprawę, obok odsetka spraw eskalowanych i odsetka, w którym agent się pomylił.

Budżet na ludzi, którzy weryfikują pracę AICo musi wykazać pilotaż AI