Ewaluacja agentów AI: wyniki, wywołania narzędzi i powtarzane przebiegi

Przebieg, który kończy się właściwym rekordem w twoim systemie, mógł iść ryzykowną drogą, a przebieg, który wygląda porządnie, może skończyć się złym wynikiem. Najpierw sprawdzamy wynik, wszędzie, gdzie się da, w kodzie: stan zgłoszenia, zwróconą kwotę, wiadomość, która została albo nie została wysłana. Potem czytamy ślad, żeby znaleźć miejsce, w którym nieudany przebieg poszedł źle.

Kontrola wywołań narzędzi porównuje to, co zrobił agent, ze wzorcem: które narzędzia wywołał, z jakimi argumentami i w ilu krokach. Agent, który dochodzi do właściwego wyniku w 14 wywołaniach, gdy wystarczyłyby 3, ma problem z kosztem i opóźnieniem, nawet jeśli każda odpowiedź jest poprawna.

Agenci nie są deterministyczni, więc jeden udany przebieg niewiele dowodzi. Uruchamiamy każdy przypadek kilka razy z ustawieniami, których używasz na produkcji, i podajemy, jak często udają się wszystkie przebiegi, a nie tylko, czy udał się jeden. W benchmarku τ-bench gpt-4o rozwiązał w pojedynczym przebiegu około 61% zadań z handlu, a we wszystkich ośmiu przebiegach udało się mniej niż 25%.

W przypadku agentów, którzy rozmawiają z ludźmi przez kilka tur, drugi model może grać klienta z opisanym celem i ograniczeniami. W ten sposób wychodzą problemy ze stanem i pamięcią, których pojedyncze pytania nie wychwycą.

Testujemy też działania, do których nie powinno dojść: działanie bez wymaganej zgody, kontynuowanie, gdy sprawa powinna trafić do człowieka, albo powtórzenie zapisu, gdy narzędzie nie odpowiada. To właśnie przypadki, których demo rzadko dotyka.

Zestaw uruchamia się w CI przy każdej zmianie promptów, modeli, narzędzi lub orkiestracji, z progiem dla każdego typu błędu. Na produkcji sędziowie działają na próbce prawdziwych przebiegów, a raport trzyma jakość, koszt udanego zadania i opóźnienie w jednej tabeli.

Jeden agent lub proces, w maksymalnie dwóch językach, z ekspertem dziedzinowym po twojej stronie na kilka godzin tygodniowo i dostępem do wcześniejszych przebiegów lub spraw. Zespoły, które już prowadzą ewaluacje agentów, mogą zacząć od dwutygodniowego audytu tego, co mają.

• Typy błędów z liczbą wystąpień z prawdziwych przebiegów
• Od 50 do 150 przypadków z oczekiwanymi wynikami, wersjonowanych w twoim repozytorium
• Kontrola wyników, kontrola wywołań narzędzi i sędziowie z raportem, na ile każdy zgadza się z twoim ekspertem
• Bramka wydania w CI i próbkowanie na produkcji
• Raport bazowy z sukcesem w powtarzanych przebiegach, kosztem udanego zadania i opóźnieniem