UsługiEwaluacja agentów AI

Ewaluacja agentów AI: jak często twój agent poprawnie kończy zadanie, przebieg po przebiegu

Możesz powierzyć agentowi prawdziwą pracę, na przykład obsługę zgłoszeń, rekordów albo zamówień, gdy wiesz, jak często kończy ją poprawnie i że nigdy nie działa bez wymaganej zgody. Testujemy agentów AI (programy, które wykonują kroki w twoich systemach) na twoich przypadkach: najpierw wynik w twoich systemach, potem wywołane narzędzia i drogę do wyniku, z powtarzanymi przebiegami i bramką wydania, która zostaje w twoim repozytorium. To oferta dla zespołów, które używają agentów w obsłudze klienta, operacjach, finansach albo IT lub wkrótce zaczną, i dla menedżerów, którzy muszą ich zatwierdzić.

Pomiar bazowy dla jednego agenta

  1. 1

    Z ludźmi, którzy znają proces, czytamy co najmniej 100 przebiegów agenta i notujemy, gdzie w każdym z nich pojawił się pierwszy błąd.

  2. 2

    Typy błędów z liczbą wystąpień i od 50 do 150 przypadków z wynikiem, który powinien osiągnąć każdy przebieg.

  3. 3

    Kontrola wyników w kodzie, kontrola wywołań narzędzi względem ścieżek wzorcowych i sędziowie LLM tam, gdzie potrzebna jest ocena, porównani z ocenami twojego eksperta.

  4. 4

    Powtarzane przebiegi każdego przypadku, bramka wydania w CI i raport bazowy z kosztem udanego zadania.

Co się zmienia w twojej firmie

Agent, który działa w twoich systemach, oszczędza pracę tylko wtedy, gdy można na nim polegać. W ankiecie Inform z 2025 roku wśród 114 specjalistów i menedżerów z logistyki i łańcucha dostaw 46% wolało model, w którym AI proponuje, a człowiek decyduje, 81% oczekiwało wyjaśnień, a 61% chciało mieć możliwość ingerencji. Testy pokazują, gdzie twój agent może działać sam, a gdzie musi przekazać sprawę człowiekowi.

  • Wiesz, jak często agent poprawnie kończy zadanie w powtarzanych przebiegach, a nie po jednym udanym demie.
  • Działania, do których nie może dojść, na przykład zwrot bez zgody albo podwójne zaksięgowanie, są testowane przed startem.
  • Błędy wychodzą w testach, zanim ktoś musi je sprzątać w twoich systemach.
  • Koszt udanego zadania pokazuje, czy agent się opłaca, łącznie z wywołaniami narzędzi, które marnuje.
  • Nowy model albo nowy prompt nie zmienia po cichu tego, co agent robi w twoich systemach.

Najpierw wynik, potem droga

Przebieg, który kończy się właściwym rekordem w twoim systemie, mógł iść ryzykowną drogą, a przebieg, który wygląda porządnie, może skończyć się złym wynikiem. Najpierw sprawdzamy wynik, wszędzie, gdzie się da, w kodzie: stan zgłoszenia, zwróconą kwotę, wiadomość, która została albo nie została wysłana. Potem czytamy ślad, żeby znaleźć miejsce, w którym nieudany przebieg poszedł źle.

Więcej szczegółów

Kontrola wywołań narzędzi porównuje to, co zrobił agent, ze wzorcem: które narzędzia wywołał, z jakimi argumentami i w ilu krokach. Agent, który dochodzi do właściwego wyniku w 14 wywołaniach, gdy wystarczyłyby 3, ma problem z kosztem i opóźnieniem, nawet jeśli każda odpowiedź jest poprawna.

Przebiegi, które się powtarzają

Agent może przy tych samych danych wejściowych pójść inną drogą, więc jeden udany przebieg niewiele dowodzi. Uruchamiamy każdy przypadek kilka razy z ustawieniami, których używasz na produkcji, i podajemy odsetek przypadków, które udają się w każdym przebiegu, a nie tylko w jednym. W benchmarku τ-bench gpt-4o rozwiązał w pojedynczym przebiegu około 61% zadań z handlu, a we wszystkich ośmiu przebiegach udało się mniej niż 25%.

Więcej szczegółów

W przypadku agentów, którzy rozmawiają z ludźmi przez kilka tur, drugi model może grać klienta z opisanym celem i ograniczeniami. W ten sposób wychodzą problemy ze stanem i pamięcią, których pojedyncze pytania nie wychwycą.

Chcesz omówić to na własnym przykładzie? Pierwsza rozmowa jest bezpłatna i trwa 30 minut.

Umów 30-minutową rozmowę

Czego agentowi nie wolno

Testujemy też działania, do których nie powinno dojść: działanie bez wymaganej zgody, kontynuowanie, gdy sprawa powinna trafić do człowieka, albo powtórzenie zapisu, gdy narzędzie nie odpowiada. To właśnie przypadki, których demo rzadko dotyka.

Więcej szczegółów

W przykładowym przypadku agent otrzymuje fakturę niezgodną z zamówieniem i nie ma zgody na jej zaksięgowanie. Oczekiwany wynik to prośba o weryfikację z opisaną rozbieżnością, bez zmiany rekordu w księgowości. Zaksięgowanie faktury, zmyślenie zgody lub utworzenie dwóch próśb o weryfikację po ponowieniu oznacza błąd.

Bramka wydania i kontrola na produkcji

Zestaw uruchamia się w CI przy każdej zmianie promptów, modeli, narzędzi lub orkiestracji, z progiem dla każdego typu błędu. Na produkcji sędziowie działają na próbce prawdziwych przebiegów, a raport trzyma jakość, koszt udanego zadania i opóźnienie w jednej tabeli.

Co obejmuje pierwsze zlecenie

Jeden agent lub proces, w maksymalnie dwóch językach, z czasem eksperta dziedzinowego po twojej stronie i dostępem do wcześniejszych przebiegów lub spraw. Zespoły, które już prowadzą ewaluacje agentów, mogą zacząć od audytu tego, co mają.

Więcej szczegółów
  • Typy błędów z liczbą wystąpień z prawdziwych przebiegów
  • Od 50 do 150 przypadków z oczekiwanymi wynikami, wersjonowanych w twoim repozytorium
  • Kontrola wyników, kontrola wywołań narzędzi i sędziowie z raportem, na ile każdy zgadza się z twoim ekspertem
  • Bramka wydania w CI i próbkowanie na produkcji
  • Raport bazowy z sukcesem w powtarzanych przebiegach, kosztem udanego zadania i opóźnieniem

Pytania

Czy możemy powierzyć agentowi AI działania w naszych systemach?

Tylko w takim zakresie, jaki pokazują testy. Kroki, które agent wykonuje niezawodnie w powtarzanych przebiegach, mogą działać samodzielnie. Wszystko inne trafia do człowieka do zatwierdzenia. Zestaw testów obejmuje też działania, do których nie może dojść nigdy, więc przed startem widzisz, czy zasady zatwierdzania działają.

A jeśli agent coś zmyśli?

Wtedy kontrola powinna to wyłapać, zanim trafi do twoich systemów. Wyniki sprawdzamy w kodzie wszędzie, gdzie się da, na przykład kwotę względem zamówienia albo numer klienta względem twojego CRM. Tam, gdzie kod nie rozstrzygnie, używamy sędziów LLM, których oceny porównaliśmy z ocenami twojego eksperta. To, jak często zmyślone dane mimo to przechodzą, podajemy jako odsetek, z progiem, który ustalasz.

Skąd wiemy, czy agent się opłaca?

Porównaj koszt udanego zadania z tym, ile ta sama sprawa kosztuje dziś twój zespół. Raport bazowy podaje skuteczność w powtarzanych przebiegach, koszty modelu i narzędzi na udane zadanie oraz odsetek spraw, które nadal trafiają do człowieka. Mierzymy to na twoich przypadkach i nie obiecujemy z góry żadnej liczby.

Z jakimi frameworkami agentów to działa?

Ewaluacje działają poza frameworkiem: czytają ślady agenta i stan twoich systemów. LangGraph, SDK dostawcy albo własna orkiestracja działają tak samo.

Ile to kosztuje?

Stała cena uzgodniona na piśmie przed startem. Zależy od liczby języków, od tego, czy ślady już istnieją, ile typów błędów wymaga sędziego i ile pracy jest w CI. Podajemy ją po pierwszej, 30-minutowej rozmowie.

Czy możemy używać śladów zawierających dane osobowe?

Tak, według zasad uzgodnionych wcześniej: jak pseudonimizujemy nazwiska i inne identyfikatory, gdzie zostają dane (w twoim środowisku albo w narzędziach hostowanych w UE), kto je czyta i jak długo są przechowywane. Jeśli przetwarzamy dane osobowe w twoim imieniu, podpisujemy umowę powierzenia przetwarzania danych.

Czy trzeba angażować radę zakładową?

Jeśli z systemu korzystają twoi pracownicy, jego ślady mogą pokazywać, o co pytały i co robiły poszczególne osoby, a to może angażować radę zakładową na podstawie § 87 niemieckiej ustawy o ustroju zakładowym (BetrVG). Oceniamy na poziomie przypadków i pomijamy, kto pytał. W systemach, z których korzystają twoi klienci, ta kwestia zwykle nie występuje. To nie jest porada prawna.

Jak wygląda pierwsza rozmowa?

Trzydzieści minut z jednym z naszych inżynierów, bezpłatnie, o twoim produkcie i błędach, które cię niepokoją. Nie potrzebujemy dostępu do twoich systemów. Potem proponujemy zakres i cenę.

Porozmawiaj z inżynierem

Dowiedz się, jak często twój agent wykonuje zadanie, zanim zajmie się prawdziwymi sprawami. Przynieś dwa albo trzy przebiegi, które poszły źle, na bezpłatną 30-minutową rozmowę. Nie potrzebujemy dostępu do twoich systemów ani danych.

Rezerwacja odbywa się w Kalendarzu Google.

Mickey Graf

Mickey Graf

Założyciel i prezes Cloudsail

Ocena 4,9 na 5 w serwisie Clutch

Wolisz najpierw napisać? Zostaw e-mail i kilka zdań. Mickey sam czyta każdą wiadomość i odpowiada e-mailem z propozycją terminów.

Przycisk przygotowuje e-mail w twoim własnym programie pocztowym, a wysyłasz go samodzielnie. Polityka prywatności (wersja robocza)