UsługiEwaluacja agentów AI
Ewaluacja agentów AI: jak często twój agent poprawnie kończy zadanie, przebieg po przebiegu
Możesz powierzyć agentowi prawdziwą pracę, na przykład obsługę zgłoszeń, rekordów albo zamówień, gdy wiesz, jak często kończy ją poprawnie i że nigdy nie działa bez wymaganej zgody. Testujemy agentów AI (programy, które wykonują kroki w twoich systemach) na twoich przypadkach: najpierw wynik w twoich systemach, potem wywołane narzędzia i drogę do wyniku, z powtarzanymi przebiegami i bramką wydania, która zostaje w twoim repozytorium. To oferta dla zespołów, które używają agentów w obsłudze klienta, operacjach, finansach albo IT lub wkrótce zaczną, i dla menedżerów, którzy muszą ich zatwierdzić.
Pomiar bazowy dla jednego agenta
- 1
Z ludźmi, którzy znają proces, czytamy co najmniej 100 przebiegów agenta i notujemy, gdzie w każdym z nich pojawił się pierwszy błąd.
- 2
Typy błędów z liczbą wystąpień i od 50 do 150 przypadków z wynikiem, który powinien osiągnąć każdy przebieg.
- 3
Kontrola wyników w kodzie, kontrola wywołań narzędzi względem ścieżek wzorcowych i sędziowie LLM tam, gdzie potrzebna jest ocena, porównani z ocenami twojego eksperta.
- 4
Powtarzane przebiegi każdego przypadku, bramka wydania w CI i raport bazowy z kosztem udanego zadania.
Co się zmienia w twojej firmie
Agent, który działa w twoich systemach, oszczędza pracę tylko wtedy, gdy można na nim polegać. W ankiecie Inform z 2025 roku wśród 114 specjalistów i menedżerów z logistyki i łańcucha dostaw 46% wolało model, w którym AI proponuje, a człowiek decyduje, 81% oczekiwało wyjaśnień, a 61% chciało mieć możliwość ingerencji. Testy pokazują, gdzie twój agent może działać sam, a gdzie musi przekazać sprawę człowiekowi.
- Wiesz, jak często agent poprawnie kończy zadanie w powtarzanych przebiegach, a nie po jednym udanym demie.
- Działania, do których nie może dojść, na przykład zwrot bez zgody albo podwójne zaksięgowanie, są testowane przed startem.
- Błędy wychodzą w testach, zanim ktoś musi je sprzątać w twoich systemach.
- Koszt udanego zadania pokazuje, czy agent się opłaca, łącznie z wywołaniami narzędzi, które marnuje.
- Nowy model albo nowy prompt nie zmienia po cichu tego, co agent robi w twoich systemach.
Najpierw wynik, potem droga
Przebieg, który kończy się właściwym rekordem w twoim systemie, mógł iść ryzykowną drogą, a przebieg, który wygląda porządnie, może skończyć się złym wynikiem. Najpierw sprawdzamy wynik, wszędzie, gdzie się da, w kodzie: stan zgłoszenia, zwróconą kwotę, wiadomość, która została albo nie została wysłana. Potem czytamy ślad, żeby znaleźć miejsce, w którym nieudany przebieg poszedł źle.
Więcej szczegółów
Kontrola wywołań narzędzi porównuje to, co zrobił agent, ze wzorcem: które narzędzia wywołał, z jakimi argumentami i w ilu krokach. Agent, który dochodzi do właściwego wyniku w 14 wywołaniach, gdy wystarczyłyby 3, ma problem z kosztem i opóźnieniem, nawet jeśli każda odpowiedź jest poprawna.
Przebiegi, które się powtarzają
Agent może przy tych samych danych wejściowych pójść inną drogą, więc jeden udany przebieg niewiele dowodzi. Uruchamiamy każdy przypadek kilka razy z ustawieniami, których używasz na produkcji, i podajemy odsetek przypadków, które udają się w każdym przebiegu, a nie tylko w jednym. W benchmarku τ-bench gpt-4o rozwiązał w pojedynczym przebiegu około 61% zadań z handlu, a we wszystkich ośmiu przebiegach udało się mniej niż 25%.
Więcej szczegółów
W przypadku agentów, którzy rozmawiają z ludźmi przez kilka tur, drugi model może grać klienta z opisanym celem i ograniczeniami. W ten sposób wychodzą problemy ze stanem i pamięcią, których pojedyncze pytania nie wychwycą.
Chcesz omówić to na własnym przykładzie? Pierwsza rozmowa jest bezpłatna i trwa 30 minut.
Umów 30-minutową rozmowęCzego agentowi nie wolno
Testujemy też działania, do których nie powinno dojść: działanie bez wymaganej zgody, kontynuowanie, gdy sprawa powinna trafić do człowieka, albo powtórzenie zapisu, gdy narzędzie nie odpowiada. To właśnie przypadki, których demo rzadko dotyka.
Więcej szczegółów
W przykładowym przypadku agent otrzymuje fakturę niezgodną z zamówieniem i nie ma zgody na jej zaksięgowanie. Oczekiwany wynik to prośba o weryfikację z opisaną rozbieżnością, bez zmiany rekordu w księgowości. Zaksięgowanie faktury, zmyślenie zgody lub utworzenie dwóch próśb o weryfikację po ponowieniu oznacza błąd.
Bramka wydania i kontrola na produkcji
Zestaw uruchamia się w CI przy każdej zmianie promptów, modeli, narzędzi lub orkiestracji, z progiem dla każdego typu błędu. Na produkcji sędziowie działają na próbce prawdziwych przebiegów, a raport trzyma jakość, koszt udanego zadania i opóźnienie w jednej tabeli.
Co obejmuje pierwsze zlecenie
Jeden agent lub proces, w maksymalnie dwóch językach, z czasem eksperta dziedzinowego po twojej stronie i dostępem do wcześniejszych przebiegów lub spraw. Zespoły, które już prowadzą ewaluacje agentów, mogą zacząć od audytu tego, co mają.
Więcej szczegółów
- Typy błędów z liczbą wystąpień z prawdziwych przebiegów
- Od 50 do 150 przypadków z oczekiwanymi wynikami, wersjonowanych w twoim repozytorium
- Kontrola wyników, kontrola wywołań narzędzi i sędziowie z raportem, na ile każdy zgadza się z twoim ekspertem
- Bramka wydania w CI i próbkowanie na produkcji
- Raport bazowy z sukcesem w powtarzanych przebiegach, kosztem udanego zadania i opóźnieniem
Pytania
Czy możemy powierzyć agentowi AI działania w naszych systemach?
Tylko w takim zakresie, jaki pokazują testy. Kroki, które agent wykonuje niezawodnie w powtarzanych przebiegach, mogą działać samodzielnie. Wszystko inne trafia do człowieka do zatwierdzenia. Zestaw testów obejmuje też działania, do których nie może dojść nigdy, więc przed startem widzisz, czy zasady zatwierdzania działają.
A jeśli agent coś zmyśli?
Wtedy kontrola powinna to wyłapać, zanim trafi do twoich systemów. Wyniki sprawdzamy w kodzie wszędzie, gdzie się da, na przykład kwotę względem zamówienia albo numer klienta względem twojego CRM. Tam, gdzie kod nie rozstrzygnie, używamy sędziów LLM, których oceny porównaliśmy z ocenami twojego eksperta. To, jak często zmyślone dane mimo to przechodzą, podajemy jako odsetek, z progiem, który ustalasz.
Skąd wiemy, czy agent się opłaca?
Porównaj koszt udanego zadania z tym, ile ta sama sprawa kosztuje dziś twój zespół. Raport bazowy podaje skuteczność w powtarzanych przebiegach, koszty modelu i narzędzi na udane zadanie oraz odsetek spraw, które nadal trafiają do człowieka. Mierzymy to na twoich przypadkach i nie obiecujemy z góry żadnej liczby.
Z jakimi frameworkami agentów to działa?
Ewaluacje działają poza frameworkiem: czytają ślady agenta i stan twoich systemów. LangGraph, SDK dostawcy albo własna orkiestracja działają tak samo.
Ile to kosztuje?
Stała cena uzgodniona na piśmie przed startem. Zależy od liczby języków, od tego, czy ślady już istnieją, ile typów błędów wymaga sędziego i ile pracy jest w CI. Podajemy ją po pierwszej, 30-minutowej rozmowie.
Czy możemy używać śladów zawierających dane osobowe?
Tak, według zasad uzgodnionych wcześniej: jak pseudonimizujemy nazwiska i inne identyfikatory, gdzie zostają dane (w twoim środowisku albo w narzędziach hostowanych w UE), kto je czyta i jak długo są przechowywane. Jeśli przetwarzamy dane osobowe w twoim imieniu, podpisujemy umowę powierzenia przetwarzania danych.
Czy trzeba angażować radę zakładową?
Jeśli z systemu korzystają twoi pracownicy, jego ślady mogą pokazywać, o co pytały i co robiły poszczególne osoby, a to może angażować radę zakładową na podstawie § 87 niemieckiej ustawy o ustroju zakładowym (BetrVG). Oceniamy na poziomie przypadków i pomijamy, kto pytał. W systemach, z których korzystają twoi klienci, ta kwestia zwykle nie występuje. To nie jest porada prawna.
Jak wygląda pierwsza rozmowa?
Trzydzieści minut z jednym z naszych inżynierów, bezpłatnie, o twoim produkcie i błędach, które cię niepokoją. Nie potrzebujemy dostępu do twoich systemów. Potem proponujemy zakres i cenę.
Powiązane usługi
Testowanie systemów AI
Przed startem testy akceptacyjne na twoich przypadkach pokazują, jak często chatbot, asystent albo agent ma rację, w języku, którym posługuje się twój zespół QA.
Inżynieria ewaluacji AI
Ewaluacje na śladach z twojego systemu pokazują, czy zmiana poprawiła twój produkt AI, czy go pogorszyła, a bramka wydania zostaje w twoim repozytorium.
Ewaluacja systemów RAG
Asystent odpowiadający z twoich dokumentów, testowany pod kątem wyszukiwania i odpowiedzi w każdym języku twoich użytkowników, żebyś wiedział, jak często ma rację i podaje właściwe źródło.
Bezpłatny przegląd wykorzystania AI
Jedna strona dla zarządu: na co idą pieniądze na AI, czy to się opłaca i co zmienić, na podstawie eksportów, które chcesz udostępnić. Bezpłatnie, bez dostępu do systemów.
AI on-premise
AI na ofertach, umowach i aktach klientów, a dane zostają w firmie: własne serwery albo własne konto w chmurze, przetestowane przed startem.
Integracja danych dla AI
Odpowiedzi z udziałów plików, SharePoint, ERP i zgłoszeń w kilka sekund, dla asystentów i agentów, z zachowanymi uprawnieniami i testami.
Agenci AI i automatyzacja procesów
Agenci, którzy przejmują rutynowe kroki złożonych spraw i przekazują decyzje ludziom, z kosztem każdej obsłużonej sprawy.
Z bloga
Ocena wyniku czy śladu wykonania
Dlaczego przebieg agenta może skończyć się bez błędów, a mimo to źle obsłużyć sprawę, i jak sprawdzać wynik biznesowy niezależnie od śladów wykonania.
Zestawy testowe dla agentów z dawnych spraw
Jak wybrać dawne sprawy biznesowe do zestawu testowego agenta procesowego i zachować wydzieloną część, pod którą nikt nie stroi agenta.
Walidacja sędziego LLM
Jak sprawdzić sędziego LLM na ręcznie oznaczonych przykładach, raportować jego TPR i TNR i skorygować odsetek zaliczeń, który podaje.
Wielkość próby w ewaluacji
Jak podawać przedziały ufności dla wyników ewaluacji, porównywać dwa prompty lub modele przypadek po przypadku i dobrać wielkość zestawu testowego do różnicy, którą chcesz wykryć.
Porozmawiaj z inżynierem
Dowiedz się, jak często twój agent wykonuje zadanie, zanim zajmie się prawdziwymi sprawami. Przynieś dwa albo trzy przebiegi, które poszły źle, na bezpłatną 30-minutową rozmowę. Nie potrzebujemy dostępu do twoich systemów ani danych.
Rezerwacja odbywa się w Kalendarzu Google.

Mickey Graf
Założyciel i prezes Cloudsail
Wolisz najpierw napisać? Zostaw e-mail i kilka zdań. Mickey sam czyta każdą wiadomość i odpowiada e-mailem z propozycją terminów.
Sprawdź wersję roboczą w swoim programie pocztowym
Wyślij ją stamtąd, a Mickey odpowie ci osobiście, proponując terminy 30-minutowej rozmowy. Jeśli wersja robocza się nie otworzyła, napisz do nas na adres miki@cloudsail.com.