UsługiInżynieria ewaluacji AI
Ewaluacja AI i LLM: wiesz, czy każda zmiana poprawiła twoje AI, czy je pogorszyła
Twój zespół może zmieniać prompty, modele i narzędzia bez cichego spadku jakości i przechodzi na tańszy model dopiero wtedy, gdy liczby pokazują, że jest wystarczająco dobry. Budujemy ewaluacje (powtarzalne testy systemu AI na stałych przypadkach) na śladach i przypadkach z twojego systemu, razem z ludźmi, którzy wiedzą, jak wygląda dobra odpowiedź, i zostawiamy je w twoim repozytorium jako bramkę wydania, która uruchamia się przy każdej zmianie. Pracujemy z zespołami produktowymi i inżynierskimi, które dostarczają produkty AI, agentów albo systemy RAG. Nasi inżynierowie są w Niemczech i w Polsce, a testy piszemy po polsku, angielsku i niemiecku.
Pomiar bazowy dla jednego produktu
- 1
Z ekspertem dziedzinowym czytamy co najmniej 100 śladów z twojego systemu i notujemy, co poszło nie tak.
- 2
Z notatek powstają typy błędów z liczbą wystąpień i wersjonowany zestaw od 50 do 150 przypadków.
- 3
Najpierw sprawdzenia w kodzie, potem sędziowie LLM do tego, czego kod nie sprawdzi, każdy porównany z ocenami ludzi.
- 4
Bramka wydania w CI, próbki na produkcji i raport bazowy, który zostaje u ciebie.
Co się zmienia w twojej firmie
Każda zmiana w twoim produkcie AI ma swoją liczbę: lepiej, gorzej albo w granicach szumu. To coraz ważniejsze, bo AI trafia do tego, co firmy sprzedają. W ankiecie Bitkom z 2026 roku 20% firm korzystających z AI stosuje ją we własnych produktach i usługach, wobec 12% rok wcześniej.
- Wydania wychodzą z dowodami: zmiana promptu albo modelu, która pogarsza jeden rodzaj błędu, zostaje zatrzymana, zanim zobaczą ją klienci.
- Aktualizacja modelu u twojego dostawcy nie zmienia po cichu odpowiedzi, bo ten sam zestaw uruchamia się ponownie.
- Wybór modelu opiera się na koszcie udanego zadania, więc tańszy model działa wszędzie tam, gdzie przechodzi twoje testy.
- Właściciele produktu i zarząd dostają jedną tabelę z jakością, kosztem i opóźnieniem zamiast wrażenia co do ostatniego wydania.
- Zestaw należy do ciebie i działa dalej, gdy zmieniasz narzędzia albo dostawców.
Tracing to jeszcze nie ewaluacja
W raporcie State of Agent Engineering firmy LangChain, opublikowanym w 2026 roku i opartym na odpowiedziach ponad 1300 specjalistów pracujących z agentami, 89% miało wdrożoną jakąś formę obserwowalności, ale 29,5% nie prowadziło żadnych ewaluacji, a jakość była najczęściej wskazywaną przeszkodą przed wdrożeniem produkcyjnym. Trace pokazuje, co wydarzyło się w jednej rozmowie. Ewaluacja pokazuje, jak często dany błąd występuje we wszystkich rozmowach i czy zmiana przesunęła tę liczbę.
Więcej szczegółów
Ogólne wskaźniki, takie jak pomocność czy ocena od jednego do dziesięciu, rzadko pomagają. Rosną i spadają, a nikt nie wie, co naprawić. Zaczynamy od błędów, które twój system faktycznie popełnia.
Najpierw czytamy ślady, potem piszemy testy
Najpierw wybieramy co najmniej 100 śladów lub zamkniętych spraw i czytamy je z kimś, kto zna tę pracę, na przykład z kierowniczką wsparcia albo likwidatorem szkód. Do każdej sprawy krótko notujemy, co pierwsze poszło nie tak. Czytamy dalej, aż nowe ślady przestaną pokazywać nowe rodzaje błędów.
Więcej szczegółów
Potem grupujemy notatki w krótką listę typów błędów i liczymy je. To liczby decydują o pracy. Część błędów naprawiamy od razu w prompcie albo w ustawieniach wyszukiwania, część dostaje sprawdzenie w kodzie, a sędziego LLM dostają tylko te, które wymagają oceny.
Chcesz omówić to na własnym przykładzie? Pierwsza rozmowa jest bezpłatna i trwa 30 minut.
Umów 30-minutową rozmowęZestaw testów, który należy do ciebie
Zestaw testów powstaje z twoich śladów i zamkniętych spraw, oznaczonych według intencji, trudności i języka, i jest wersjonowany obok promptów, żeby każdy wynik dało się odtworzyć. Jeśli produkt nie ma jeszcze użytkowników, generujemy przypadki według określonych wymiarów, zamiast po prostu prosić model o pytania testowe, a twoi eksperci dopisują przypadki, o których wiedzą, że są trudne.
Więcej szczegółów
W systemach RAG oznaczamy, który fragment powinien odpowiadać na każde pytanie, żeby wyszukiwanie i odpowiedź oceniać osobno. U agentów najpierw sprawdzamy wynik, a ślad służy do znalezienia miejsca, w którym przebieg poszedł w złą stronę.
Przykładowy przypadek akceptacyjny zaczyna się od prośby klienta o zwrot za zamówienie, którego nie można znaleźć. Oczekiwana odpowiedź prosi o brakujący numer zamówienia i nie obiecuje zwrotu. Te warunki sprawdzamy osobno. Zmyślony numer zamówienia oznacza błąd, nawet jeśli odpowiedź dobrze brzmi. Twój ekspert oznacza dopuszczalne odpowiedzi przed porównaniem modeli.
- Przypadki z prawdziwego ruchu, oznaczone i wersjonowane w twoim repozytorium
- Rzadkie, ale kosztowne przypadki zostają w zestawie, nawet jeśli to mały odsetek ruchu
- Pytania w każdym języku, w którym piszą twoi użytkownicy
- Przypadki dla każdego typu błędu z analizy błędów
Ewaluacja systemów RAG
Gdy asystent odpowiada na podstawie twoich dokumentów, błędna odpowiedź ma dwie możliwe przyczyny: właściwy fragment nigdy nie został znaleziony albo model źle wykorzystał fragment, który miał. Oznaczamy, które fragmenty powinny odpowiadać na każde pytanie, i mierzymy wyszukiwanie osobno, przez recall at k i pozycję pierwszego trafnego fragmentu, zanim ocenimy, czy odpowiedź jest wierna temu, co znaleziono.
Więcej szczegółów
Zestaw obejmuje też pytania, na które twoje dokumenty nie odpowiadają, pytania, na które odpowiedź zmieniła się w nowszym dokumencie, i pytania od osób bez dostępu do źródła, bo demo rzadko sprawdza którekolwiek z nich.
Sprawdzenia porównane z ekspertem
Najpierw piszemy sprawdzenia w kodzie: poprawny JSON, wymagane pola, zapytanie SQL, które się wykonuje, kwota zwrotu zgodna z zasadami. Kosztują prawie nic i za każdym razem dają ten sam wynik. Tam, gdzie błąd wymaga oceny, na przykład gdy odpowiedź przekręca zapis umowy, budujemy sędziego, który dla tego jednego błędu zwraca zaliczone albo niezaliczone.
Więcej szczegółów
Każdego sędziego testujemy na przypadkach, których wcześniej nie widział, porównując go z ocenami twojego eksperta. Podajemy, ile prawdziwych błędów wyłapuje i ile dobrych odpowiedzi niesłusznie odrzuca, żebyś wiedział, na ile ufać jego liczbom. Gdy zmienia się model sędziego, jego prompt albo kryteria oceny, testujemy go ponownie.
Bramki wydania i sprawdzenia na produkcji
Mały zestaw, głównie sprawdzenia w kodzie, uruchamia się w CI przy każdej zmianie promptów, modeli, narzędzi lub ustawień wyszukiwania. Każdy typ błędu ma własny próg, więc poprawa w jednym miejscu nie ukryje pogorszenia w innym. Na produkcji sędziowie działają na próbce prawdziwego ruchu, z alertami dla każdego typu błędu.
Więcej szczegółów
Raport bazowy zestawia w jednej tabeli jakość, koszt udanego zadania i opóźnienie, z przedziałami ufności. Przy 100 przypadkach 80% i 83% zwykle mieszczą się w granicach szumu i tak to opisujemy, zamiast ogłaszać sukces.
Co obejmuje pierwsze zlecenie
Pomiar bazowy obejmuje jeden produkt AI lub jeden proces, na przykład asystenta wsparcia, wewnętrzne narzędzie RAG albo agenta procesowego, w maksymalnie dwóch językach. Potrzebujemy do niego czasu eksperta dziedzinowego po twojej stronie i dostępu do śladów lub zamkniętych spraw. Przed startem uzgadniamy, jak obchodzimy się z tymi danymi, w tym jak pseudonimizujemy dane osobowe.
Więcej szczegółów
Zespoły, które już prowadzą ewaluacje, mogą zacząć od opisanego niżej audytu.
- Typy błędów z liczbą wystąpień
- Wersjonowany zestaw testów w twoim repozytorium
- Sprawdzenia w kodzie, prompty sędziów i raport, na ile każdy sędzia zgadza się z twoim ekspertem
- Konfiguracja bramki w CI i próbkowania na produkcji
- Raport bazowy z jakością, kosztem i opóźnieniem oraz uszeregowana lista poprawek
Stałe utrzymanie po pierwszym etapie
Zestaw ewaluacji starzeje się, gdy produkt się zmienia, a testy nie. Stałe utrzymanie to osobna umowa z własnym zakresem. Wskazany inżynier Cloudsail odpowiada za pracę w rytmie uzgodnionym z tobą, na przykład przy każdym wydaniu albo według stałego harmonogramu, i raportuje, co zmieniło się w zestawie.
Więcej szczegółów
Ewaluacje offline i monitoring produkcji odpowiadają na różne pytania, więc raportujemy je osobno. Błąd zauważony na produkcji lub w zgłoszeniach do supportu staje się kandydatem na przypadek testowy. Pracujemy na minimalnym zakresie danych, uzgadniamy zasady dostępu z osobami odpowiedzialnymi za bezpieczeństwo i prywatność, a tam, gdzie surowych danych użytkowników nie należy przechowywać, anonimizujemy lub syntetyzujemy przykłady.
- Dodawanie przypadków z błędów produkcyjnych, zgłoszeń do supportu i zmian w produkcie.
- Ponowne sprawdzanie kalibracji modeli oceniających, gdy zmieniają się modele, prompty lub rubryki.
- Usuwanie nieaktualnych przypadków i trzymanie zbiorów held-out osobno.
- Porównywanie alternatywnych modeli, promptów i narzędzi, zanim dokonasz zmiany.
Audyt ewaluacji, jeśli już je prowadzisz
Sprawdzamy twoje obecne ewaluacje na twoich śladach i pod kątem decyzji, które na ich podstawie podejmujesz, i zostawiamy pisemną listę: co zostawić, co poprawić, a z czego zrezygnować.
Więcej szczegółów
- Jak znaleziono typy błędów i czy ktoś czytał prawdziwe ślady
- Czy każdego sędziego porównano z ocenami ludzi i jakie ma wskaźniki TPR i TNR
- Czy zestaw testów odzwierciedla twój ruch, twoje języki i rzadkie, najkosztowniejsze przypadki
- Czy zmiany wyników są większe niż niepewność zestawu testów
- Czy progi w CI i alerty na produkcji pasują do błędów, które są dla ciebie ważne
Narzędzia i AI Act
Pracujemy z platformą, której już używasz, na przykład Langfuse, LangSmith albo Braintrust, albo bez żadnej. Zestawy testów i sędziowie zostają w prostych formatach w twoim repozytorium. Narzędzia do ewaluacji w ciągu ostatnich dwóch lat często zmieniały właściciela, a OpenAI 31 października 2026 przełączyło swoją hostowaną platformę Evals w tryb tylko do odczytu i wyłączy ją 30 listopada 2026, dlatego twoje ewaluacje nie powinny zależeć od żadnego z nich.
Więcej szczegółów
Zgodnie z AI Act obowiązki testowania według określonych wskaźników, deklarowania dokładności i monitorowania po wdrożeniu spoczywają na dostawcach systemów wysokiego ryzyka. Według harmonogramu przyjętego w 2026 roku obowiązują od 2 grudnia 2027 dla zastosowań wysokiego ryzyka wymienionych w załączniku III i od 2 sierpnia 2028 dla AI w produktach objętych załącznikiem I. W przypadku większości chatbotów, wewnętrznych asystentów i narzędzi RAG rozporządzenie nie przewiduje takiego obowiązku. Ewaluacje to w każdym przypadku dobra inżynieria i mogą dostarczyć dużą część dowodów z testów, których dostawca będzie potrzebował, jeśli zastosowanie stanie się systemem wysokiego ryzyka. Nie oceniamy zgodności i nie udzielamy porad prawnych.
Pytania
Co zarząd ma z ewaluacji?
Raport bazowy, który pokazuje, jak często produkt zawodzi, według rodzaju błędu, obok kosztu udanego zadania i opóźnienia, z podaną niepewnością. Potem każde wydanie ma te same liczby, więc decyzje o startach, zmianie modelu i wydatkach opierają się na pomiarach.
Czy benchmarki dostawcy modelu nie wystarczą?
Publiczne benchmarki mierzą zadania ogólne, a nie twoje dokumenty, pytania twoich klientów czy twoje zasady. Model, który wypada tam lepiej, może na twoich przypadkach radzić sobie gorzej. Własne ewaluacje odpowiadają na pytanie ważne dla twojego produktu i odpowiadają na nie dalej, gdy dostawca zmienia model.
Czy ewaluacje spowolnią nasze wydania?
Bramka w CI to głównie sprawdzenia w kodzie, które kosztują prawie nic i za każdym razem dają ten sam wynik. Sędziowie działają na próbce. Wydanie zatrzymuje tylko zmierzone pogorszenie w rodzaju błędu, który jest dla ciebie ważny, i właśnie po to jest bramka. Wydania, które ją przejdą, wychodzą jak dotąd, tylko że mają za sobą liczby.
Czy to ewaluacja LLM, LLM evals czy AI evals?
Ta sama praca pod różnymi nazwami. Ewaluacja LLM i LLM evals zwykle oznaczają testowanie odpowiedzi modelu, AI evals to szersze pojęcie, które obejmuje też agentów i wyszukiwanie. Całość nazywamy inżynierią ewaluacji AI, a ewaluację agentów AI i ewaluację systemów RAG opisujemy na osobnych stronach.
Czy to to samo co testowanie AI albo QA dla AI?
Jeśli chodzi o testowanie systemu AI, a nie testowanie za pomocą AI, to w dużej mierze tak: metody są te same. Nasza strona Testowanie systemów AI opisuje je jako zamknięty test akceptacyjny z kryteriami, progami i raportem, dla kierownika QA albo przy odbiorze systemu zbudowanego przez dostawcę. Ta strona dotyczy budowy i utrzymania zestawu w czasie.
Czym to się różni od waszych ewaluacji agentów kodujących?
Ewaluacje agentów kodujących porównują narzędzia, modele i ustawienia na zmianach, które twoi inżynierowie już zmergowali. Ta oferta ocenia sam produkt AI: asystenta, agenta lub system RAG, z którego korzystają twoi klienci albo pracownicy.
Czy potrzebujemy konkretnej platformy do ewaluacji?
Nie. Korzystamy z tej, którą masz, albo z prostych plików i twojego CI. Wszystko, co budujemy, zostaje w twoim repozytorium.
A jeśli nasz produkt nie ma jeszcze użytkowników?
Zaczynamy od przypadków spisanych przez twoich ekspertów i od przypadków syntetycznych generowanych według określonych wymiarów, a pierwsze prawdziwe ślady czytamy, gdy tylko system zacznie działać.
Ile to kosztuje?
Stała cena uzgodniona na piśmie przed startem. Zależy od liczby języków, od tego, czy ślady już istnieją, ile typów błędów wymaga sędziego i ile pracy jest w CI. Podajemy ją po pierwszej, 30-minutowej rozmowie.
Czy możemy używać śladów zawierających dane osobowe?
Tak, według zasad uzgodnionych wcześniej: jak pseudonimizujemy nazwiska i inne identyfikatory, gdzie zostają dane (w twoim środowisku albo w narzędziach hostowanych w UE), kto je czyta i jak długo są przechowywane. Jeśli przetwarzamy dane osobowe w twoim imieniu, podpisujemy umowę powierzenia przetwarzania danych.
Czy trzeba angażować radę zakładową?
Jeśli z systemu korzystają twoi pracownicy, jego ślady mogą pokazywać, o co pytały i co robiły poszczególne osoby, a to może angażować radę zakładową na podstawie § 87 niemieckiej ustawy o ustroju zakładowym (BetrVG). Oceniamy na poziomie przypadków i pomijamy, kto pytał. W systemach, z których korzystają twoi klienci, ta kwestia zwykle nie występuje. To nie jest porada prawna.
Jak wygląda pierwsza rozmowa?
Trzydzieści minut z jednym z naszych inżynierów, bezpłatnie, o twoim produkcie i błędach, które cię niepokoją. Nie potrzebujemy dostępu do twoich systemów. Potem proponujemy zakres i cenę.
Jak ustalany jest zakres i cena pierwszego etapu oraz utrzymania?
Osobno. Pierwszy etap to projekt o określonym zakresie i uzgodnionych rezultatach: zbiory danych, testy, modele oceniające, integracja z CI i pierwszy raport z wydania. Utrzymanie to osobna umowa z własnym zakresem i rytmem. Koszt zależy od liczby funkcji i rodzajów błędów, ilości potrzebnych przeglądów eksperckich, ograniczeń dotyczących dostępu do danych i prywatności oraz od tego, jak często zmienia się twój produkt. Po rozmowie technicznej proponujemy zakres na piśmie.
Powiązane usługi
Testowanie systemów AI
Przed startem testy akceptacyjne na twoich przypadkach pokazują, jak często chatbot, asystent albo agent ma rację, w języku, którym posługuje się twój zespół QA.
Ewaluacja agentów AI
Sprawdź, jak często agent wykonuje zadanie, zanim zacznie działać w twoich systemach: badamy wyniki, wywołania narzędzi i powtarzalność przebiegów.
Ewaluacja systemów RAG
Asystent odpowiadający z twoich dokumentów, testowany pod kątem wyszukiwania i odpowiedzi w każdym języku twoich użytkowników, żebyś wiedział, jak często ma rację i podaje właściwe źródło.
Bezpłatny przegląd wykorzystania AI
Jedna strona dla zarządu: na co idą pieniądze na AI, czy to się opłaca i co zmienić, na podstawie eksportów, które chcesz udostępnić. Bezpłatnie, bez dostępu do systemów.
AI on-premise
AI na ofertach, umowach i aktach klientów, a dane zostają w firmie: własne serwery albo własne konto w chmurze, przetestowane przed startem.
Integracja danych dla AI
Odpowiedzi z udziałów plików, SharePoint, ERP i zgłoszeń w kilka sekund, dla asystentów i agentów, z zachowanymi uprawnieniami i testami.
Agenci AI i automatyzacja procesów
Agenci, którzy przejmują rutynowe kroki złożonych spraw i przekazują decyzje ludziom, z kosztem każdej obsłużonej sprawy.
Z bloga
Analiza błędów aplikacji LLM
Jak z ekspertem dziedzinowym przeczytać około 100 śladów, zamienić swobodne notatki w policzoną taksonomię błędów i zdecydować, które błędy zasługują na ewaluację.
Walidacja sędziego LLM
Jak sprawdzić sędziego LLM na ręcznie oznaczonych przykładach, raportować jego TPR i TNR i skorygować odsetek zaliczeń, który podaje.
Wielkość próby w ewaluacji
Jak podawać przedziały ufności dla wyników ewaluacji, porównywać dwa prompty lub modele przypadek po przypadku i dobrać wielkość zestawu testowego do różnicy, którą chcesz wykryć.
Wyszukiwanie czy generowanie?
Procedura diagnostyczna, która pokazuje, czy błędna odpowiedź RAG zaczęła się w ingestii, wyszukiwaniu, rerankingu czy w modelu, z oznaczonymi dowodami i śladem dla każdego pytania.
Porozmawiaj z inżynierem
Nie wiesz, czy ostatnia zmiana poprawiła twój produkt AI, czy go pogorszyła? Przynieś dwie albo trzy rozmowy, w których się pomylił. Potrzebujemy 30 minut i żadnego dostępu do twoich systemów ani danych.
Rezerwacja odbywa się w Kalendarzu Google.

Mickey Graf
Założyciel i prezes Cloudsail
Wolisz najpierw napisać? Zostaw e-mail i kilka zdań. Mickey sam czyta każdą wiadomość i odpowiada e-mailem z propozycją terminów.
Sprawdź wersję roboczą w swoim programie pocztowym
Wyślij ją stamtąd, a Mickey odpowie ci osobiście, proponując terminy 30-minutowej rozmowy. Jeśli wersja robocza się nie otworzyła, napisz do nas na adres miki@cloudsail.com.