UsługiInżynieria ewaluacji AI

Ewaluacja AI i LLM: wiesz, czy każda zmiana poprawiła twoje AI, czy je pogorszyła

Twój zespół może zmieniać prompty, modele i narzędzia bez cichego spadku jakości i przechodzi na tańszy model dopiero wtedy, gdy liczby pokazują, że jest wystarczająco dobry. Budujemy ewaluacje (powtarzalne testy systemu AI na stałych przypadkach) na śladach i przypadkach z twojego systemu, razem z ludźmi, którzy wiedzą, jak wygląda dobra odpowiedź, i zostawiamy je w twoim repozytorium jako bramkę wydania, która uruchamia się przy każdej zmianie. Pracujemy z zespołami produktowymi i inżynierskimi, które dostarczają produkty AI, agentów albo systemy RAG. Nasi inżynierowie są w Niemczech i w Polsce, a testy piszemy po polsku, angielsku i niemiecku.

Pomiar bazowy dla jednego produktu

  1. 1

    Z ekspertem dziedzinowym czytamy co najmniej 100 śladów z twojego systemu i notujemy, co poszło nie tak.

  2. 2

    Z notatek powstają typy błędów z liczbą wystąpień i wersjonowany zestaw od 50 do 150 przypadków.

  3. 3

    Najpierw sprawdzenia w kodzie, potem sędziowie LLM do tego, czego kod nie sprawdzi, każdy porównany z ocenami ludzi.

  4. 4

    Bramka wydania w CI, próbki na produkcji i raport bazowy, który zostaje u ciebie.

Co się zmienia w twojej firmie

Każda zmiana w twoim produkcie AI ma swoją liczbę: lepiej, gorzej albo w granicach szumu. To coraz ważniejsze, bo AI trafia do tego, co firmy sprzedają. W ankiecie Bitkom z 2026 roku 20% firm korzystających z AI stosuje ją we własnych produktach i usługach, wobec 12% rok wcześniej.

  • Wydania wychodzą z dowodami: zmiana promptu albo modelu, która pogarsza jeden rodzaj błędu, zostaje zatrzymana, zanim zobaczą ją klienci.
  • Aktualizacja modelu u twojego dostawcy nie zmienia po cichu odpowiedzi, bo ten sam zestaw uruchamia się ponownie.
  • Wybór modelu opiera się na koszcie udanego zadania, więc tańszy model działa wszędzie tam, gdzie przechodzi twoje testy.
  • Właściciele produktu i zarząd dostają jedną tabelę z jakością, kosztem i opóźnieniem zamiast wrażenia co do ostatniego wydania.
  • Zestaw należy do ciebie i działa dalej, gdy zmieniasz narzędzia albo dostawców.

Tracing to jeszcze nie ewaluacja

W raporcie State of Agent Engineering firmy LangChain, opublikowanym w 2026 roku i opartym na odpowiedziach ponad 1300 specjalistów pracujących z agentami, 89% miało wdrożoną jakąś formę obserwowalności, ale 29,5% nie prowadziło żadnych ewaluacji, a jakość była najczęściej wskazywaną przeszkodą przed wdrożeniem produkcyjnym. Trace pokazuje, co wydarzyło się w jednej rozmowie. Ewaluacja pokazuje, jak często dany błąd występuje we wszystkich rozmowach i czy zmiana przesunęła tę liczbę.

Więcej szczegółów

Ogólne wskaźniki, takie jak pomocność czy ocena od jednego do dziesięciu, rzadko pomagają. Rosną i spadają, a nikt nie wie, co naprawić. Zaczynamy od błędów, które twój system faktycznie popełnia.

Najpierw czytamy ślady, potem piszemy testy

Najpierw wybieramy co najmniej 100 śladów lub zamkniętych spraw i czytamy je z kimś, kto zna tę pracę, na przykład z kierowniczką wsparcia albo likwidatorem szkód. Do każdej sprawy krótko notujemy, co pierwsze poszło nie tak. Czytamy dalej, aż nowe ślady przestaną pokazywać nowe rodzaje błędów.

Więcej szczegółów

Potem grupujemy notatki w krótką listę typów błędów i liczymy je. To liczby decydują o pracy. Część błędów naprawiamy od razu w prompcie albo w ustawieniach wyszukiwania, część dostaje sprawdzenie w kodzie, a sędziego LLM dostają tylko te, które wymagają oceny.

Chcesz omówić to na własnym przykładzie? Pierwsza rozmowa jest bezpłatna i trwa 30 minut.

Umów 30-minutową rozmowę

Zestaw testów, który należy do ciebie

Zestaw testów powstaje z twoich śladów i zamkniętych spraw, oznaczonych według intencji, trudności i języka, i jest wersjonowany obok promptów, żeby każdy wynik dało się odtworzyć. Jeśli produkt nie ma jeszcze użytkowników, generujemy przypadki według określonych wymiarów, zamiast po prostu prosić model o pytania testowe, a twoi eksperci dopisują przypadki, o których wiedzą, że są trudne.

Więcej szczegółów

W systemach RAG oznaczamy, który fragment powinien odpowiadać na każde pytanie, żeby wyszukiwanie i odpowiedź oceniać osobno. U agentów najpierw sprawdzamy wynik, a ślad służy do znalezienia miejsca, w którym przebieg poszedł w złą stronę.

Przykładowy przypadek akceptacyjny zaczyna się od prośby klienta o zwrot za zamówienie, którego nie można znaleźć. Oczekiwana odpowiedź prosi o brakujący numer zamówienia i nie obiecuje zwrotu. Te warunki sprawdzamy osobno. Zmyślony numer zamówienia oznacza błąd, nawet jeśli odpowiedź dobrze brzmi. Twój ekspert oznacza dopuszczalne odpowiedzi przed porównaniem modeli.

  • Przypadki z prawdziwego ruchu, oznaczone i wersjonowane w twoim repozytorium
  • Rzadkie, ale kosztowne przypadki zostają w zestawie, nawet jeśli to mały odsetek ruchu
  • Pytania w każdym języku, w którym piszą twoi użytkownicy
  • Przypadki dla każdego typu błędu z analizy błędów

Ewaluacja systemów RAG

Gdy asystent odpowiada na podstawie twoich dokumentów, błędna odpowiedź ma dwie możliwe przyczyny: właściwy fragment nigdy nie został znaleziony albo model źle wykorzystał fragment, który miał. Oznaczamy, które fragmenty powinny odpowiadać na każde pytanie, i mierzymy wyszukiwanie osobno, przez recall at k i pozycję pierwszego trafnego fragmentu, zanim ocenimy, czy odpowiedź jest wierna temu, co znaleziono.

Więcej szczegółów

Zestaw obejmuje też pytania, na które twoje dokumenty nie odpowiadają, pytania, na które odpowiedź zmieniła się w nowszym dokumencie, i pytania od osób bez dostępu do źródła, bo demo rzadko sprawdza którekolwiek z nich.

Sprawdzenia porównane z ekspertem

Najpierw piszemy sprawdzenia w kodzie: poprawny JSON, wymagane pola, zapytanie SQL, które się wykonuje, kwota zwrotu zgodna z zasadami. Kosztują prawie nic i za każdym razem dają ten sam wynik. Tam, gdzie błąd wymaga oceny, na przykład gdy odpowiedź przekręca zapis umowy, budujemy sędziego, który dla tego jednego błędu zwraca zaliczone albo niezaliczone.

Więcej szczegółów

Każdego sędziego testujemy na przypadkach, których wcześniej nie widział, porównując go z ocenami twojego eksperta. Podajemy, ile prawdziwych błędów wyłapuje i ile dobrych odpowiedzi niesłusznie odrzuca, żebyś wiedział, na ile ufać jego liczbom. Gdy zmienia się model sędziego, jego prompt albo kryteria oceny, testujemy go ponownie.

Bramki wydania i sprawdzenia na produkcji

Mały zestaw, głównie sprawdzenia w kodzie, uruchamia się w CI przy każdej zmianie promptów, modeli, narzędzi lub ustawień wyszukiwania. Każdy typ błędu ma własny próg, więc poprawa w jednym miejscu nie ukryje pogorszenia w innym. Na produkcji sędziowie działają na próbce prawdziwego ruchu, z alertami dla każdego typu błędu.

Więcej szczegółów

Raport bazowy zestawia w jednej tabeli jakość, koszt udanego zadania i opóźnienie, z przedziałami ufności. Przy 100 przypadkach 80% i 83% zwykle mieszczą się w granicach szumu i tak to opisujemy, zamiast ogłaszać sukces.

Co obejmuje pierwsze zlecenie

Pomiar bazowy obejmuje jeden produkt AI lub jeden proces, na przykład asystenta wsparcia, wewnętrzne narzędzie RAG albo agenta procesowego, w maksymalnie dwóch językach. Potrzebujemy do niego czasu eksperta dziedzinowego po twojej stronie i dostępu do śladów lub zamkniętych spraw. Przed startem uzgadniamy, jak obchodzimy się z tymi danymi, w tym jak pseudonimizujemy dane osobowe.

Więcej szczegółów

Zespoły, które już prowadzą ewaluacje, mogą zacząć od opisanego niżej audytu.

  • Typy błędów z liczbą wystąpień
  • Wersjonowany zestaw testów w twoim repozytorium
  • Sprawdzenia w kodzie, prompty sędziów i raport, na ile każdy sędzia zgadza się z twoim ekspertem
  • Konfiguracja bramki w CI i próbkowania na produkcji
  • Raport bazowy z jakością, kosztem i opóźnieniem oraz uszeregowana lista poprawek

Stałe utrzymanie po pierwszym etapie

Zestaw ewaluacji starzeje się, gdy produkt się zmienia, a testy nie. Stałe utrzymanie to osobna umowa z własnym zakresem. Wskazany inżynier Cloudsail odpowiada za pracę w rytmie uzgodnionym z tobą, na przykład przy każdym wydaniu albo według stałego harmonogramu, i raportuje, co zmieniło się w zestawie.

Więcej szczegółów

Ewaluacje offline i monitoring produkcji odpowiadają na różne pytania, więc raportujemy je osobno. Błąd zauważony na produkcji lub w zgłoszeniach do supportu staje się kandydatem na przypadek testowy. Pracujemy na minimalnym zakresie danych, uzgadniamy zasady dostępu z osobami odpowiedzialnymi za bezpieczeństwo i prywatność, a tam, gdzie surowych danych użytkowników nie należy przechowywać, anonimizujemy lub syntetyzujemy przykłady.

  • Dodawanie przypadków z błędów produkcyjnych, zgłoszeń do supportu i zmian w produkcie.
  • Ponowne sprawdzanie kalibracji modeli oceniających, gdy zmieniają się modele, prompty lub rubryki.
  • Usuwanie nieaktualnych przypadków i trzymanie zbiorów held-out osobno.
  • Porównywanie alternatywnych modeli, promptów i narzędzi, zanim dokonasz zmiany.

Audyt ewaluacji, jeśli już je prowadzisz

Sprawdzamy twoje obecne ewaluacje na twoich śladach i pod kątem decyzji, które na ich podstawie podejmujesz, i zostawiamy pisemną listę: co zostawić, co poprawić, a z czego zrezygnować.

Więcej szczegółów
  • Jak znaleziono typy błędów i czy ktoś czytał prawdziwe ślady
  • Czy każdego sędziego porównano z ocenami ludzi i jakie ma wskaźniki TPR i TNR
  • Czy zestaw testów odzwierciedla twój ruch, twoje języki i rzadkie, najkosztowniejsze przypadki
  • Czy zmiany wyników są większe niż niepewność zestawu testów
  • Czy progi w CI i alerty na produkcji pasują do błędów, które są dla ciebie ważne

Narzędzia i AI Act

Pracujemy z platformą, której już używasz, na przykład Langfuse, LangSmith albo Braintrust, albo bez żadnej. Zestawy testów i sędziowie zostają w prostych formatach w twoim repozytorium. Narzędzia do ewaluacji w ciągu ostatnich dwóch lat często zmieniały właściciela, a OpenAI 31 października 2026 przełączyło swoją hostowaną platformę Evals w tryb tylko do odczytu i wyłączy ją 30 listopada 2026, dlatego twoje ewaluacje nie powinny zależeć od żadnego z nich.

Więcej szczegółów

Zgodnie z AI Act obowiązki testowania według określonych wskaźników, deklarowania dokładności i monitorowania po wdrożeniu spoczywają na dostawcach systemów wysokiego ryzyka. Według harmonogramu przyjętego w 2026 roku obowiązują od 2 grudnia 2027 dla zastosowań wysokiego ryzyka wymienionych w załączniku III i od 2 sierpnia 2028 dla AI w produktach objętych załącznikiem I. W przypadku większości chatbotów, wewnętrznych asystentów i narzędzi RAG rozporządzenie nie przewiduje takiego obowiązku. Ewaluacje to w każdym przypadku dobra inżynieria i mogą dostarczyć dużą część dowodów z testów, których dostawca będzie potrzebował, jeśli zastosowanie stanie się systemem wysokiego ryzyka. Nie oceniamy zgodności i nie udzielamy porad prawnych.

Pytania

Co zarząd ma z ewaluacji?

Raport bazowy, który pokazuje, jak często produkt zawodzi, według rodzaju błędu, obok kosztu udanego zadania i opóźnienia, z podaną niepewnością. Potem każde wydanie ma te same liczby, więc decyzje o startach, zmianie modelu i wydatkach opierają się na pomiarach.

Czy benchmarki dostawcy modelu nie wystarczą?

Publiczne benchmarki mierzą zadania ogólne, a nie twoje dokumenty, pytania twoich klientów czy twoje zasady. Model, który wypada tam lepiej, może na twoich przypadkach radzić sobie gorzej. Własne ewaluacje odpowiadają na pytanie ważne dla twojego produktu i odpowiadają na nie dalej, gdy dostawca zmienia model.

Czy ewaluacje spowolnią nasze wydania?

Bramka w CI to głównie sprawdzenia w kodzie, które kosztują prawie nic i za każdym razem dają ten sam wynik. Sędziowie działają na próbce. Wydanie zatrzymuje tylko zmierzone pogorszenie w rodzaju błędu, który jest dla ciebie ważny, i właśnie po to jest bramka. Wydania, które ją przejdą, wychodzą jak dotąd, tylko że mają za sobą liczby.

Czy to ewaluacja LLM, LLM evals czy AI evals?

Ta sama praca pod różnymi nazwami. Ewaluacja LLM i LLM evals zwykle oznaczają testowanie odpowiedzi modelu, AI evals to szersze pojęcie, które obejmuje też agentów i wyszukiwanie. Całość nazywamy inżynierią ewaluacji AI, a ewaluację agentów AI i ewaluację systemów RAG opisujemy na osobnych stronach.

Czy to to samo co testowanie AI albo QA dla AI?

Jeśli chodzi o testowanie systemu AI, a nie testowanie za pomocą AI, to w dużej mierze tak: metody są te same. Nasza strona Testowanie systemów AI opisuje je jako zamknięty test akceptacyjny z kryteriami, progami i raportem, dla kierownika QA albo przy odbiorze systemu zbudowanego przez dostawcę. Ta strona dotyczy budowy i utrzymania zestawu w czasie.

Czym to się różni od waszych ewaluacji agentów kodujących?

Ewaluacje agentów kodujących porównują narzędzia, modele i ustawienia na zmianach, które twoi inżynierowie już zmergowali. Ta oferta ocenia sam produkt AI: asystenta, agenta lub system RAG, z którego korzystają twoi klienci albo pracownicy.

Czy potrzebujemy konkretnej platformy do ewaluacji?

Nie. Korzystamy z tej, którą masz, albo z prostych plików i twojego CI. Wszystko, co budujemy, zostaje w twoim repozytorium.

A jeśli nasz produkt nie ma jeszcze użytkowników?

Zaczynamy od przypadków spisanych przez twoich ekspertów i od przypadków syntetycznych generowanych według określonych wymiarów, a pierwsze prawdziwe ślady czytamy, gdy tylko system zacznie działać.

Ile to kosztuje?

Stała cena uzgodniona na piśmie przed startem. Zależy od liczby języków, od tego, czy ślady już istnieją, ile typów błędów wymaga sędziego i ile pracy jest w CI. Podajemy ją po pierwszej, 30-minutowej rozmowie.

Czy możemy używać śladów zawierających dane osobowe?

Tak, według zasad uzgodnionych wcześniej: jak pseudonimizujemy nazwiska i inne identyfikatory, gdzie zostają dane (w twoim środowisku albo w narzędziach hostowanych w UE), kto je czyta i jak długo są przechowywane. Jeśli przetwarzamy dane osobowe w twoim imieniu, podpisujemy umowę powierzenia przetwarzania danych.

Czy trzeba angażować radę zakładową?

Jeśli z systemu korzystają twoi pracownicy, jego ślady mogą pokazywać, o co pytały i co robiły poszczególne osoby, a to może angażować radę zakładową na podstawie § 87 niemieckiej ustawy o ustroju zakładowym (BetrVG). Oceniamy na poziomie przypadków i pomijamy, kto pytał. W systemach, z których korzystają twoi klienci, ta kwestia zwykle nie występuje. To nie jest porada prawna.

Jak wygląda pierwsza rozmowa?

Trzydzieści minut z jednym z naszych inżynierów, bezpłatnie, o twoim produkcie i błędach, które cię niepokoją. Nie potrzebujemy dostępu do twoich systemów. Potem proponujemy zakres i cenę.

Jak ustalany jest zakres i cena pierwszego etapu oraz utrzymania?

Osobno. Pierwszy etap to projekt o określonym zakresie i uzgodnionych rezultatach: zbiory danych, testy, modele oceniające, integracja z CI i pierwszy raport z wydania. Utrzymanie to osobna umowa z własnym zakresem i rytmem. Koszt zależy od liczby funkcji i rodzajów błędów, ilości potrzebnych przeglądów eksperckich, ograniczeń dotyczących dostępu do danych i prywatności oraz od tego, jak często zmienia się twój produkt. Po rozmowie technicznej proponujemy zakres na piśmie.

Porozmawiaj z inżynierem

Nie wiesz, czy ostatnia zmiana poprawiła twój produkt AI, czy go pogorszyła? Przynieś dwie albo trzy rozmowy, w których się pomylił. Potrzebujemy 30 minut i żadnego dostępu do twoich systemów ani danych.

Rezerwacja odbywa się w Kalendarzu Google.

Mickey Graf

Mickey Graf

Założyciel i prezes Cloudsail

Ocena 4,9 na 5 w serwisie Clutch

Wolisz najpierw napisać? Zostaw e-mail i kilka zdań. Mickey sam czyta każdą wiadomość i odpowiada e-mailem z propozycją terminów.

Przycisk przygotowuje e-mail w twoim własnym programie pocztowym, a wysyłasz go samodzielnie. Polityka prywatności (wersja robocza)