UsługiEwaluacja systemów RAG
Ewaluacja systemów RAG: jak często asystent dokumentów ma rację i dlaczego czasem się myli
Pracownicy i klienci mogą polegać na asystencie, który odpowiada z twoich dokumentów, gdy wiesz, jak często ma rację, czy podaje właściwe źródło i czy przestrzega uprawnień. Testujemy systemy RAG (odpowiedzi oparte na twoich dokumentach, z pokazanym źródłem) na twoich pytaniach i dokumentach i osobno oceniamy wyszukiwanie właściwego fragmentu i samą odpowiedź, więc gdy liczba spada, wiesz, co naprawić. Zestaw testów zostaje w twoim repozytorium. Najczęściej testujemy asystentów wiedzy opartych na SharePoint, udziałach plikowych, instrukcjach albo umowach, utrzymywanych samodzielnie albo kupionych, po polsku, angielsku i niemiecku.
Pomiar bazowy dla jednego asystenta
- 1
Zbieramy prawdziwe pytania i czytamy odpowiedzi z kimś, kto zna dokumenty.
- 2
Dla każdego pytania fragmenty, które powinny na nie odpowiadać, oraz pytania, na które dokumenty nie odpowiadają.
- 3
Wyszukiwanie oceniane osobno, potem odpowiedzi sprawdzane pod kątem wierności źródłu, z sędziami LLM skalibrowanymi na ocenach twojego eksperta.
- 4
Bramka wydania dla zmian w podziale na fragmenty, embeddingach, promptach lub modelach oraz raport bazowy.
Co się zmienia w twojej firmie
W ankiecie Bitkom z 2026 roku 22% firm korzystających z AI stosuje ją w wewnętrznym zarządzaniu wiedzą, wobec 11% rok wcześniej. Asystent wiedzy oszczędza czas na szukanie tylko wtedy, gdy ludzie ufają jego odpowiedziom na tyle, żeby nie sprawdzać każdej z nich. Testy na twoich pytaniach dają im i zarządowi powód do takiego zaufania.
- Wiesz, jak często asystent odpowiada poprawnie i wskazuje właściwy dokument, zmierzone na twoich pytaniach.
- Nikt nie widzi treści, do których nie ma uprawnień: pytania od osób bez dostępu są częścią testu.
- Nieaktualne odpowiedzi wychodzą na jaw, gdy nowszy dokument zmienił zasadę.
- Pytania, na które twoje dokumenty nie odpowiadają, dostają jasne „nie ma tego w dokumentach” zamiast zmyślonej odpowiedzi.
- Zmiany w ustawieniach wyszukiwania albo w modelu są sprawdzane, zanim zobaczą je twoi pracownicy.
Wyszukiwanie i odpowiedzi oceniane osobno
Oznaczamy, które fragmenty powinny odpowiadać na każde pytanie, i mierzymy wyszukiwanie przez recall at k i pozycję pierwszego trafnego fragmentu. Potem sprawdzamy, czy każda odpowiedź jest wierna temu, co znaleziono, i poprawnie to cytuje. Gdy któraś liczba spada, wiesz, którą połowę naprawiać.
Więcej szczegółów
Przykładowy test pyta, jakie wydatki dopuszcza aktualna polityka podróży. Oczekiwany wynik to znalezienie aktualnej polityki dostępnej dla użytkownika, odpowiedź na podstawie właściwego fragmentu i wskazanie tej wersji. Nieaktualny dokument oznacza błąd wyszukiwania. Właściwy fragment z niepopartym nim uprawnieniem do zwrotu oznacza błąd odpowiedzi. Te wyniki zapisujemy osobno.
Pytania, które demo pomija
Większość błędów wartych znalezienia kryje się w przypadkach, których demo nigdy nie testuje.
Więcej szczegółów
- Pytania, na które twoje dokumenty nie odpowiadają i przy których asystent powinien to powiedzieć
- Odpowiedzi, które zmieniły się w nowszym dokumencie
- Pytania od osób bez dostępu do dokumentu źródłowego
- Pytania po niemiecku lub polsku o dokumenty napisane po angielsku i odwrotnie
- Tabele, arkusze kalkulacyjne i dokładne identyfikatory, takie jak numery części
Chcesz omówić to na własnym przykładzie? Pierwsza rozmowa jest bezpłatna i trwa 30 minut.
Umów 30-minutową rozmowęZmiany, które wymagają przebiegu testów
Rozmiar fragmentów, model embeddingów, reranker, prompt i sam model zmieniają wyszukiwanie albo odpowiedzi w trudny do przewidzenia sposób. Zestaw uruchamia się w CI przy każdej takiej zmianie, z osobnymi progami dla wyszukiwania i odpowiedzi, żeby lepszy wynik odpowiedzi nie ukrył gorszego wyszukiwania.
Co obejmuje pierwsze zlecenie
Jeden asystent na jednym zbiorze dokumentów, w maksymalnie dwóch językach, z czasem osoby po twojej stronie, która zna dokumenty. Zespoły, które już oceniają swój system RAG, mogą zacząć od audytu.
Pytania
Skąd wiemy, czy odpowiedź jest poprawna?
Do każdego pytania testowego osoba, która zna dokumenty, zaznacza fragment, który powinien na nie odpowiadać. Potem sprawdzamy, czy asystent znalazł ten fragment, czy jego odpowiedź mówi to, co jest w tym fragmencie, i czy cytat do niego prowadzi. Wynikiem jest odsetek dla każdego z tych punktów, zmierzony na twoich pytaniach, a nie ogólne wrażenie.
Czy asystent może pokazać komuś dokumenty, których ta osoba nie powinna widzieć?
Może, jeśli uprawnienia z SharePoint albo udziału plikowego nie są przenoszone do wyszukiwania. Dlatego zestaw testów zawiera pytania od osób bez dostępu do źródła, a każda odpowiedź, która ujawnia treść, liczy się jako błąd z progiem zero. Twój inspektor ochrony danych widzi, jakie przypadki przetestowano i z jakim wynikiem.
Czy warto testować asystenta, który w demie już działa dobrze?
Demo korzysta z pytań, na które dokumenty dobrze odpowiadają. Błędy, które kosztują zaufanie, są gdzie indziej: pytania bez odpowiedzi w dokumentach, zasady zmienione w nowszej wersji, tabele i numery części oraz osoby bez dostępu. Gdy pracownicy zobaczą kilka błędnych odpowiedzi, znów sprawdzają każdą odpowiedź i zaoszczędzony czas znika, dlatego taniej jest znaleźć te przypadki wcześniej.
Czy możecie ocenić asystenta zbudowanego przez innego dostawcę?
Tak, o ile możemy wysyłać mu pytania i czytać odpowiedzi, a najlepiej także znalezione fragmenty. Bez znalezionych fragmentów ocenimy odpowiedzi, ale nie wyszukiwanie.
Czy potrzebujecie dostępu do naszych dokumentów?
Pracujemy w twoim środowisku albo na wybranej przez ciebie kopii, z tymi samymi zasadami dostępu co w oryginalnym systemie. Postępowanie z danymi osobowymi w pytaniach lub dokumentach uzgadniamy przed startem.
Ile to kosztuje?
Stała cena uzgodniona na piśmie przed startem. Zależy od liczby języków, od tego, czy ślady już istnieją, ile typów błędów wymaga sędziego i ile pracy jest w CI. Podajemy ją po pierwszej, 30-minutowej rozmowie.
Jak wygląda pierwsza rozmowa?
Trzydzieści minut z jednym z naszych inżynierów, bezpłatnie, o twoim produkcie i błędach, które cię niepokoją. Nie potrzebujemy dostępu do twoich systemów. Potem proponujemy zakres i cenę.
Powiązane usługi
Testowanie systemów AI
Przed startem testy akceptacyjne na twoich przypadkach pokazują, jak często chatbot, asystent albo agent ma rację, w języku, którym posługuje się twój zespół QA.
Inżynieria ewaluacji AI
Ewaluacje na śladach z twojego systemu pokazują, czy zmiana poprawiła twój produkt AI, czy go pogorszyła, a bramka wydania zostaje w twoim repozytorium.
Ewaluacja agentów AI
Sprawdź, jak często agent wykonuje zadanie, zanim zacznie działać w twoich systemach: badamy wyniki, wywołania narzędzi i powtarzalność przebiegów.
Bezpłatny przegląd wykorzystania AI
Jedna strona dla zarządu: na co idą pieniądze na AI, czy to się opłaca i co zmienić, na podstawie eksportów, które chcesz udostępnić. Bezpłatnie, bez dostępu do systemów.
AI on-premise
AI na ofertach, umowach i aktach klientów, a dane zostają w firmie: własne serwery albo własne konto w chmurze, przetestowane przed startem.
Integracja danych dla AI
Odpowiedzi z udziałów plików, SharePoint, ERP i zgłoszeń w kilka sekund, dla asystentów i agentów, z zachowanymi uprawnieniami i testami.
Agenci AI i automatyzacja procesów
Agenci, którzy przejmują rutynowe kroki złożonych spraw i przekazują decyzje ludziom, z kosztem każdej obsłużonej sprawy.
Z bloga
Wyszukiwanie czy generowanie?
Procedura diagnostyczna, która pokazuje, czy błędna odpowiedź RAG zaczęła się w ingestii, wyszukiwaniu, rerankingu czy w modelu, z oznaczonymi dowodami i śladem dla każdego pytania.
Jakość cytowań w RAG
Jak sprawdzić, czy fragmenty cytowane przez asystenta faktycznie potwierdzają każde jego twierdzenie: weryfikacja pojedynczych twierdzeń, przykład i kryteria odbioru.
Testy wielojęzycznego RAG
Jak sprawdzić, czy asystent znajduje te same dowody, gdy ktoś pyta po angielsku, niemiecku albo polsku: równoległy zestaw testowy, macierz języków i poprawki terminologii.
Walidacja sędziego LLM
Jak sprawdzić sędziego LLM na ręcznie oznaczonych przykładach, raportować jego TPR i TNR i skorygować odsetek zaliczeń, który podaje.
Porozmawiaj z inżynierem
Dowiedz się, jak często twój asystent dokumentów ma rację, zanim pracownicy przestaną mu ufać. Przynieś dwie albo trzy błędne odpowiedzi. Rozmowa trwa 30 minut i nie wymaga dostępu do twoich systemów ani danych.
Rezerwacja odbywa się w Kalendarzu Google.

Mickey Graf
Założyciel i prezes Cloudsail
Wolisz najpierw napisać? Zostaw e-mail i kilka zdań. Mickey sam czyta każdą wiadomość i odpowiada e-mailem z propozycją terminów.
Sprawdź wersję roboczą w swoim programie pocztowym
Wyślij ją stamtąd, a Mickey odpowie ci osobiście, proponując terminy 30-minutowej rozmowy. Jeśli wersja robocza się nie otworzyła, napisz do nas na adres miki@cloudsail.com.