UsługiEwaluacja systemów RAG

Ewaluacja systemów RAG: jak często asystent dokumentów ma rację i dlaczego czasem się myli

Pracownicy i klienci mogą polegać na asystencie, który odpowiada z twoich dokumentów, gdy wiesz, jak często ma rację, czy podaje właściwe źródło i czy przestrzega uprawnień. Testujemy systemy RAG (odpowiedzi oparte na twoich dokumentach, z pokazanym źródłem) na twoich pytaniach i dokumentach i osobno oceniamy wyszukiwanie właściwego fragmentu i samą odpowiedź, więc gdy liczba spada, wiesz, co naprawić. Zestaw testów zostaje w twoim repozytorium. Najczęściej testujemy asystentów wiedzy opartych na SharePoint, udziałach plikowych, instrukcjach albo umowach, utrzymywanych samodzielnie albo kupionych, po polsku, angielsku i niemiecku.

Pomiar bazowy dla jednego asystenta

  1. 1

    Zbieramy prawdziwe pytania i czytamy odpowiedzi z kimś, kto zna dokumenty.

  2. 2

    Dla każdego pytania fragmenty, które powinny na nie odpowiadać, oraz pytania, na które dokumenty nie odpowiadają.

  3. 3

    Wyszukiwanie oceniane osobno, potem odpowiedzi sprawdzane pod kątem wierności źródłu, z sędziami LLM skalibrowanymi na ocenach twojego eksperta.

  4. 4

    Bramka wydania dla zmian w podziale na fragmenty, embeddingach, promptach lub modelach oraz raport bazowy.

Co się zmienia w twojej firmie

W ankiecie Bitkom z 2026 roku 22% firm korzystających z AI stosuje ją w wewnętrznym zarządzaniu wiedzą, wobec 11% rok wcześniej. Asystent wiedzy oszczędza czas na szukanie tylko wtedy, gdy ludzie ufają jego odpowiedziom na tyle, żeby nie sprawdzać każdej z nich. Testy na twoich pytaniach dają im i zarządowi powód do takiego zaufania.

  • Wiesz, jak często asystent odpowiada poprawnie i wskazuje właściwy dokument, zmierzone na twoich pytaniach.
  • Nikt nie widzi treści, do których nie ma uprawnień: pytania od osób bez dostępu są częścią testu.
  • Nieaktualne odpowiedzi wychodzą na jaw, gdy nowszy dokument zmienił zasadę.
  • Pytania, na które twoje dokumenty nie odpowiadają, dostają jasne „nie ma tego w dokumentach” zamiast zmyślonej odpowiedzi.
  • Zmiany w ustawieniach wyszukiwania albo w modelu są sprawdzane, zanim zobaczą je twoi pracownicy.

Wyszukiwanie i odpowiedzi oceniane osobno

Oznaczamy, które fragmenty powinny odpowiadać na każde pytanie, i mierzymy wyszukiwanie przez recall at k i pozycję pierwszego trafnego fragmentu. Potem sprawdzamy, czy każda odpowiedź jest wierna temu, co znaleziono, i poprawnie to cytuje. Gdy któraś liczba spada, wiesz, którą połowę naprawiać.

Więcej szczegółów

Przykładowy test pyta, jakie wydatki dopuszcza aktualna polityka podróży. Oczekiwany wynik to znalezienie aktualnej polityki dostępnej dla użytkownika, odpowiedź na podstawie właściwego fragmentu i wskazanie tej wersji. Nieaktualny dokument oznacza błąd wyszukiwania. Właściwy fragment z niepopartym nim uprawnieniem do zwrotu oznacza błąd odpowiedzi. Te wyniki zapisujemy osobno.

Pytania, które demo pomija

Większość błędów wartych znalezienia kryje się w przypadkach, których demo nigdy nie testuje.

Więcej szczegółów
  • Pytania, na które twoje dokumenty nie odpowiadają i przy których asystent powinien to powiedzieć
  • Odpowiedzi, które zmieniły się w nowszym dokumencie
  • Pytania od osób bez dostępu do dokumentu źródłowego
  • Pytania po niemiecku lub polsku o dokumenty napisane po angielsku i odwrotnie
  • Tabele, arkusze kalkulacyjne i dokładne identyfikatory, takie jak numery części

Chcesz omówić to na własnym przykładzie? Pierwsza rozmowa jest bezpłatna i trwa 30 minut.

Umów 30-minutową rozmowę

Zmiany, które wymagają przebiegu testów

Rozmiar fragmentów, model embeddingów, reranker, prompt i sam model zmieniają wyszukiwanie albo odpowiedzi w trudny do przewidzenia sposób. Zestaw uruchamia się w CI przy każdej takiej zmianie, z osobnymi progami dla wyszukiwania i odpowiedzi, żeby lepszy wynik odpowiedzi nie ukrył gorszego wyszukiwania.

Co obejmuje pierwsze zlecenie

Jeden asystent na jednym zbiorze dokumentów, w maksymalnie dwóch językach, z czasem osoby po twojej stronie, która zna dokumenty. Zespoły, które już oceniają swój system RAG, mogą zacząć od audytu.

Pytania

Skąd wiemy, czy odpowiedź jest poprawna?

Do każdego pytania testowego osoba, która zna dokumenty, zaznacza fragment, który powinien na nie odpowiadać. Potem sprawdzamy, czy asystent znalazł ten fragment, czy jego odpowiedź mówi to, co jest w tym fragmencie, i czy cytat do niego prowadzi. Wynikiem jest odsetek dla każdego z tych punktów, zmierzony na twoich pytaniach, a nie ogólne wrażenie.

Czy asystent może pokazać komuś dokumenty, których ta osoba nie powinna widzieć?

Może, jeśli uprawnienia z SharePoint albo udziału plikowego nie są przenoszone do wyszukiwania. Dlatego zestaw testów zawiera pytania od osób bez dostępu do źródła, a każda odpowiedź, która ujawnia treść, liczy się jako błąd z progiem zero. Twój inspektor ochrony danych widzi, jakie przypadki przetestowano i z jakim wynikiem.

Czy warto testować asystenta, który w demie już działa dobrze?

Demo korzysta z pytań, na które dokumenty dobrze odpowiadają. Błędy, które kosztują zaufanie, są gdzie indziej: pytania bez odpowiedzi w dokumentach, zasady zmienione w nowszej wersji, tabele i numery części oraz osoby bez dostępu. Gdy pracownicy zobaczą kilka błędnych odpowiedzi, znów sprawdzają każdą odpowiedź i zaoszczędzony czas znika, dlatego taniej jest znaleźć te przypadki wcześniej.

Czy możecie ocenić asystenta zbudowanego przez innego dostawcę?

Tak, o ile możemy wysyłać mu pytania i czytać odpowiedzi, a najlepiej także znalezione fragmenty. Bez znalezionych fragmentów ocenimy odpowiedzi, ale nie wyszukiwanie.

Czy potrzebujecie dostępu do naszych dokumentów?

Pracujemy w twoim środowisku albo na wybranej przez ciebie kopii, z tymi samymi zasadami dostępu co w oryginalnym systemie. Postępowanie z danymi osobowymi w pytaniach lub dokumentach uzgadniamy przed startem.

Ile to kosztuje?

Stała cena uzgodniona na piśmie przed startem. Zależy od liczby języków, od tego, czy ślady już istnieją, ile typów błędów wymaga sędziego i ile pracy jest w CI. Podajemy ją po pierwszej, 30-minutowej rozmowie.

Jak wygląda pierwsza rozmowa?

Trzydzieści minut z jednym z naszych inżynierów, bezpłatnie, o twoim produkcie i błędach, które cię niepokoją. Nie potrzebujemy dostępu do twoich systemów. Potem proponujemy zakres i cenę.

Porozmawiaj z inżynierem

Dowiedz się, jak często twój asystent dokumentów ma rację, zanim pracownicy przestaną mu ufać. Przynieś dwie albo trzy błędne odpowiedzi. Rozmowa trwa 30 minut i nie wymaga dostępu do twoich systemów ani danych.

Rezerwacja odbywa się w Kalendarzu Google.

Mickey Graf

Mickey Graf

Założyciel i prezes Cloudsail

Ocena 4,9 na 5 w serwisie Clutch

Wolisz najpierw napisać? Zostaw e-mail i kilka zdań. Mickey sam czyta każdą wiadomość i odpowiada e-mailem z propozycją terminów.

Przycisk przygotowuje e-mail w twoim własnym programie pocztowym, a wysyłasz go samodzielnie. Polityka prywatności (wersja robocza)