UsługiEwaluacja systemów RAG

Ewaluacja systemów RAG, która osobno ocenia wyszukiwanie i odpowiedzi

Gdy asystent odpowiadający z twoich dokumentów się myli, albo wyszukiwanie nie znalazło właściwego fragmentu, albo model źle wykorzystał fragment, który miał. Ocena samej końcowej odpowiedzi ukrywa, które z nich. Budujemy ewaluacje RAG na twoich pytaniach i dokumentach, oceniamy obie połowy osobno i zostawiamy zestaw testów w twoim repozytorium, po angielsku, niemiecku i polsku, tam, gdzie potrzebują tego twoi użytkownicy.

Porozmawiaj z inżynierem

Cztery tygodnie z jednym asystentem

1
Tydzień 1: zbieramy prawdziwe pytania i czytamy odpowiedzi z kimś, kto zna dokumenty.
2
Tydzień 2: dla każdego pytania fragmenty, które powinny na nie odpowiadać, oraz pytania, na które dokumenty nie odpowiadają.
3
Tydzień 3: wyszukiwanie oceniane osobno, potem odpowiedzi sprawdzane pod kątem wierności, z sędziami sprawdzonymi na twoim ekspercie.
4
Tydzień 4: bramka wydania dla zmian w podziale na fragmenty, embeddingach, promptach lub modelach oraz raport bazowy.

Wyszukiwanie i odpowiedzi oceniane osobno

Oznaczamy, które fragmenty powinny odpowiadać na każde pytanie, i mierzymy wyszukiwanie przez recall at k i pozycję pierwszego trafnego fragmentu. Potem sprawdzamy, czy każda odpowiedź jest wierna temu, co znaleziono, i poprawnie to cytuje. Gdy któraś liczba spada, wiesz, którą połowę naprawiać.

Pytania, które demo pomija

Większość błędów wartych znalezienia kryje się w przypadkach, których demo nigdy nie testuje.

Pytania, na które twoje dokumenty nie odpowiadają i przy których asystent powinien to powiedzieć
Odpowiedzi, które zmieniły się w nowszym dokumencie
Pytania od osób bez dostępu do dokumentu źródłowego
Pytania po niemiecku lub polsku o dokumenty napisane po angielsku i odwrotnie
Tabele, arkusze kalkulacyjne i dokładne identyfikatory, takie jak numery części

Zmiany, które wymagają przebiegu testów

Rozmiar fragmentów, model embeddingów, reranker, prompt i sam model zmieniają wyszukiwanie albo odpowiedzi w trudny do przewidzenia sposób. Zestaw uruchamia się w CI przy każdej takiej zmianie, z osobnymi progami dla wyszukiwania i odpowiedzi, żeby lepszy wynik odpowiedzi nie ukrył gorszego wyszukiwania.

Co obejmuje pierwsze zlecenie

Jeden asystent na jednym zbiorze dokumentów, w maksymalnie dwóch językach, z osobą po twojej stronie, która zna dokumenty, na kilka godzin tygodniowo. Zespoły, które już oceniają swój system RAG, mogą zacząć od dwutygodniowego audytu.

Pytania

Czy możecie ocenić asystenta zbudowanego przez innego dostawcę?

Tak, o ile możemy wysyłać mu pytania i czytać odpowiedzi, a najlepiej także znalezione fragmenty. Bez znalezionych fragmentów ocenimy odpowiedzi, ale nie wyszukiwanie.

Czy potrzebujecie dostępu do naszych dokumentów?

Pracujemy w twoim środowisku albo na wybranej przez ciebie kopii, z tymi samymi zasadami dostępu co w oryginalnym systemie. Postępowanie z danymi osobowymi w pytaniach lub dokumentach uzgadniamy przed startem.

Ile to kosztuje?

Stała cena uzgodniona na piśmie przed startem. Zależy od liczby języków, od tego, czy ślady już istnieją, ile typów błędów wymaga sędziego i ile pracy jest w CI. Podajemy ją po pierwszej, 30-minutowej rozmowie.

Jak wygląda pierwsza rozmowa?

Trzydzieści minut z jednym z naszych inżynierów, bezpłatnie, o twoim produkcie i błędach, które cię niepokoją. Nie potrzebujemy dostępu do twoich systemów. Potem proponujemy zakres i cenę.

Powiązane usługi

Ewaluacja agentów AI

Ewaluacja agentów, które działają w twoich systemach: wyniki, wywołania narzędzi i powtarzalność przebiegów.

Automatyzacja AI

Procesy biznesowe automatyzowane krok po kroku regułami, modelami i agentami, testowane na wcześniejszych sprawach i raportowane jako koszt sprawy.

Chatboty AI

Chatboty i asystenci do obsługi klienta i wsparcia wewnętrznego, którzy odpowiadają z twoich danych, działają przez zatwierdzone narzędzia i przekazują sprawy ludziom.

Doradztwo AI

Strategia AI, ocena zastosowań i gotowości od inżynierów, którzy budują i mierzą też pierwszy system.

Inżynierowie AI w twoim zespole

Doświadczeni inżynierowie AI, którzy dołączają do twojego zespołu na część etatu lub na dłużej i budują z tobą funkcje AI, agentów i platformy.

Inżynieria ewaluacji AI

Ewaluacje produktów AI, agentów i RAG zbudowane na śladach z twojego systemu, z zestawem testów i bramką wydania w twoim repozytorium.

AI dla firm

Asystenci, agenci i prywatna AI wbudowani w twoje systemy, z twoimi uprawnieniami, logami audytowymi i zespołem platformy, który może ich utrzymywać.

Tworzenie serwerów MCP

Serwery MCP łączące zatwierdzone wewnętrzne API z asystentami AI, z wąskimi uprawnieniami, akceptacją zmian i testami.

Tworzenie systemów RAG

Asystenci odpowiadający na podstawie twoich wewnętrznych dokumentów, z uprawnieniami, źródłami i testami na twoich pytaniach.

Inżynieria i architektura AI

Asystenci, interfejsy głosowe i agenci w produktach, które sprzedajesz, razem z serwowaniem modeli i wyszukiwaniem pod spodem.

Trenowanie własnych modeli

Mały model open-weight wytrenowany do jednego zadania i porównany z twoim obecnym modelem pod względem kosztu i dokładności.

Z bloga

Wyszukiwanie czy generowanie?

Procedura diagnostyczna, która pokazuje, czy błędna odpowiedź RAG zaczęła się w ingestii, wyszukiwaniu, rerankingu czy w modelu, z oznaczonymi dowodami i śladem dla każdego pytania.

Jakość cytowań w RAG

Jak sprawdzić, czy fragmenty cytowane przez asystenta faktycznie potwierdzają każde jego twierdzenie: weryfikacja pojedynczych twierdzeń, przykład i kryteria odbioru.

Testy wielojęzycznego RAG

Jak sprawdzić, czy asystent znajduje te same dowody, gdy ktoś pyta po angielsku, niemiecku albo polsku: równoległy zestaw testowy, macierz języków i poprawki terminologii.

Walidacja sędziego LLM

Jak sprawdzić sędziego LLM na ręcznie oznaczonych przykładach, raportować jego TPR i TNR i skorygować odsetek zaliczeń, który podaje.

Porozmawiaj z inżynierem

Przynieś dwie albo trzy rozmowy, w których twój system AI się pomylił. Rozmowa trwa 30 minut i nie wymaga dostępu do twoich systemów ani danych.

Umów 30-minutową rozmowę

Rezerwacja odbywa się w Kalendarzu Google.

Wolisz najpierw napisać? Zostaw adres e-mail i kilka zdań, a odpowiemy, proponując terminy.