Testowanie systemów AI: aplikacje LLM, chatboty, asystenci RAG i agenci AI

Większość ofert pod hasłem testowanie AI dotyczy używania AI do pisania lub uruchamiania testów zwykłego oprogramowania. Ta strona dotyczy czegoś odwrotnego: testowania aplikacji, której odpowiedzi pochodzą z modelu językowego, na przykład chatbota obsługi klienta, wewnętrznego asystenta, który odpowiada na podstawie twoich dokumentów, albo agenta, który zmienia rekordy w twoich systemach. ISTQB stawia tę samą granicę: wersja 2.0 sylabusa Certified Tester AI Testing, wydana w kwietniu 2026, obejmuje wyłącznie testowanie systemów opartych na AI, w tym generatywnej AI i LLM.

Testujemy jakość funkcjonalną: czy odpowiedzi są poprawne, oparte na twoich źródłach, kompletne, bezpieczne do pokazania i przekazywane człowiekowi wtedy, gdy powinny. Test penetracyjny tego samego systemu to osobne zadanie. Przypadki prompt injection dodajemy tam, gdzie system czyta tekst z zewnątrz, ale nie zastępujemy pentestu.

System AI rzadko zalicza 100% realistycznego zestawu testów, więc pytanie przy odbiorze brzmi: jak często może wystąpić każdy rodzaj błędu. Ustalamy to przed testami, dla każdego typu błędu osobno: błędna kwota w odpowiedzi o zwrocie może być niedopuszczalna, a niezgrabne, ale poprawne sformułowanie może być do przyjęcia w jednym przypadku na dziesięć. Singapurski urząd IMDA zaleca to samo w swoim przewodniku Starter Kit do testowania aplikacji LLM ze stycznia 2026: każda organizacja ustala swoje progi przed testami, a dla najpoważniejszych szkód próg wynosi zero.

Ponieważ odpowiedzi się różnią, jeden przebieg na przypadek niewiele mówi. Uruchamiamy przypadki wielokrotnie i podajemy każdy odsetek zaliczeń z przedziałem ufności. Jeśli system zalicza 90 ze 100 przypadków, a wymaganie to 85%, przedział 95% sięga od 82,6% do 94,5%, więc test jeszcze nie pokazał, że system przekracza próg. W naszym poradniku o kryteriach akceptacji jest kalkulator dla twoich liczb.

Dzielimy testy tak, jak zespół QA już myśli. Część kontroli jest deterministyczna i należy do zwykłych testów automatycznych: wynik zgadza się ze schematem, cytowany dokument istnieje, agent wywołał właściwe narzędzie z poprawnymi argumentami, odmowa pada wtedy, gdy musi. Inne są statystyczne: czy odpowiedź jest poprawna i kompletna, oceniane według etykiet twojego eksperta i mierzone jako odsetek.

Testujemy komponenty i całość: wyszukiwanie osobno, żeby brakujący dokument nie obciążał modelu, oraz system od początku do końca, tak jak widzą go użytkownicy. Techniki z sylabusa CT-AI przenoszą się wprost. Testy metamorficzne zadają to samo pytanie innymi słowami i oczekują tych samych faktów. Testy back-to-back uruchamiają starą i nową wersję na tych samych przypadkach, zanim zmiana modelu lub promptu trafi na produkcję.

Jeśli twoja organizacja pracuje według ISO/IEC TS 42119-2, opublikowanej w listopadzie 2025 i stosującej serię norm ISO/IEC/IEEE 29119 do systemów AI, piszemy plan testów w jej kategoriach.

Wiele firm kupuje chatbota albo asystenta od agencji lub dostawcy platformy, a potem musi go odebrać. Demo z dziesięcioma łatwymi pytaniami to słaba podstawa. Piszemy z tobą kryteria akceptacji, testujemy system dostawcy przez ten sam interfejs, którego używają twoi użytkownicy, i opisujemy każdy błąd z wejściem, odpowiedzią i naruszonym kryterium, żeby dostawca mógł go odtworzyć i naprawić.

W tej roli nie sprzedajemy modeli, platformy ani żadnej części testowanego systemu. Najlepiej, gdy kryteria trafiają do umowy przed rozpoczęciem prac nad systemem, a ten sam zestaw testów wraca przy odbiorze.

Zestaw testów nie wygasa przy odbiorze. Nowy prompt, nowa wersja modelu, nowe dokumenty w indeksie albo aktualizacja u dostawcy mogą zmienić odpowiedzi, choć w twoim kodzie nie zmieniła się ani jedna linia. Zamieniamy przypadki z odbioru w zestaw testów regresji, który uruchamia się w twoim CI przy każdej takiej zmianie, z bramką dla każdego kryterium. Budowa i utrzymanie tego zestawu w czasie to nasza oferta Inżynieria ewaluacji AI, a twój zespół QA może też przejąć go po przekazaniu.

Większość chatbotów i wewnętrznych asystentów nie jest systemami wysokiego ryzyka w rozumieniu AI Act. System staje się systemem wysokiego ryzyka przez sposób użycia, na przykład w rekrutacji, przy decyzjach kredytowych lub w dostępie do podstawowych usług (załącznik III), albo jako element bezpieczeństwa produktu objętego regulacją (załącznik I). Dla tych, które nimi są, wymogi dotyczące zarządzania ryzykiem, danych, dokładności i solidności oraz systemu zarządzania jakością dostawcy obowiązują od 2 grudnia 2027 dla systemów z załącznika III i od 2 sierpnia 2028 dla systemów z załącznika I, po tym jak Digital Omnibus przesunął terminy w lipcu 2026. Dowody z testów, z kryteriami, przypadkami i wynikami, przydają się w obu przypadkach. To nie jest porada prawna.

Jeden system AI lub proces, w maksymalnie dwóch językach, z ekspertem dziedzinowym po twojej stronie na kilka godzin tygodniowo i dostępem do systemu przez jego zwykły interfejs. Prawdziwe rozmowy lub zgłoszenia pomagają, a jeśli ich jeszcze nie ma, zaczynamy od przypadków spisanych przez twoich ekspertów.

• Kryteria akceptacji z wagą i progiem dla każdego
• Od 100 do 200 przypadków testowych, wersjonowanych w twoim repozytorium
• Automatyczne kontrole i sędziowie LLM, każdy zweryfikowany względem ocen twojego eksperta
• Raport z odsetkiem zaliczeń i przedziałem dla każdego kryterium oraz odtwarzalnymi defektami
• Rekomendacja co do wydania, która wskazuje, co trzeba naprawić najpierw