Jak testować systemy AI: strategia testów dla aplikacji LLM, RAG i agentów

Testowanie systemów AI to nie to samo co testowanie za pomocą AI

Kto szuka hasła testowanie AI, trafia głównie na wyniki o używaniu AI do generowania lub utrzymywania testów zwykłego oprogramowania. Ten poradnik dotyczy drugiego kierunku: testowania oprogramowania, którego zachowanie pochodzi z modelu językowego. ISTQB rozdzielił te dwa tematy w 2026 roku. Wersja 2.0 sylabusa Certified Tester AI Testing skupia się wyłącznie na testowaniu systemów opartych na AI i obejmuje teraz generatywną AI oraz duże modele językowe, a treści o testowaniu z użyciem AI usunięto.

Testowana jest aplikacja, a nie model. Chatbot obsługi klienta to model, prompt systemowy, wyszukiwanie w twoich dokumentach, narzędzia, filtry i kod wokół nich, a błąd może zacząć się w każdej z tych części. Singapurski urząd IMDA w swoim przewodniku Starter Kit do testowania aplikacji LLM odróżnia więc testy wyniku, które traktują aplikację jak czarną skrzynkę, od testów komponentów wewnątrz potoku.

Testowanie systemów AI

Dlaczego jeden oczekiwany wynik przestaje wystarczać

Klasyczny przypadek testowy porównuje wynik z oczekiwanym rezultatem. Pytanie w rodzaju „Czy mogę zwrócić przecenioną rzecz po 30 dniach?” ma wiele poprawnych odpowiedzi różnymi słowami i kilka błędnych, które wyglądają podobnie. Dokładne porównanie odrzuca dobre odpowiedzi i przepuszcza złe, które przypadkiem używają tych samych słów. To problem wyroczni testowej: ocena, czy wynik jest poprawny, wymaga osobnej metody.

Są trzy użyteczne wyrocznie. Kod, dla wszystkiego, co ma stałą odpowiedź: kwota, data, schemat, wywołanie narzędzia, cytowany dokument, który istnieje. Osoba z wiedzą dziedzinową, która ręcznie ocenia próbkę. I sędzia LLM, drugi model, który odpowiada na jedno wąskie pytanie typu zalicza albo nie zalicza i jest tak dobry, jak jego zgodność z tą osobą. Używaj ich w tej kolejności i sprawdzaj każdego sędziego, zanim zaufasz jego liczbom.

Walidacja sędziego LLM

Poziomy testów: deterministyczne i statystyczne

Wiele elementów systemu AI nadal da się testować po staremu. Podziel zestaw według tego, czy dana kontrola ma jedną właściwą odpowiedź.

Część deterministyczną trzymaj szybką i surową: błąd w niej to bug. Część statystyczną traktuj jako pomiar: podaj odsetek, porównaj go z progiem i przeczytaj przypadki, które nie przeszły.

Techniki z sylabusa CT-AI, które się przenoszą

Sylabus CT-AI wymienia wśród technik testowania modeli testy adwersarialne, metamorficzne, dryfu, A/B i back-to-back, a dla generatywnej AI testy eksploracyjne i red teaming. W aplikacji LLM wygląda to tak.

• Testy metamorficzne: zadaj to samo pytanie innymi słowami, w innym języku lub w innej kolejności i oczekuj tych samych faktów. Nie potrzebujesz oczekiwanej odpowiedzi, tylko spójności.
• Testy back-to-back: uruchom obecną i nową wersję na tych samych przypadkach i przyjrzyj się przypadkom, które się zmieniły. To rdzeń testów regresji przy zmianach promptów i modeli.
• Testy adwersarialne i red teaming: prompt injection ukryty w dokumentach lub e-mailach, które czyta system, prośby spoza jego zakresu, próby dostania się do danych innych użytkowników.
• Testy dryfu: uruchamiaj stały zestaw według harmonogramu, bo dokumenty się zmieniają, a alias modelu może zacząć wskazywać nową wersję.
• Testy eksploracyjne: tester z wiedzą dziedzinową rozmawia z systemem przez godzinę i zapisuje każdą dziwną odpowiedź. Tak wychodzą typy błędów, o których nikt nie pomyślał przy zestawie testów.

Jeśli twoja organizacja stosuje ISO/IEC TS 42119-2, opublikowaną w listopadzie 2025, te same techniki wpisują się w opisany tam proces testowy ISO/IEC/IEEE 29119 dla systemów AI.

Testy regresji aplikacji LLM

Skąd biorą się przypadki testowe

Najlepsze przypadki pochodzą z prawdziwego użycia: rozmowy, zgłoszenia lub zadania, które system już obsłużył, przeczytane przez kogoś, kto zna dziedzinę. Hamel Husain i Shreya Shankar zalecają zaczynać od takiej analizy błędów zamiast pisać ewaluatory z góry, bo typy błędów stają się jasne dopiero po przeczytaniu wyników. Shankar i współautorzy nazywają ten efekt criteria drift: oceniając wyniki, ludzie dopiero ustalają swoje kryteria.

To nie kłóci się ze stałymi kryteriami akceptacji. Najpierw przeczytaj próbkę z pilotażu, ustal kryteria i progi na podstawie tego, co znalazłeś, a potem zamroź je na czas testu akceptacyjnego. Przed startem, gdy nie ma jeszcze ruchu, zacznij od przypadków spisanych przez ekspertów i przypadków syntetycznych według określonych wymiarów, takich jak temat, typ klienta i trudność. Jeśli przypadki zawierają dane osobowe, pseudonimizuj je, zanim trafią do repozytorium.

IMDA podaje co najmniej 30 do 50 promptów dla wąskiego tematu i około 100 do 200 dla szerszego. Czy to wystarczy, zależy od tego, jak blisko progu leży zmierzony odsetek zaliczeń, i właśnie to liczy kalkulator w naszym poradniku o kryteriach akceptacji.

Kryteria akceptacji systemów AIAnaliza błędów aplikacji LLM

Kto odpowiada za jakość systemu AI

Spotykają się tu trzy role. Ekspert dziedzinowy decyduje, co jest poprawną odpowiedzią, i ocenia przypadki. Inżynierowie odpowiadają za testy deterministyczne, sędziów i bramkę w CI. QA odpowiada za strategię testów, kryteria akceptacji i raport z wydania oraz stale pyta, czego jeszcze nie pokryto. W małym zespole jedna osoba może pełnić dwie z tych ról. Ważne, żeby nie zabrakło eksperta dziedzinowego, bo nikt inny nie powie, czy odpowiedź jest poprawna.

Czego AI Act wymaga od testów

W przypadku systemów AI wysokiego ryzyka art. 9 AI Act wymaga, w ramach zarządzania ryzykiem, testów względem wcześniej określonych miar i progów probabilistycznych, a art. 15 wymaga odpowiedniego poziomu dokładności, solidności i cyberbezpieczeństwa. Po Digital Omnibus, opublikowanym 24 lipca 2026, wymogi te obowiązują od 2 grudnia 2027 dla systemów wysokiego ryzyka z załącznika III i od 2 sierpnia 2028 dla systemów z załącznika I. Większość chatbotów i wewnętrznych asystentów nie jest systemami wysokiego ryzyka, ale właśnie takich dowodów (kryteriów, przypadków, wyników i decyzji) zwykle zwykle chcą klienci i audytorzy. To nie jest porada prawna.