Qualitätssicherung für KI-Systeme: LLM-Anwendungen, Chatbots und KI-Agenten testen

Die meisten Angebote unter dem Namen KI-Testing drehen sich darum, mit KI Tests für gewöhnliche Software zu schreiben oder auszuführen. Hier geht es um das Gegenteil: eine Anwendung zu testen, deren Antworten von einem Sprachmodell kommen, etwa einen Support-Chatbot, einen internen Assistenten, der aus Ihren Dokumenten antwortet, oder einen Agenten, der Datensätze in Ihren Systemen ändert. ISTQB zieht dieselbe Linie: Version 2.0 des Lehrplans Certified Tester AI Testing, erschienen im April 2026, behandelt nur noch das Testen KI-basierter Systeme, einschließlich generativer KI und LLMs.

Wir testen die fachliche Qualität: ob Antworten stimmen, sich auf Ihre Quellen stützen, vollständig sind, gezeigt werden dürfen und an einen Menschen gehen, wenn sie sollen. Ein Penetrationstest desselben Systems ist eine eigene Aufgabe. Fälle mit Prompt Injection nehmen wir auf, wo das System Text von außen liest, einen Pentest ersetzen wir aber nicht.

Ein KI-System besteht selten 100 % eines realistischen Testsets, also lautet die Abnahmefrage, wie oft jede Art von Fehler vorkommen darf. Das vereinbaren wir vor dem Test, pro Fehlertyp: Ein falscher Betrag in einer Antwort zur Erstattung darf vielleicht gar nicht vorkommen, eine holprige, aber richtige Formulierung ist vielleicht in einem von zehn Fällen tragbar. Die singapurische Behörde IMDA empfiehlt in ihrem Starter Kit zum Testen von LLM-Anwendungen vom Januar 2026 dasselbe: Jede Organisation legt ihre Schwellenwerte vor dem Test fest, und für die schwersten Schäden liegt der Schwellenwert bei null.

Weil Antworten schwanken, sagt ein Lauf pro Fall wenig. Wir lassen Fälle wiederholt laufen und weisen jede Erfolgsquote mit Konfidenzintervall aus. Bestehen 90 von 100 Fällen und gefordert sind 85 %, reicht das 95-%-Intervall von 82,6 % bis 94,5 %, der Test hat also noch nicht gezeigt, dass das System die Hürde nimmt. Unser Leitfaden zu Abnahmekriterien enthält einen Rechner für Ihre eigenen Zahlen.

Wir teilen die Tests so auf, wie ein QA-Team ohnehin denkt. Manche Prüfungen sind deterministisch und gehören in gewöhnliche automatisierte Tests: Die Ausgabe entspricht ihrem Schema, das zitierte Dokument existiert, der Agent hat das richtige Tool mit gültigen Argumenten aufgerufen, eine Ablehnung erfolgt, wo sie erfolgen muss. Andere sind statistisch: ob eine Antwort richtig und vollständig ist, beurteilt an den Labels Ihrer Fachperson und als Quote gemessen.

Wir testen Komponenten und das Ganze: das Retrieval für sich, damit ein fehlendes Dokument nicht dem Modell angelastet wird, und das Gesamtsystem End-to-End, so wie Nutzer es sehen. Techniken aus dem CT-AI-Lehrplan lassen sich direkt übertragen. Metamorphe Tests stellen dieselbe Frage mit anderen Worten und erwarten dieselben Fakten. Back-to-Back-Tests lassen alte und neue Version auf denselben Fällen laufen, bevor ein Modell- oder Prompt-Wechsel live geht.

Wo Ihre Organisation nach ISO/IEC TS 42119-2 arbeitet, die im November 2025 erschienen ist und die Normenreihe ISO/IEC/IEEE 29119 auf KI-Systeme anwendet, schreiben wir den Testplan in deren Begriffen.

Viele Unternehmen kaufen ihren Chatbot oder Assistenten bei einer Agentur oder einem Plattformanbieter und müssen ihn dann abnehmen. Eine Demo mit zehn freundlichen Fragen ist dafür eine schwache Grundlage. Wir schreiben die Abnahmekriterien mit Ihnen, testen das System des Anbieters über dieselbe Oberfläche, die Ihre Nutzer haben, und dokumentieren jeden Fehler mit Eingabe, Antwort und verletztem Kriterium, damit der Anbieter ihn nachstellen und beheben kann.

In dieser Rolle verkaufen wir weder Modelle noch eine Plattform noch einen Teil des getesteten Systems. Am besten stehen die Kriterien schon im Vertrag, bevor die Entwicklung beginnt, und dasselbe Testset kommt bei der Abnahme wieder zum Einsatz.

Das Testset läuft mit der Abnahme nicht ab. Ein neuer Prompt, eine neue Modellversion, neue Dokumente im Index oder ein Update beim Anbieter können Antworten verändern, ohne dass sich eine Zeile Ihres Codes ändert. Wir machen aus den Abnahmefällen eine Regressionssuite, die bei jeder solchen Änderung in Ihrer CI läuft, mit einem Gate pro Kriterium. Aufbau und Betrieb dieser Suite über die Zeit sind unser Angebot KI-Evals-Engineering, Ihr QA-Team kann sie nach einer Übergabe aber auch selbst übernehmen.

Die meisten Chatbots und internen Assistenten sind keine Hochrisiko-Systeme im Sinne des AI Act (KI-Verordnung). Hochrisiko wird ein System durch seinen Einsatz, etwa bei der Personalauswahl, bei Kreditentscheidungen oder beim Zugang zu grundlegenden Leistungen (Anhang III), oder als Sicherheitsbauteil eines regulierten Produkts (Anhang I). Für die, die es sind, gelten die Anforderungen an Risikomanagement, Daten, Genauigkeit und Robustheit sowie an das Qualitätsmanagementsystem des Anbieters ab dem 2. Dezember 2027 für Systeme nach Anhang III und ab dem 2. August 2028 für Systeme nach Anhang I, nachdem der Digital Omnibus die Termine im Juli 2026 verschoben hat. Testnachweise mit Kriterien, Fällen und Ergebnissen sind so oder so nützlich. Das ist keine Rechtsberatung.

Ein KI-System oder Ablauf, in bis zu zwei Sprachen, mit einer Fachperson von Ihrer Seite für einige Stunden pro Woche und Zugang zum System über seine normale Oberfläche. Echte Gespräche oder Tickets helfen. Wo es noch keine gibt, beginnen wir mit Fällen, die Ihre Fachleute aufschreiben.

• Abnahmekriterien mit Schweregrad und Schwellenwert für jedes
• 100 bis 200 Testfälle, versioniert in Ihrem Repository
• Automatisierte Prüfungen und LLM-Judges, jeder Judge an den Bewertungen Ihrer Fachperson validiert
• Ein Bericht mit Erfolgsquote und Intervall pro Kriterium und reproduzierbaren Fehlern
• Eine Empfehlung zur Freigabe, die nennt, was zuerst behoben werden muss