Abnahmekriterien für KI-Systeme: Wann ist eine LLM-Anwendung gut genug?

Kriterien als Fehlertypen

Ein klassisches Abnahmekriterium beschreibt, was die richtige Ausgabe ist. Bei einem KI-System funktioniert es besser, zu beschreiben, was nicht schiefgehen darf, weil es viele richtige Antworten und eine überschaubare Zahl von Fehlerarten gibt. Typische Kriterien für einen Assistenten im Kundenservice: Er nennt einen falschen Preis, Betrag oder ein falsches Datum, er widerspricht der Regel im Quelldokument, er beantwortet eine Frage außerhalb seines Zwecks, statt abzulehnen, er übersieht den Wunsch, mit einem Menschen zu sprechen, er gibt Daten eines anderen Kunden preis.

Finden Sie diese Fehlertypen, indem Sie zuerst echte Ausgaben oder Ausgaben aus dem Pilotbetrieb mit einer Fachperson lesen. Shreya Shankar und Kollegen haben festgestellt, dass Menschen ihre Kriterien beim Bewerten von Ausgaben schärfen, und nennen das Criteria Drift. Lesen Sie also eine Stichprobe, vereinbaren Sie die Kriterien anhand dessen, was Sie gefunden haben, und frieren Sie sie vor dem Abnahmetest ein.

Fehleranalyse für LLM-Anwendungen

Schweregrad und Schwellenwert, vor dem Test festgelegt

Geben Sie jedem Fehlertyp einen Schweregrad und eine geforderte Erfolgsquote. Das Starter Kit der IMDA zum Testen von LLM-Anwendungen sagt, dass jede Organisation ihre eigenen Schwellenwerte bestimmen und sie vor dem Test festlegen sollte, mit einem Schwellenwert von null für gravierende Schäden. Wer sie zuerst festlegt, verhindert, dass über die Zahlen gestritten wird, wenn die Ergebnisse schon da sind.

Diese Zahlen veranschaulichen das Format, sie sind keine Empfehlung. Die richtige Anforderung hängt davon ab, was ein Fehler Sie kostet, ob ein Mensch ihn bemerken würde und wie gut der Prozess vor dem KI-System lief.

Ein Kriterium, das keinen Fehler erlaubt, lässt sich durch Tests allein nicht beweisen. Ein fehlerfreier Lauf begrenzt nur die Fehlerquote: Bei 300 Fällen ohne Fehler reicht das 95-%-Intervall der Fehlerquote immer noch bis 1,3 %. Kritische Kriterien brauchen deshalb auch Kontrollen außerhalb des Modells, etwa Zugriffsregeln, die den Fehler unmöglich machen.

Jede Quote mit Intervall messen

Eine Erfolgsquote aus einem Testset ist eine Schätzung. Bestehen 90 von 100 Fällen, kann die wahre Quote für diese Art von Frage spürbar darunter oder darüber liegen. Das Wilson-Score-Intervall, das sich bei kleinen Stichproben und bei Quoten nahe 100 % gut verhält, setzt das 95-%-Intervall für 90 von 100 auf 82,6 % bis 94,5 %.

Daraus ergeben sich drei Ergebnisse pro Kriterium. Das Kriterium ist erfüllt, wenn die untere Grenze des Intervalls die Anforderung erreicht. Es ist nicht erfüllt, wenn die obere Grenze darunter liegt. Liegt die Anforderung im Intervall, hat der Test noch nicht entschieden, und mehr Fälle machen das Intervall enger. Bei einer Anforderung von 85 % ist 90 von 100 unentschieden, bei genau gleicher Erfolgsquote würden 196 Fälle es klären, in ganzen Fällen gerechnet 180 von 200.

Der Rechner behandelt Fälle als unabhängig. Stammen mehrere Fälle aus demselben Dokument oder Gespräch, ist das echte Intervall breiter, und unser Leitfaden zur Stichprobengröße bei Evals zeigt, wie Sie das berücksichtigen.

Stichprobengröße für EvalsQualitätssicherung für KI-Systeme

Wiederholte Läufe und Konsistenz

Lassen Sie jeden Fall mehrmals mit den Produktiveinstellungen laufen. Ein Fall, der in einem Lauf besteht und im nächsten nicht, ist kein flaky Test, den man löscht. Er zeigt, wie oft ein Nutzer den Fehler sehen würde. Zählen Sie den Fall als Einheit: Fünf Läufe über 100 Fälle sind nicht 500 unabhängige Fälle.

Bei einem System, das handelt, etwa einem Agenten, der Erstattungen auslöst, kann es sinnvoll sein zu verlangen, dass jeder Lauf eines Falls besteht. Im Benchmark τ-bench löste gpt-4o in einem einzelnen Versuch etwa 61 % der Retail-Aufgaben, in allen acht Versuchen gelangen weniger als 25 %. Eine Anforderung an die Quote einzelner Läufe hätte das verdeckt.

Kriterien in den Vertrag schreiben

Baut eine Agentur oder ein Anbieter das System, vereinbaren Sie Fehlertypen, Anforderungen und die Art der Messung, bevor gebaut wird, und behalten Sie das Testset auf Ihrer Seite. Der Anbieter kann eine Stichprobe zum Entwickeln bekommen, während die Fälle für die Abnahme ungesehen bleiben, damit das System nicht genau auf den Test hin optimiert wird. Lassen Sie das Set bei der Abnahme über die Oberfläche laufen, die Ihre Nutzer haben werden, und dokumentieren Sie zu jedem Fehler Eingabe, Ausgabe und verletztes Kriterium.

Vereinbaren Sie vorab, was nach einem unentschiedenen Ergebnis passiert: meist ein größerer Testlauf oder eine feste Zeit begleiteter Nutzung mit einer Stichprobe, die von Hand geprüft wird. Wie die Abnahme rechtlich funktioniert, hängt von Ihrem Vertragstyp ab, klären Sie das also mit Ihrer Rechtsabteilung oder Ihrer Kanzlei. Dieser Text ist keine Rechtsberatung.