Evals für KI-Agenten: Ergebnisse, Tool-Aufrufe und wiederholte Läufe prüfen

Ein Lauf, der mit dem richtigen Datensatz in Ihrem System endet, kann trotzdem einen riskanten Weg genommen haben, und ein sauber aussehender Lauf kann mit dem falschen Ergebnis enden. Wir prüfen zuerst das Ergebnis, wo immer möglich im Code: den Status des Tickets, den erstatteten Betrag, die E-Mail, die verschickt wurde oder nicht. Dann lesen wir den Trace, um zu finden, wo ein fehlgeschlagener Lauf falsch abgebogen ist.

Prüfungen der Tool-Aufrufe vergleichen, was der Agent getan hat, mit einer Referenz: welche Tools er aufgerufen hat, mit welchen Argumenten und in wie vielen Schritten. Ein Agent, der das richtige Ergebnis mit 14 Aufrufen erreicht, wo 3 genügen würden, hat ein Kosten- und Latenzproblem, auch wenn jede Antwort stimmt.

Agenten sind nicht deterministisch, ein bestandener Lauf beweist also wenig. Wir führen jeden Fall mehrfach mit den Einstellungen aus, die Sie im Betrieb nutzen, und berichten, wie oft alle Läufe gelingen, nicht nur, ob einer gelang. Im Benchmark τ-bench löste gpt-4o in einem einzelnen Lauf etwa 61 % der Retail-Aufgaben, in allen acht Läufen gelangen weniger als 25 %.

Bei Agenten, die über mehrere Runden mit Menschen sprechen, kann ein zweites Modell die Kundin oder den Kunden spielen, mit einem schriftlichen Ziel und Vorgaben. So finden sich Probleme mit Zustand und Gedächtnis, die einzelne Fragen übersehen.

Wir testen auch die Aktionen, die nicht passieren dürfen: handeln ohne eine nötige Freigabe, weitermachen, wo der Fall an einen Menschen gehen sollte, oder einen Schreibvorgang wiederholen, wenn ein Tool nicht antwortet. Genau diese Fälle deckt eine Demo selten ab.

Die Suite läuft in der CI, sobald sich Prompts, Modelle, Tools oder die Orchestrierung ändern, mit einem Schwellenwert pro Fehlertyp. Im Betrieb laufen Judges auf einer Stichprobe echter Läufe, und der Bericht hält Qualität, Kosten pro erfolgreicher Aufgabe und Latenz in einer Tabelle.

Ein Agent oder Ablauf, in bis zu zwei Sprachen, mit einer Fachperson von Ihrer Seite für einige Stunden pro Woche und Zugang zu früheren Läufen oder Fällen. Teams, die bereits Evals für Agenten betreiben, können mit einem zweiwöchigen Audit ihres Bestands beginnen.

• Fehlertypen mit Häufigkeiten aus echten Läufen
• 50 bis 150 Fälle mit erwarteten Ergebnissen, versioniert in Ihrem Repository
• Ergebnisprüfungen, Prüfungen der Tool-Aufrufe und Judges mit einem Bericht, wie gut jeder mit Ihrer Fachperson übereinstimmt
• Ein Release-Gate in der CI und Stichproben im Betrieb
• Ein Ausgangsbericht mit Erfolg über wiederholte Läufe, Kosten pro erfolgreicher Aufgabe und Latenz