LeistungenEvals für KI-Agenten
Evals für KI-Agenten: wie oft Ihr Agent die Aufgabe richtig erledigt, Lauf für Lauf
Sie können einem Agenten echte Arbeit übergeben, etwa Tickets, Datensätze oder Bestellungen zu bearbeiten, sobald Sie wissen, wie oft er sie richtig abschließt und dass er nie ohne die nötige Freigabe handelt. Wir testen KI-Agenten (Programme, die Schritte in Ihren Systemen ausführen) auf Ihren eigenen Fällen: zuerst das Ergebnis in Ihren Systemen, dann die aufgerufenen Tools und den Weg dorthin, mit wiederholten Läufen und einem Release-Gate, das in Ihrem Repository bleibt. Das richtet sich an Teams, die Agenten in Support, Betrieb, Finanzen oder IT einsetzen oder bald einsetzen wollen, und an die Führungskräfte, die sie freigeben müssen.
Ausgangsmessung für einen Agenten
- 1
Wir lesen mit den Menschen, die den Prozess kennen, mindestens 100 Agentenläufe und notieren, wo jeder zuerst schiefging.
- 2
Fehlertypen mit Häufigkeiten und 50 bis 150 Fälle mit dem Ergebnis, das jeder Lauf erreichen soll.
- 3
Ergebnisprüfungen im Code, Prüfungen der Tool-Aufrufe gegen Referenzwege und Judges, wo es Urteilsvermögen braucht, abgeglichen mit den Bewertungen Ihrer Fachperson.
- 4
Wiederholte Läufe pro Fall, ein Release-Gate in der CI und ein Ausgangsbericht mit Kosten pro erfolgreicher Aufgabe.
Was sich für Ihr Unternehmen ändert
Ein Agent, der in Ihren Systemen handelt, spart nur dann Arbeit, wenn man sich auf ihn verlassen kann. In einer Umfrage von Inform unter 114 Fach- und Führungskräften aus Logistik und Supply Chain aus dem Jahr 2025 bevorzugten 46 % ein Modell, in dem die KI vorschlägt und der Mensch entscheidet, 81 % erwarteten Erklärungen und 61 % wollten eingreifen können. Tests zeigen, wo Ihr Agent selbst handeln darf und wo er übergeben muss.
- Sie wissen, wie oft der Agent eine Aufgabe über wiederholte Läufe richtig abschließt, nicht nach einer glücklichen Demo.
- Aktionen, die nicht passieren dürfen, etwa eine Erstattung ohne Freigabe oder eine doppelte Buchung, werden vor dem Go-live getestet.
- Fehler zeigen sich im Test, bevor jemand sie in Ihren Systemen aufräumen muss.
- Die Kosten pro erfolgreicher Aufgabe zeigen, ob sich der Agent lohnt, einschließlich der Tool-Aufrufe, die er verschwendet.
- Ein neues Modell oder ein neuer Prompt verändert nicht unbemerkt, was der Agent in Ihren Systemen tut.
Erst das Ergebnis, dann der Weg
Ein Lauf, der mit dem richtigen Datensatz in Ihrem System endet, kann trotzdem einen riskanten Weg genommen haben, und ein sauber aussehender Lauf kann mit dem falschen Ergebnis enden. Wir prüfen zuerst das Ergebnis, wo immer möglich im Code: den Status des Tickets, den erstatteten Betrag, die E-Mail, die verschickt wurde oder nicht. Dann lesen wir den Trace, um zu finden, wo ein fehlgeschlagener Lauf falsch abgebogen ist.
Mehr Details
Prüfungen der Tool-Aufrufe vergleichen, was der Agent getan hat, mit einer Referenz: welche Tools er aufgerufen hat, mit welchen Argumenten und in wie vielen Schritten. Ein Agent, der das richtige Ergebnis mit 14 Aufrufen erreicht, wo 3 genügen würden, hat ein Kosten- und Latenzproblem, auch wenn jede Antwort stimmt.
Läufe, die sich wiederholen
Ein Agent kann bei derselben Eingabe einen anderen Weg nehmen, ein bestandener Lauf beweist also wenig. Wir führen jeden Fall mehrfach mit den Einstellungen aus, die Sie im Betrieb nutzen, und berichten den Anteil der Fälle, die in jedem Lauf gelingen, nicht nur in einem. Im Benchmark τ-bench löste gpt-4o in einem einzelnen Lauf etwa 61 % der Retail-Aufgaben, in allen acht Läufen gelangen weniger als 25 %.
Mehr Details
Bei Agenten, die über mehrere Runden mit Menschen sprechen, kann ein zweites Modell die Kundin oder den Kunden spielen, mit einem schriftlichen Ziel und Vorgaben. So finden sich Probleme mit Zustand und Gedächtnis, die einzelne Fragen übersehen.
Möchten Sie das an Ihrem eigenen Fall durchsprechen? Das erste Gespräch ist kostenlos und dauert 30 Minuten.
30-minütiges Gespräch buchenWas ein Agent nicht tun darf
Wir testen auch die Aktionen, die nicht passieren dürfen: handeln ohne eine nötige Freigabe, weitermachen, wo der Fall an einen Menschen gehen sollte, oder einen Schreibvorgang wiederholen, wenn ein Tool nicht antwortet. Genau diese Fälle deckt eine Demo selten ab.
Mehr Details
In einem beispielhaften Rechnungsfall erhält der Agent eine Rechnung, die von der Bestellung abweicht, ohne Freigabe zur Buchung. Erwartet wird eine Prüfanfrage mit der dokumentierten Abweichung, während der Buchhaltungsdatensatz unverändert bleibt. Eine Buchung, eine erfundene Freigabe oder zwei Prüfanfragen nach einem erneuten Versuch lassen den Fall scheitern.
Release-Gate und Prüfungen im Betrieb
Die Suite läuft in der CI, sobald sich Prompts, Modelle, Tools oder die Orchestrierung ändern, mit einem Schwellenwert pro Fehlertyp. Im Betrieb laufen Judges auf einer Stichprobe echter Läufe, und der Bericht hält Qualität, Kosten pro erfolgreicher Aufgabe und Latenz in einer Tabelle.
Was das erste Projekt umfasst
Ein Agent oder Ablauf, in bis zu zwei Sprachen, mit Zeit einer Fachperson von Ihrer Seite und Zugang zu früheren Läufen oder Fällen. Teams, die bereits Evals für Agenten betreiben, können mit einem Audit ihres Bestands beginnen.
Mehr Details
- Fehlertypen mit Häufigkeiten aus echten Läufen
- 50 bis 150 Fälle mit erwarteten Ergebnissen, versioniert in Ihrem Repository
- Ergebnisprüfungen, Prüfungen der Tool-Aufrufe und Judges mit einem Bericht, wie gut jeder mit Ihrer Fachperson übereinstimmt
- Ein Release-Gate in der CI und Stichproben im Betrieb
- Ein Ausgangsbericht mit Erfolg über wiederholte Läufe, Kosten pro erfolgreicher Aufgabe und Latenz
Fragen
Können wir einem KI-Agenten Aktionen in unseren Systemen anvertrauen?
Nur so weit, wie die Tests es zeigen. Schritte, die der Agent über wiederholte Läufe verlässlich erledigt, können selbstständig laufen. Alles andere geht zur Freigabe an einen Menschen. Das Testset enthält auch die Aktionen, die nie passieren dürfen, sodass Sie vor dem Go-live sehen, ob die Freigaberegeln halten.
Was, wenn der Agent etwas erfindet?
Dann sollte eine Prüfung das abfangen, bevor es in Ihren Systemen ankommt. Wir prüfen Ergebnisse, wo immer möglich, im Code, etwa einen Betrag gegen die Bestellung oder eine Kundennummer gegen Ihr CRM. Wo Code nicht entscheiden kann, setzen wir Judges ein, die wir mit den Bewertungen Ihrer Fachperson abgeglichen haben. Wie oft erfundene Angaben trotzdem durchkommen, weisen wir als Quote aus, mit einem Schwellenwert, den Sie festlegen.
Woran erkennen wir, ob sich der Agent lohnt?
Vergleichen Sie die Kosten pro erfolgreicher Aufgabe mit dem, was derselbe Fall Ihr Team heute kostet. Der Ausgangsbericht nennt den Erfolg über wiederholte Läufe, die Modell- und Tool-Kosten pro erfolgreicher Aufgabe und den Anteil der Fälle, die weiter an einen Menschen gehen. Wir messen das an Ihren eigenen Fällen und versprechen vorab keine Zahl.
Mit welchen Agenten-Frameworks funktioniert das?
Die Evals liegen außerhalb des Frameworks: Sie lesen die Traces des Agenten und den Zustand Ihrer Systeme. LangGraph, ein SDK eines Anbieters oder Ihre eigene Orchestrierung funktionieren gleichermaßen.
Was kostet das?
Ein Festpreis, vor dem Start schriftlich vereinbart. Er hängt von der Zahl der Sprachen ab, davon, ob es schon Traces gibt, wie viele Fehlertypen einen Judge brauchen und wie viel Arbeit in der CI anfällt. Wir nennen ihn nach einem ersten Gespräch von 30 Minuten.
Können wir Traces mit personenbezogenen Daten verwenden?
Ja, mit Regeln, die wir vorher vereinbaren: wie Namen und andere Kennungen pseudonymisiert werden, wo die Daten bleiben (in Ihrer Umgebung oder in Tools mit Hosting in der EU), wer sie liest und wie lange sie aufbewahrt werden. Wo wir personenbezogene Daten in Ihrem Auftrag verarbeiten, schließen wir einen Auftragsverarbeitungsvertrag (AVV).
Muss der Betriebsrat beteiligt werden?
Wenn Ihre eigenen Mitarbeitenden das System nutzen, können seine Traces zeigen, was einzelne Beschäftigte gefragt und getan haben, und damit kann der Betriebsrat nach § 87 BetrVG ins Spiel kommen. Wir evaluieren auf Ebene der Fälle und lassen weg, wer gefragt hat. Bei Systemen, die Ihre Kunden nutzen, stellt sich die Frage meist nicht. Das ist keine Rechtsberatung.
Was passiert im ersten Gespräch?
Dreißig Minuten mit einem unserer Engineers, kostenlos, über Ihr Produkt und die Fehler, die Ihnen Sorgen machen. Wir brauchen keinen Zugang zu Ihren Systemen. Danach schlagen wir Umfang und Preis vor.
Verwandte Leistungen
Qualitätssicherung für KI-Systeme
Vor dem Go-live zeigen Abnahmetests auf Ihren eigenen Fällen, wie oft Chatbot, Assistent oder Agent richtig liegen, in den Begriffen, die Ihr QA-Team kennt.
KI-Evals-Engineering
Evals aus Ihren eigenen Traces zeigen, ob eine Änderung Ihr KI-Produkt besser oder schlechter gemacht hat, mit einem Release-Gate, das in Ihrem Repository bleibt.
RAG-Evaluierung
Ein Assistent, der aus Ihren Dokumenten antwortet, getestet auf Retrieval und Antworten in jeder Sprache Ihrer Nutzer, damit Sie wissen, wie oft er richtig liegt und die richtige Quelle nennt.
Kostenlose KI-Nutzungsanalyse
Eine Seite für die Geschäftsführung: wohin Ihr KI-Budget fließt, ob es sich auszahlt und was sich ändern sollte, aus Exporten Ihrer Wahl. Kostenlos, ohne Systemzugriff.
On-Premise-KI
KI für Angebote, Verträge und Kundenakten, und die Daten bleiben im Unternehmen: eigene Server oder eigenes Cloud-Konto, vor dem Go-live geprüft.
Datenintegration für KI
Antworten aus Dateiablagen, SharePoint, ERP und Tickets in Sekunden, für Assistenten und Agenten, mit übernommenen Berechtigungen und Tests.
KI-Agenten und Prozessautomatisierung
Agenten, die die Routineschritte komplexer Fälle übernehmen und Entscheidungen an Menschen weitergeben, mit ausgewiesenen Kosten pro bearbeitetem Fall.
Aus dem Blog
Ergebnis- oder Trace-Bewertung
Warum ein Agentenlauf fehlerfrei enden und den Fall trotzdem falsch bearbeiten kann und wie Sie Geschäftsergebnisse getrennt von Traces prüfen.
Testsets für Agenten aus vergangenen Fällen
Wie Sie vergangene Geschäftsfälle für das Testset eines Prozessagenten auswählen und einen zurückgehaltenen Teil bewahren, an dem niemand optimiert.
LLM-Judge validieren
Wie Sie einen LLM-Judge an von Hand gelabelten Beispielen prüfen, seine True Positive Rate und True Negative Rate ausweisen und die gemeldete Erfolgsquote korrigieren.
Stichprobengröße für Evals
Wie Sie Eval-Ergebnisse mit Konfidenzintervallen versehen, zwei Prompts oder Modelle Fall für Fall vergleichen und ein Testset für den Unterschied bemessen, den Sie erkennen müssen.
Mit einem Engineer sprechen
Erfahren Sie, wie oft Ihr Agent die Aufgabe erledigt, bevor er echte Fälle bearbeitet. Bringen Sie zwei oder drei Läufe, die schiefgingen, zu einem kostenlosen 30-minütigen Gespräch mit. Zugang zu Ihren Systemen oder Daten brauchen wir dafür nicht.
Die Buchung läuft über Google Kalender.

Mickey Graf
Gründer und Geschäftsführer von Cloudsail
Lieber erst schreiben? Hinterlassen Sie Ihre E-Mail-Adresse und ein paar Zeilen. Mickey liest jede Nachricht selbst und antwortet per E-Mail mit Terminvorschlägen.
Sehen Sie in Ihrem E-Mail-Programm nach dem Entwurf
Senden Sie ihn von dort ab, und Mickey antwortet Ihnen persönlich mit Terminvorschlägen für ein 30-minütiges Gespräch. Hat sich kein Entwurf geöffnet, schreiben Sie uns an miki@cloudsail.com.