Ausnahmen eines Agenten auswerten, ohne endlose Warteschlange

Was als Ausnahme gilt

Routinemäßige Eskalationen gehören zum normalen Betrieb und werden in der operativen Warteschlange bearbeitet. Die Auswertung ist für Ereignisse gedacht, die darauf hindeuten, dass der Agent, seine Tools oder seine Regeln falsch liegen:

• Fehlgeschlagene automatische Ergebnisprüfungen
• Fälle, die eine Person korrigiert hat, nachdem der Agent sie abgeschlossen hatte
• Spätere Rückabwicklungen, etwa eine stornierte Buchung oder eine Erstattung
• Beschwerden, die einen vom Agenten bearbeiteten Fall betreffen
• Eskalationen ohne zugeordneten Grund sowie Häufungen von Tool-Fehlern

Ein festes Budget statt vollständiger Lektüre

Teilen Sie Ausnahmen nach Schwere ein. Alles, wobei Geld falsch bewegt wurde, Daten das Unternehmen verlassen haben oder eine verbindliche Regel verletzt wurde, wird jedes Mal ausgewertet. Alles andere wird nach einer Signatur gebündelt, etwa Fallart plus fehlerhaftes Tool plus Fehlertyp, und aus jeder Gruppe werden innerhalb eines festen wöchentlichen Budgets einige Fälle gezogen. Der Leitfaden von Arize zur Agentenbewertung schlägt eine ähnliche Aufteilung vor: klar definierte Fehler automatisch sammeln und mehrdeutige oder risikoreiche zuerst einer Person vorlegen.

Ein hypothetisches Budget: zwei Stunden pro Woche, in denen eine Fachperson aus dem Prozess und ein Engineer gemeinsam arbeiten, genug für etwa fünfzehn bis zwanzig gebündelte Auswertungen, wenn jede sechs bis acht Minuten dauert. Da die Gruppen gleichmäßig und nicht nach Volumen gezogen werden, ist der Fehleranteil in der Stichprobe nicht die Fehlerquote in Produktion. Gewichten Sie jede Gruppe nach ihrem tatsächlichen Volumen oder weisen Sie die Gruppen getrennt aus.

Ein Triage-Eintrag, der zu etwas führt

Halten Sie den Eintrag so kurz, dass er während der Auswertung ausgefüllt werden kann. Fünf Felder reichen meist aus:

• Was geschehen ist im Vergleich zu dem, was hätte geschehen sollen, ausgedrückt in Datensatzwerten
• Wo es schiefging: Eingabedaten, ein Tool, die Überlegungen des Modells, eine Lücke in den Regeln oder im Testset
• Schwere, auf derselben Skala wie bei der Stichprobe
• Eine namentlich verantwortliche Person
• Eine Maßnahme mit prüfbarem Endzustand, etwa ein Regressionsfall, der besteht

Das lehnt sich an die SRE-Leitlinien von Google zu Postmortems an, die für jede Maßnahme genau eine verantwortliche Person, eine Priorität und einen Tracking-Eintrag verlangen, überprüfbare Endzustände und einen Ton ohne Schuldzuweisung. Dort wird auch eine Führungskraft zitiert: Ein Postmortem ohne nachfolgende Maßnahmen unterscheidet sich nicht davon, gar keines geschrieben zu haben.

Von der Ausnahme zum Regressionsfall

1. 1

   Reduzieren

   Behalten Sie nur die Daten, die den Fehler reproduzieren, und entfernen Sie personenbezogene Daten, die ihn nicht beeinflussen. Arize rät dasselbe: Fehler bestätigen und Dubletten entfernen, statt jeden einzelnen zu kopieren.

2. 2

   Das erwartete Ergebnis bestätigen

   Die prozessverantwortliche Person legt fest, was das richtige Ergebnis ist. Kann sie das nicht, ist die Maßnahme, die Regel zu klären, nicht einen Test zu schreiben.

3. 3

   Vor und nach der Korrektur messen

   Eine deterministische Prüfung, etwa ein Test für ein Tool oder einen Validator, sollte vor der Korrektur scheitern und danach bestehen. Ein End-to-End-Fall eines Agenten scheitert womöglich nur in manchen Läufen; führen Sie ihn daher mehrmals mit dem aktuellen Release aus, halten Sie die Fehlerquote fest und vergleichen Sie nach der Korrektur die Quote für das maßgebliche Ergebnis, statt ein garantiertes Bestehen zu erwarten.

4. 4

   Behalten und später ausmustern

   Der Fall kommt in die Regressionssuite, die laut dem Leitfaden von Anthropic zu Agenten-Evals nahezu zu 100 Prozent bestehen sollte. Mustern Sie ihn aus, wenn sich der beschriebene Prozess ändert.

Da die Korrektur mit Blick auf diesen Fall geschrieben wurde, gehört er ins Entwicklungs- und Regressionsset, nicht in ein zurückgehaltenes Set. Um zu prüfen, ob die Korrektur verallgemeinert, ergänzen Sie einige neue Fälle derselben Art im zurückgehaltenen Set.

Die Warteschlange endlich halten

Einträge geringer Schwere, die nicht innerhalb einer festgelegten Zahl von Wochen in die Stichprobe kommen, werden als nicht ausgewertet geschlossen und gezählt, nie stillschweigend verworfen. Bei Gruppen mit hohem Volumen ersetzen Trends die Einzellektüre: Wächst eine Signatur weiter, bekommt sie einen Auswertungsplatz. Die SRE-Leitlinien zu Postmortems empfehlen, Einträge in einem durchsuchbaren Repository mit Metadaten abzulegen und wiederkehrende Vorfälle als Zeichen schleppender Umsetzung zu werten. Das gilt auch hier: Eine Signatur, die immer wiederkehrt, bedeutet, dass ihre Maßnahme nicht wirkt.

Weitere Warnzeichen sind Maßnahmen, die wochenlang offen bleiben, eine Regressionssuite, die nur wächst, weil nie ein Fall ausgemustert wird, und Auswertungen, die Engineers ohne jemanden aus dem Prozess durchführen. Ein guter erster Schritt: Ziehen Sie die korrigierten und rückabgewickelten Fälle des letzten Monats, bündeln Sie sie nach Signatur und sehen Sie, wie viele eigenständige Gruppen es wirklich gibt.