Wann ein KI-Projekt einen einfacheren Weg nehmen oder stoppen sollte

Warum KI-Projekte selten von selbst enden

Jede Iteration eines KI-Projekts bringt eine kleine Verbesserung und eine plausible nächste Idee: einen besseren Prompt, ein weiteres Werkzeug, ein neueres Modell. Demos zeigen meist die Fälle, die funktionieren. Ohne Termine und Schwellenwerte ist niemand dafür zuständig, festzustellen, dass das Projekt an seine Grenze gekommen ist. Das NIST AI Risk Management Framework behandelt das als ausdrückliche Entscheidung: ob das System seinen vorgesehenen Zweck erfüllt und ob Entwicklung oder Einsatz fortgesetzt werden sollen. Jemand muss diese Feststellung nach Plan treffen.

Signale, die eine Entscheidung verlangen

• Die Qualität stagniert über mehrere Iterationen unter dem nötigen Niveau, besonders bei den wichtigsten Falltypen. Lesen Sie vor diesem Schluss die Fehlerprotokolle. Anthropics Leitfaden zu Evaluierungen weist darauf hin, dass ein Bewerter gültige Antworten ablehnen kann, ein Plateau also auch ein Messproblem sein kann.
• Einzelne Läufe bestehen, aber wiederholte Läufe widersprechen sich, sodass man sich im Einzelfall nicht auf Ergebnisse verlassen kann.
• Die Kosten pro bearbeitetem Fall liegen bei gemessenen Prüf- und Eskalationsquoten über dem heutigen Prozess, und es bleibt kein glaubwürdiger Hebel. Die FinOps Foundation beschreibt Stückkosten als Mittel, um zu erkennen, wo Kosten dem gelieferten Nutzen davonlaufen.
• Der Prüfaufwand sinkt nicht, weil die Prüfenden die Arbeit weiterhin neu machen, statt sie zu kontrollieren.
• Die Komplexität wächst schneller als die Ergebnisse: Jede Korrektur fügt einen Schritt, einen Agenten oder einen Sonderfall hinzu. Anthropics Artikel über Agenten aus dem Jahr 2024 rät, Komplexität nur dann hinzuzufügen, wenn sie die Ergebnisse nachweislich verbessert.

Optionen zwischen Weitermachen und Stoppen

1. 1

   Eingrenzen

   Behalten Sie die Falltypen, die die Messlatte erreichen, und leiten Sie den Rest an Menschen.

2. 2

   Vereinfachen

   Ersetzen Sie einen Agenten durch einen festen Workflow oder einen einzelnen Modellaufruf, oder nutzen Sie Regeln und ein Modell nur für Ausnahmen. NIST verlangt, auch tragfähige Alternativen ohne KI zu prüfen.

3. 3

   Ansatz wechseln

   Probieren Sie ein anderes Modell, ein anderes Retrieval-Design oder Fine-Tuning nur dann, wenn die Fehleranalyse auf eine Ursache zeigt, die diese Änderung behebt.

4. 4

   Pausieren

   Warten Sie auf etwas Bestimmtes, etwa erfasste Ergebnisse, eine API oder eine Freigabe, mit einem Termin für die erneute Prüfung.

5. 5

   Stoppen

   Schalten Sie das System ab und nehmen Sie es außer Betrieb, mit den Zuständigkeiten, die NIST für die Deaktivierung von Systemen beschreibt, deren Ergebnisse nicht zum vorgesehenen Einsatz passen.

Ein hypothetisches Review nach vier Monaten

Angenommen, ein Projekt leitet eingehende Support-Tickets weiter und entwirft Antworten. Die vereinbarte Messlatte lag bei 90 Prozent korrekter Weiterleitung. Nach vier Monaten erreicht die Weiterleitung 93 Prozent bei Routine-Tickets, liegt aber bei Abrechnungsstreitigkeiten seit drei Iterationen bei etwa 60 Prozent, und die Protokolle zeigen, dass für diese Fälle eine Kontohistorie nötig ist, die das System nicht sieht. Die Mitarbeitenden schreiben die meisten Antwortentwürfe um, sodass die Prüfung etwa so lange dauert wie das Schreiben. Die gemessenen Kosten pro bearbeitetem Ticket liegen leicht über dem heutigen Prozess.

Die Auftraggeberin grenzt in derselben Sitzung ein und stoppt. Die Weiterleitung läuft für Routine-Tickets weiter. Abrechnungsstreitigkeiten gehen an Menschen, bis die Kontohistorie über eine genehmigte API verfügbar ist, was zu einer Pause mit Termin wird. Die Entwürfe werden eingestellt. Sechs Wochen später werden die Kosten pro Fall im engeren Umfang erneut gemessen, und diese Zahl entscheidet das nächste Review.

Die Entscheidung ohne den Druck versunkener Kosten treffen

Legen Sie Prüftermine und Schwellenwerte zu Projektbeginn fest, damit es im Gespräch um Belege geht und nicht um investierte Mühe. Fragen Sie bei jedem Review, ob Sie die nächste Phase heute mit dem jetzigen Wissen finanzieren würden, und lassen Sie bereits ausgegebenes Geld aus der Antwort heraus. Beziehen Sie jemanden ein, der nicht zum Projektteam gehört. Ein dokumentierter Stopp ist ein Ergebnis: Testsatz, Fehleranalyse und Kostenmodell fließen in den nächsten Versuch ein.

Was Sie stoppen, sauber außer Betrieb nehmen

Das NIST-Framework verlangt Verfahren, um KI-Systeme sicher außer Betrieb zu nehmen. Praktisch heißt das: Dienstkonten und API-Schlüssel widerrufen, Daten gemäß vereinbarter Aufbewahrung löschen oder archivieren, Nutzern sagen, was das System ersetzt, und Testsatz sowie Entscheidungsprotokoll dort ablegen, wo das nächste Team sie findet. Wenn wir Prozessagenten bauen und ein einfacher Workflow die Aufgabe erfüllt, bauen wir stattdessen diesen.

Was ein KI-Pilot belegen mussDie Vollkosten eines KI-Workflows