Was ein KI-Pilot belegen muss, bevor Sie die nächste Phase finanzieren

Halten Sie fest, welche Entscheidung der Pilot vorbereitet

Viele Piloten werden mit einem Ziel wie „herausfinden, ob KI bei Lieferantenrechnungen hilft“ genehmigt. Zwölf Wochen später zeigt das Team eine Demo, eine Umfrage und eine Token-Rechnung, und der Lenkungskreis weiß immer noch nicht, ob er mehr Geld freigeben soll.

Benennen Sie, wer diese Entscheidung trifft, was als Nächstes finanziert würde und welche Belege die Meinung ändern würden. Formulieren Sie dann Kriterien, die von keinem Produkt abhängen. Anthropics Leitfaden zum Bau von Agenten aus dem Jahr 2024 empfiehlt die einfachste Lösung, die funktioniert, manchmal ganz ohne Agenten. Werkzeugneutrale Kriterien machen diesen Vergleich möglich, denn eine Regel-Engine, ein einzelner Modellaufruf und ein Agent laufen auf denselben Fällen und werden auf demselben Bogen bewertet.

Vier Dinge, die ein Prozess-Pilot zeigen muss

• Qualität auf Ihren eigenen Fällen. Das System bearbeitet einen zurückgehaltenen Satz echter, abgeschlossener Fälle auf vereinbartem Niveau, beurteilt von den Prozessverantwortlichen und nicht von einem öffentlichen Benchmark.
• Konsistenz. Es gelingt bei wiederholten Läufen, nicht nur einmal. Anthropics Leitfaden zu Evaluierungen unterscheidet pass@k, mindestens ein Erfolg in k Versuchen, von pass^k, Erfolg in allen k Versuchen. Läge jeder Lauf unabhängig mit 75 Prozent Wahrscheinlichkeit richtig, gelängen alle drei von drei Läufen nur in etwa 42 Prozent der Fälle. Echte Läufe hängen oft zusammen, deshalb sollten Sie wiederholte Läufe messen statt sie auszurechnen.
• Kosten pro bearbeitetem Fall. Die FinOps Foundation beschreibt den Schritt von Kosten pro Token hin zu ergebnisbezogenen Größen wie Kosten pro gelöstem Fall. Rechnen Sie Modell- und Plattformkosten, Prüfzeit und Nacharbeit ein und vergleichen Sie die Summe mit dem, was ein Fall heute kostet.
• Fehler, die Sie abfangen. Liegt das System falsch, wird der Fehler markiert, an eine Person geleitet oder durch eine Kontrolle gestoppt, bevor er einen Kunden oder die Buchhaltung erreicht. Halten Sie fest, welche Fehler tolerierbar sind und welche nicht.

Ein Abnahmebogen für einen hypothetischen Rechnungspiloten

Kriterien sind brauchbar, wenn zwei Personen dasselbe Ergebnis gleich bewerten würden. Anthropics Dokumentation verlangt Kriterien, die spezifisch, messbar, erreichbar und relevant sind, meist über mehrere Dimensionen. Der folgende Bogen ist ein hypothetisches Beispiel für den Abgleich von Lieferantenrechnungen mit Bestellungen. Jede Zahl ist eine veranschaulichende Annahme der Prozessverantwortlichen, kein Benchmark.

1. 1

   Testsatz

   400 Rechnungen aus den letzten zwei Quartalen mit bekanntem Ergebnis, verteilt über Lieferantentypen, einschließlich Gutschriften, Teillieferungen und gescannter Dokumente. Keine davon wird während der Prompt-Entwicklung verwendet.

2. 2

   Qualität

   Mindestens 95 Prozent der eindeutigen Übereinstimmungen werden korrekt bestätigt, und jede Abweichung über 500 Euro wird markiert. Eine übersehene Abweichung oberhalb dieses Betrags ist ein kritischer Fehler, und die zulässige Zahl kritischer Fehler ist null. Null kritische Fehler in 400 Testfällen bedeuten kein Nullrisiko in der Produktion, gerade bei seltenen Falltypen. Abweichungen mit hohem Betrag gehen deshalb weiter an eine Person.

3. 3

   Konsistenz

   Jeder Testfall läuft dreimal, und ein Fall gilt nur als bestanden, wenn alle drei Läufe mit dem bekannten Ergebnis übereinstimmen.

4. 4

   Kosten

   Die Kosten pro bearbeiteter Rechnung, einschließlich Modellaufrufen, Plattformkosten und Prüfzeit der Sachbearbeitung, bleiben unter dem im heutigen Prozess gemessenen Ausgangswert.

5. 5

   Kontrolle und Verantwortung

   Das System gibt keine Zahlung frei. Jede markierte Rechnung landet mit Begründung in einer benannten Queue, und eine Person aus der Finanzabteilung hat zugesagt, diese Queue zu übernehmen, falls der Pilot weitergeht.

Der Bogen zeigt auch, was der Pilot nicht testet, etwa die Einführung in mehreren Ländern. Das gehört in die nächste Phase, und wenn es aufgeschrieben ist, wird der Pilot nicht daran gemessen.

Messen Sie den heutigen Prozess vor dem ersten Prompt

Kosten- und Fehlerkriterien brauchen einen Ausgangswert: wie lange ein Fall heute dauert, wie oft er schiefgeht und was eine Korrektur kostet. Googles Rules of Machine Learning stellen Metriken vor das erste Modell, auch weil nie erfasste Historie nicht nachzuholen ist. Eine Woche gemessene Handarbeit kostet weniger als ein späterer Streit über Schätzungen.

Nutzen Sie den Ausgangswert zum Vergleich, nicht als Ziel. Das Google-SRE-Buch rät davon ab, Zielwerte allein aus der aktuellen Leistung abzuleiten, weil damit festgeschrieben wird, was das System heute leistet. Das Ziel sollte sich aus dem Bedarf des Geschäfts ergeben, etwa aus der Fehlerquote, die die Finanzabteilung akzeptiert.

Wo Pilotergebnisse in die Irre führen

• Optimierung auf dem Testsatz. Wenn die Personen, die Prompts schreiben, die Evaluierungsfälle sehen, misst das Ergebnis, wie gut diese Fälle eingeübt wurden. Nutzen Sie den zurückgehaltenen Satz nur zur Bewertung.
• Ein Durchschnitt über gemischte Fälle. Eine gute Gesamtquote kann einen Falltyp verdecken, der jedes Mal scheitert. Berichten Sie Ergebnisse deshalb je Falltyp.
• Ergebnisse, die niemand gelesen hat. Anthropic empfiehlt, die Protokolle vieler Durchläufe zu lesen, weil ein Bewerter eine gültige Antwort ablehnen oder eine falsche akzeptieren kann. Lassen Sie die Prozessverantwortlichen eine Stichprobe lesen, bevor der Lenkungskreis eine Zahl sieht.

Vereinbaren Sie, was jedes Ergebnis finanziert

Legen Sie vorab fest, wozu jedes Ergebnis führt. Sind alle Kriterien erfüllt, finanziert die nächste Phase die Arbeit, die aus einem Piloten einen Dienst macht: Monitoring, eine verantwortliche Person und einen Supportweg. Stimmt die Qualität, aber nicht die Kosten, prüft die nächste Phase einen günstigeren Entwurf, etwa ein kleineres Modell oder einen engeren Umfang. Verfehlt die Qualität die Fälle, auf die es ankommt, stoppen Sie oder ändern Sie den Ansatz und behalten Sie den Testsatz für alles, was danach kommt.

Abnahmekriterien für jede SoftwareänderungWann ein KI-Projekt stoppen oder die Richtung ändern sollteVom Piloten in die Produktion