Wer nach dem Piloten für ein KI-System verantwortlich ist

Was mit dem Ende des Piloten seine Zuständigkeit verliert

Während eines Piloten hat ein kleines Team alles im Kopf: warum ein Prompt so lautet, welche Fälle ausgeschlossen wurden und welche Modellversion getestet wurde. Googles Rules of Machine Learning sagen dasselbe über Datenmerkmale: Wissen Sie, wer jedes pflegt, und sorgen Sie dafür, dass jemand anderes Bescheid weiß, wenn diese Person geht. KI-Systeme haben zusätzlich Teile, die sich von außen ändern. Anthropic etwa nimmt ältere Modelle nach einem veröffentlichten Zeitplan außer Betrieb und sagt für öffentlich freigegebene Modelle mindestens 60 Tage Vorlauf zu. Jemand muss diese Ankündigung lesen, den Nachfolger an Ihren Fällen testen und die Änderung vor dem Stichtag ausliefern.

Eine Verantwortungskarte für einen KI-Prozess

Die folgenden Rollen sind ein Beispiel für einen hypothetischen Agenten zur Rechnungsprüfung. Die Namen werden in Ihrer Organisation andere sein, aber jede Zeile braucht einen.

• Das System als Ganzes: die Leitung der Kreditorenbuchhaltung, verantwortlich für Ergebnisse, Kosten pro Fall und Umfang. Das AWS Generative AI Lens empfiehlt eine einzelne verantwortliche Person für die laufende Leistungsbewertung.
• Prompts, Werkzeuge und Orchestrierungscode: das Engineering-Team, das den Dienst betreibt.
• Modellwahl und Versionen: dasselbe Team, wobei jedes Modell mit den Abkündigungsterminen seines Anbieters in einem Modellkatalog erfasst ist.
• Datenquellen: die verantwortliche Person jedes Quellsystems, die die Nutzung freigibt und über Schemaänderungen informiert wird.
• Testsatz: Prozessverantwortliche und Engineering-Team gemeinsam, wobei eine Fachperson neue Fehler ergänzt, sobald sie auftreten.
• Prüf-Queue und Korrekturen: eine Teamleitung in der Kreditorenbuchhaltung.
• Befugnis zum Abschalten: benannte Personen auf beiden Seiten. Das NIST-Framework verlangt, dass Zuständigkeiten zum Ersetzen, Abkoppeln oder Deaktivieren eines KI-Systems zugewiesen und verstanden sind.

Wer welche Änderung freigibt

• Formulierungen im Prompt innerhalb des bestehenden Umfangs: das Engineering-Team, sofern die Regressionssuite besteht.
• Eine neue Modellversion oder ein neuer Anbieter: Das Engineering schlägt vor, und die Prozessverantwortlichen geben nach Sicht der Regressionsergebnisse und der Kosten pro Fall frei.
• Schwellenwerte, die bestimmen, wie viele Fälle bei einer Person landen: die Prozessverantwortlichen, weil sie Prüfstunden und Risiko zugleich verändern.
• Neue Falltypen oder neue schreibende Aktionen: die Prozessverantwortlichen gemeinsam mit der Sicherheit und den betroffenen Datenverantwortlichen, bei personenbezogenen Daten auch mit Ihrem Datenschutzbeauftragten.
• Außerbetriebnahme des Systems: die Prozessverantwortlichen, mit einem Stilllegungsplan. NIST zählt Verfahren zur sicheren Außerbetriebnahme von KI-Systemen zur Governance.

Eine schriftliche Regel für sinkende Qualität

Googles Beispiel einer Error-Budget-Policy legt vorab fest, was passiert, wenn ein Dienst sein Ziel verfehlt: Änderungen außer dringenden Korrekturen ruhen, bis er sich erholt hat, ein Vorfall, der mehr als ein Fünftel des Budgets verbraucht, bekommt ein Postmortem, und Streitfälle gehen an den CTO. Ein KI-System profitiert von derselben Art Vereinbarung. Eine hypothetische Fassung könnte so lauten, wobei kritische Ereignisse getrennt von schleichender Verschlechterung behandelt werden.

1. 1

   Kritische Ereignisse

   Eine nicht autorisierte Aktion, offengelegte Daten oder ein Fehler, den die Regel als kritisch einstuft, brauchen keine Wartezeit. Die betroffene Aktion oder das ganze System wird sofort abgeschaltet, die Fälle gehen in die vollständige menschliche Prüfung, und der Incident-Prozess beginnt.

2. 2

   Auslöser

   Bei nicht kritischer Verschlechterung: Die Fehlerquote der Stichprobe liegt für einen Falltyp zwei Wochen in Folge über dem vereinbarten Niveau.

3. 3

   Sofortmaßnahme

   Dieser Falltyp geht zurück in die vollständige menschliche Prüfung, und Änderungen außer Korrekturen ruhen.

4. 4

   Entscheidung

   Die Prozessverantwortlichen wählen auf Basis der Fehleranalyse zwischen einer Korrektur, einem engeren Umfang und dem Abschalten des Falltyps.

5. 5

   Eskalation

   Sind sich Engineering und Prozessverantwortliche uneinig, entscheidet eine benannte Führungskraft innerhalb einer vereinbarten Frist.

Wo die Entscheidungen festgehalten werden

Das AWS Lens beschreibt ein KI-Richtliniendokument als zentrale Instanz für betriebliche Fragen zu KI-Workloads und verlangt, es aktuell zu halten. Für ein einzelnes System genügt eine Seite im Repository neben dem Code: Verantwortliche, Freigaberegeln, Qualitätsregel, wer abschalten darf und wie das System außer Betrieb ginge. Das NIST-Framework verlangt, dass Rollen und Kommunikationswege dokumentiert und klar sind. Überarbeiten Sie die Seite, sobald eine verantwortliche Person wechselt, und prüfen Sie sie, wenn Sie einen neuen Anbieter aufnehmen.

Warnzeichen, dass die Seite nicht genutzt wird: ein Modell auf der Abkündigungsliste eines Anbieters, das noch Anfragen bedient, ein unveränderter Testsatz, obwohl sich der Prozess geändert hat, ein Prüfrückstau, den niemand eskaliert, und niemand, der sagen kann, wer das System abschalten darf. Wenn wir ein System übergeben, gehen Code, Testsatz, Runbooks und Monitoring zusammen mit dieser Seite über.

Vom Piloten in die ProduktionDen Ausstieg bei einem KI-Anbieter planen