Was ein RAG-Dienstleister übergeben muss, damit Ihr Team das System pflegen kann

Warum eine RAG-Übergabe mehr als Code umfasst

Ein RAG-System verhält sich nach seinen Quellen, seiner Konfiguration und den Modellen, die es aufruft, ebenso wie nach seinem Code. Quellen ändern sich, Berechtigungen verschieben sich, und Anbieter stellen Modellversionen ein. Das Paper von 2015 über versteckte technische Schulden in Machine-Learning-Systemen nannte Datenabhängigkeiten, Konfiguration und Veränderungen der Außenwelt unter den Gründen, warum solche Systeme teuer im Unterhalt sind. Eine Übergabe, die ein Repository und ein Diagramm überträgt, lässt diese Risiken bei der Person, die gerade Bereitschaft hat.

Das Übergabeinventar

Quellen und Synchronisierung

• Konnektor-Code und Zeitpläne für jede Quelle, lauffähig in Ihren Konten
• Wie jede Quelle Änderungen, Löschungen, Verschiebungen und Berechtigungsänderungen verarbeitet, mit gemessener Verzögerung
• Die verantwortliche Person jeder Quelle und das Modell für Zugangsdaten, mit Secrets in Ihrem Vault statt im Repository

Retrieval-Konfiguration

• Chunking-Regeln, Embedding-Modell und Version, Analyzer, Anzahl abgerufener Chunks, Reranker und Prompts, alles unter Versionskontrolle
• Ein Skript, das den Index aus einem leeren Zustand neu aufbaut
• Plattformeinstellungen, bei denen der Zeitpunkt zählt, etwa eine Löschrichtlinie: Manche Plattformen erlauben, sie später zu ergänzen, aber vorher gelöschte Einträge können im Index bleiben, bis Sie ihn abgleichen oder neu aufbauen

Evaluierungsbestandteile

• Testfragen mit erwarteten Textstellen und Antworten, einschließlich abzulehnender Fragen und Berechtigungsfälle
• Die Testumgebung, die Retrieval und Antworten getrennt bewertet, und die Baseline-Ergebnisse mit genau der Konfiguration, die sie erzeugt hat

Betrieb

• Dashboards für Latenz, Kosten pro Anfrage, Sync-Status und fehlgeschlagene Elemente, im Besitz Ihres Teams
• Alarmregeln und wohin Alarme geleitet werden
• Eine Festlegung, wer Prompts, Retrieval-Einstellungen und Quellumfang ändern darf und wie solche Änderungen geprüft werden

Situationen, die das Runbook abdecken muss

1. 1

   Jemand meldet eine falsche Antwort

   Trace finden, prüfen, ob der Beleg indexiert, abgerufen und an das Modell übergeben wurde, und den Fall ins Testset aufnehmen.

2. 2

   Ein Dokument muss heute verschwinden

   An der Quelle entfernen, den Sync erzwingen oder direkt aus dem Index löschen und per Abfrage bestätigen, dass es nicht mehr antwortet.

3. 3

   Eine neue Quelle kommt hinzu

   Inventareintrag, verantwortliche Person, Berechtigungszuordnung, Konnektor, Testfragen für die neuen Inhalte, Evaluierungslauf.

4. 4

   Ein Modell wird eingestellt oder ersetzt

   Ein neues Embedding-Modell bedeutet einen Neuaufbau des Index; ein neues Antwortmodell bedeutet einen vollständigen Evaluierungslauf gegen die Baseline vor dem Umschalten.

5. 5

   Ein Sync-Job schlägt fehl

   Alarme, sicheres erneutes Ausführen und wie man erkennt, welche Inhalte nun veraltet sind.

Proben Sie vor der Abnahme

Eine Übergabe ist abgeschlossen, wenn Ihr Team die kritischen Aufgaben einmal erledigt hat, ohne dass der Dienstleister sie übernimmt. Führen Sie einen Probelauf in Staging durch, bei dem Ihre Engineers handeln und der Dienstleister nur Fragen beantwortet. Die folgende Checkliste ist ein Beispiel zum Anpassen; der vereinbarte Wertebereich sollte aus der Baseline stammen, denn modellbasierte Werte schwanken zwischen Läufen.

Handover rehearsal (run by the client team, supplier observes only)
[ ] Rebuild the index from scratch in staging from the repository and runbook
[ ] Run the evaluation set; scores fall within the agreed range of the baseline
[ ] Add one new test source end to end, including owner and permissions
[ ] Remove one document and show with a canary that it no longer answers
[ ] Diagnose a planted wrong answer from its trace and name the failing stage
[ ] Rotate one connector credential without a code change
[ ] Run a recovery drill: simulate a failed sync or a bad configuration
    change in staging, detect it from alerts and restore service
[ ] Find the cost per request and latency for yesterday on the dashboard
Each item: who ran it, date, result, link to evidence

Punkte, die scheitern, zeigen, wo das Wissen noch beim Dienstleister liegt. Das ist aufschlussreicher als jede Zahl an Übergabeterminen und gibt beiden Seiten einen klaren Endpunkt, der nicht vom Kalender abhängt.

Zuständigkeiten nach dem Go-live

Benennen Sie vor dem Start für jeden dieser Bereiche eine Person: Antwortqualität und Testset, Inhalte jeder Quelle, Sync- und Indexplattform, regelmäßige Prüfung der Berechtigungen und Bereitschaft, wenn sich der Assistent falsch verhält. Microsofts RAG-Leitfaden betont, dass Evaluierung keine einmalige Tätigkeit ist, weil sich Dokumente und Fragen ändern, und dass die Dokumentation früherer Evaluierungen für die weitere Arbeit wichtig ist. Jemand muss für diese Dokumentation zuständig sein.

Wenn Sie ein RAG-Projekt mit einem externen Team beginnen, nehmen Sie Übergabeinventar und Probelauf von Anfang an in den Umfang auf, und lassen Sie Repositories, Cloud-Konten und Dashboards vom ersten Tag an in Ihrer Organisation laufen. Vertragsformulierungen sind Sache Ihrer Einkaufs- und Rechtsberatung; die genannten technischen Lieferumfänge geben ihnen etwas Konkretes an die Hand.