Co dostawca RAG musi przekazać, żeby twój zespół mógł utrzymywać system

Dlaczego przekazanie RAG to coś więcej niż kod

System RAG zachowuje się zgodnie ze swoimi źródłami, konfiguracją i wywoływanymi modelami, nie tylko zgodnie z kodem. Źródła się zmieniają, uprawnienia się przesuwają, a dostawcy wycofują wersje modeli. Praca z 2015 roku o ukrytym długu technicznym w systemach uczenia maszynowego wymieniła zależności od danych, konfigurację i zmiany w świecie zewnętrznym wśród powodów, dla których utrzymanie takich systemów jest drogie. Przekazanie, które obejmuje repozytorium i diagram, zostawia te ryzyka osobie, która akurat ma dyżur.

Inwentarz przekazania

Źródła i synchronizacja

• Kod konektorów i harmonogramy dla każdego źródła, działające na twoich kontach
• Jak każde źródło obsługuje edycje, usunięcia, przeniesienia i zmiany uprawnień, ze zmierzonym opóźnieniem
• Właściciel każdego źródła i model poświadczeń, z sekretami w twoim sejfie, a nie w repozytorium

Konfiguracja wyszukiwania

• Reguły chunkingu, model embeddingów i jego wersja, analizatory, liczba pobieranych chunków, reranker i prompty, wszystko w kontroli wersji
• Skrypt, który odbudowuje indeks od zera
• Ustawienia platformy, przy których liczy się moment, na przykład polityka usuwania: niektóre platformy pozwalają dodać ją później, ale rekordy usunięte wcześniej mogą zostać w indeksie, dopóki go nie uzgodnisz ze źródłem albo nie odbudujesz

Zasoby ewaluacyjne

• Pytania testowe z oczekiwanymi fragmentami i odpowiedziami, w tym pytania do odrzucenia i przypadki uprawnień
• Narzędzie oceniające osobno wyszukiwanie i odpowiedzi oraz wyniki bazowe z dokładną konfiguracją, która je dała

Utrzymanie

• Dashboardy opóźnienia, kosztu na żądanie, stanu synchronizacji i nieudanych elementów, należące do twojego zespołu
• Reguły alertów i to, dokąd trafiają alerty
• Ustalenie, kto może zmieniać prompty, ustawienia wyszukiwania i zakres źródeł oraz jak takie zmiany są przeglądane

Sytuacje, które musi obejmować runbook

1. 1

   Użytkownik zgłasza błędną odpowiedź

   Znajdź ślad, sprawdź, czy dowód został zaindeksowany, pobrany i przekazany modelowi, i dodaj przypadek do zestawu testowego.

2. 2

   Dokument musi zniknąć dziś

   Usuń go u źródła, wymuś synchronizację albo usuń bezpośrednio z indeksu i potwierdź zapytaniem, że już nie odpowiada.

3. 3

   Dochodzi nowe źródło

   Wpis w inwentarzu, właściciel, mapowanie uprawnień, konektor, pytania testowe dla nowych treści, przebieg ewaluacji.

4. 4

   Model zostaje wycofany albo zastąpiony

   Nowy model embeddingów oznacza odbudowę indeksu; nowy model odpowiedzi oznacza pełny przebieg ewaluacji względem wyników bazowych przed przełączeniem.

5. 5

   Zadanie synchronizacji się nie powiodło

   Alerty, bezpieczne ponowne uruchomienie i sposób ustalenia, które treści są teraz nieaktualne.

Próba przed odbiorem

Przekazanie jest zakończone, gdy twój zespół raz wykonał kluczowe zadania bez udziału dostawcy. Przeprowadź próbę na środowisku staging, w której działają twoi inżynierowie, a dostawca tylko odpowiada na pytania. Poniższa lista to przykład do dostosowania; uzgodniony zakres wyników powinien wynikać z wyników bazowych, bo oceny oparte na modelach różnią się między przebiegami.

Handover rehearsal (run by the client team, supplier observes only)
[ ] Rebuild the index from scratch in staging from the repository and runbook
[ ] Run the evaluation set; scores fall within the agreed range of the baseline
[ ] Add one new test source end to end, including owner and permissions
[ ] Remove one document and show with a canary that it no longer answers
[ ] Diagnose a planted wrong answer from its trace and name the failing stage
[ ] Rotate one connector credential without a code change
[ ] Run a recovery drill: simulate a failed sync or a bad configuration
    change in staging, detect it from alerts and restore service
[ ] Find the cost per request and latency for yesterday on the dashboard
Each item: who ran it, date, result, link to evidence

Punkty, które się nie udały, pokazują, gdzie wiedza nadal jest po stronie dostawcy. To mówi więcej niż dowolna liczba spotkań przekazania i daje obu stronom jasny punkt końcowy, który nie zależy od kalendarza.

Właściciele po uruchomieniu

Przed uruchomieniem wskaż osobę dla każdego z tych obszarów: jakość odpowiedzi i zestaw testowy, treść każdego źródła, platforma synchronizacji i indeksu, okresowy przegląd uprawnień oraz dyżur, gdy asystent działa źle. Wytyczne Microsoftu dotyczące RAG podkreślają, że ewaluacja nie jest jednorazowa, bo zmieniają się dokumenty i pytania użytkowników, a dokumentacja wcześniejszych ewaluacji ma znaczenie dla dalszej pracy. Ktoś musi być za nią odpowiedzialny.

Jeśli zaczynasz projekt RAG z zewnętrznym zespołem, wpisz inwentarz przekazania i próbę do zakresu od początku, a repozytoria, konta chmurowe i dashboardy niech od pierwszego dnia działają w twojej organizacji. Sformułowania umowy to sprawa twoich działów zakupów i prawnego; powyższe rezultaty techniczne dają im coś konkretnego do zapisania.