Systemy RAG, które odpowiadają na podstawie twojej dokumentacji

Załóżmy, że inżynier wsparcia pyta, które wersje firmware urządzenia wymagają ręcznego resetu po aktualizacji. Odpowiedź jest w dwóch zatwierdzonych runbookach i jednej notce do wydania. System musi znaleźć tę notkę po dokładnym numerze wersji, wybrać właściwą sekcję runbooka i odpowiedzieć z odnośnikiem do każdego dokumentu. Jeśli notkę wycofano w zeszłym tygodniu, nie może zostać użyta.

Zaczynamy od przeglądu źródeł i tego, kto ma do nich dostęp. Każdy fragment zachowuje odniesienie do oryginalnego dokumentu, właściciela i wersji, więc odpowiedź da się prześledzić do źródła. Po tym przeglądzie podłączamy systemy, w których dokumenty już są.

Uprawnienia sprawdzamy, zanim jakikolwiek tekst trafi do modelu. Ktoś, kto nie może otworzyć dokumentu w systemie źródłowym, nie powinien dostać odpowiedzi zbudowanej na jego podstawie.

• Dostęp zgodny z uprawnieniami w systemie źródłowym
• Zmiany i usunięcia synchronizowane, żeby usunięte treści znikały też z indeksu

Do wyszukiwania dokumenty dzieli się na fragmenty, a fragment wyjęty z dokumentu może stracić kontekst, który nadawał mu sens. Dlatego zapisujemy ten kontekst przy każdym fragmencie. Wyszukiwanie po znaczeniu dobrze radzi sobie ze zwykłym językiem, ale potrafi pominąć dokładne ciągi znaków, takie jak kody błędów czy numery części. Tam, gdzie mają znaczenie, dokładamy wyszukiwanie leksykalne.

Każda odpowiedź wskazuje fragmenty, na których się opiera. Gdy system nie znajdzie nic trafnego albo źródła są sprzeczne, mówi o tym i może przekazać pytanie człowiekowi.

Przed uruchomieniem przygotowujemy z twoim zespołem zestaw testowy. Wyszukiwanie i odpowiedzi oceniamy osobno, bo lepszy prompt nic nie da, jeśli właściwy fragment nie trafił do modelu. Śledzimy też czas odpowiedzi i koszt pytania.

Po uruchomieniu twój zespół dostaje testy, zadania synchronizacji i runbook opisujący dodawanie źródeł, zmianę uprawnień i analizę błędnej odpowiedzi.

• Pytania, na które dokumenty odpowiadają, wraz z oczekiwanymi źródłami
• Pytania, na które nie odpowiadają i przy których system powinien odmówić
• Pytania, na które nowszy dokument daje inną odpowiedź
• Pytania od osób bez dostępu do źródła

Czasem wystarczy mniej. Krótkie dokumenty, które rzadko się zmieniają, można przekazać modelowi bezpośrednio. Jeśli obecna wyszukiwarka już znajduje właściwy dokument, być może wystarczy ją poprawić, a gotowa usługa bazy wiedzy obsłuży typowe źródła z prostymi uprawnieniami. Jeśli któraś z tych opcji pasuje, powiemy ci o tym na pierwszej rozmowie.

Fine-tuning zmienia sposób działania modelu, na przykład format odpowiedzi albo to, jak klasyfikuje zgłoszenie. Fakty, które zmieniają się co tydzień, powinny trafiać do modelu przez wyszukiwanie, bo inaczej każda zmiana wymagałaby nowego treningu.