Jak sprawdzić, czy cytowania asystenta potwierdzają to, co mówi

Czego dowodzi poprawne cytowanie

Funkcje cytowania stały się bardziej niezawodne na poziomie technicznym. Na przykład Citations API Anthropic zwraca dokładnie cytowany tekst z pozycją znaków, stron albo bloków, a dokumentacja zapewnia, że cytowania zawsze zawierają poprawne wskaźniki do przekazanych dokumentów. To eliminuje jeden błąd: cytat, który nie istnieje.

Nie mówi to jednak, czy cytowane zdanie potwierdza twierdzenie obok niego. Prawdziwy fragment może być przypięty do zdania, które go przesadnie rozszerza, gubi warunek albo pochodzi zupełnie skądinąd. Badania nad generowanymi cytowaniami mierzą właśnie tę lukę. W benchmarku ALCE z 2023 roku autorzy podali, że nawet najlepsze ówczesne modele w mniej więcej połowie przypadków na jednym ze zbiorów z długimi odpowiedziami nie miały pełnego pokrycia cytowaniami. Modele od tego czasu się zmieniły, problem pomiaru pozostał.

Sprawdzanie twierdzeń jedno po drugim

Metoda nawiązuje do miar ugruntowania odpowiedzi. Ragas na przykład liczy faithfulness tak: wyodrębnia twierdzenia z odpowiedzi, sprawdza, czy każde da się wywnioskować z pobranego kontekstu, i dzieli liczbę potwierdzonych twierdzeń przez wszystkie. Przy cytowaniach zawężasz materiał dowodowy: każde twierdzenie oceniasz tylko względem fragmentów, które cytuje, a nie wszystkiego, co zostało pobrane.

1. 1

   Podziel odpowiedź

   Rozbij ją na twierdzenia, z których każde może być prawdziwe albo fałszywe. Liczbę zostaw razem z warunkami, które ją zawężają, takimi jak typ klienta, daty czy wyłączenia, a rozdzielaj tylko twierdzenia naprawdę niezależne.

2. 2

   Połącz twierdzenia z cytowaniami

   Użyj dokładnie cytowanego tekstu, a nie całego dokumentu. Gdy twierdzenie cytuje kilka fragmentów, oceniaj je względem nich wszystkich łącznie, bo uprawnione twierdzenie może łączyć dwa źródła. Twierdzenie bez cytowania zapisz jako niecytowane.

3. 3

   Wydaj werdykt

   Potwierdzone, częściowo potwierdzone, niepotwierdzone, sprzeczne albo potwierdzone przez inny pobrany fragment niż cytowany.

4. 4

   Zachowaj werdykty

   Zapisuj je dla każdego pytania, żeby późniejszą zmianę dało się porównać twierdzenie po twierdzeniu.

Hipotetyczna odpowiedź po weryfikacji

Poniższy przykład jest zmyślony. Asystent odpowiada na pytanie o zwroty trzema zdaniami i dwoma cytowaniami; trzeci istotny fragment został pobrany, ale nie zacytowany.

Question: Can business customers return opened hardware?   (hypothetical)

Answer sentence                                      Cited   Verdict
1 Customers can return hardware within 30 days.      [1]     partial: [1] gives 30 days for
                                                             consumers, 14 days for business
2 Refunds go to the original payment method.         [2]     supported
3 Opened software licences cannot be returned.       [1]     wrong citation: stated in [3],
                                                             which the answer did not cite

Claims fully supported by their own citations: 1 of 3
Release decision: fail (claim 1 drops the condition that answers the question)

Każdy link w tej odpowiedzi otwiera prawdziwy dokument, a ktoś, kto ją przegląda, nie zauważy problemu. Poważnym błędem jest pierwsze twierdzenie: cytowana polityka podaje inny termin dla klientów biznesowych, a o to właśnie pytał użytkownik.

Kto ocenia

Zacznij od ludzi. Niech dwóch ekspertów dziedzinowych oceni twierdzenia w zestawie kalibracyjnym z kilkudziesięciu odpowiedzi, a potem rozstrzygnijcie rozbieżności; zwykle pokazują one, gdzie twoje własne reguły są nieprecyzyjne. Następnie model językowy może oceniać na dużą skalę według tych samych zasad, a ty mierzysz, jak często zgadza się z ocenami ludzi, zanim zaczniesz ufać jego wynikom.

Oddzielaj ugruntowanie od poprawności. Przewodnik Microsoftu po ewaluacji RAG podaje przykład odpowiedzi opartej na kontekście, a mimo to fałszywej, bo model połączył dwa osobne fakty w jeden nieprawdziwy. Weryfikacja cytowań wyłapie twierdzenia bez pokrycia. Nie wyłapie dokumentu źródłowego, który sam jest nieaktualny.

Kryteria odbioru i ich ograniczenia

Spisz kryteria, zanim zobaczysz wyniki, i uzależnij je od ryzyka. Dla hipotetycznego asystenta do polityk kadrowych zespół mógłby uzgodnić na przykład:

• Brak sprzecznych twierdzeń w odpowiedziach o wynagrodzeniu, urlopach i rozwiązaniu umowy
• Każda liczba i data możliwa do odnalezienia w cytowanym fragmencie
• Uzgodniony minimalny odsetek w pełni potwierdzonych twierdzeń, ustalony na podstawie zestawu kalibracyjnego
• Twierdzenia bez cytowania dozwolone tylko przy ogólnych sformułowaniach, nigdy przy regułach i liczbach

To podejście ma swoje koszty. Ocena twierdzeń modelem dodaje koszt inferencji i opóźnienie, niezależnie od tego, jak zorganizujesz wywołania, a oceniający model popełnia własne błędy. Liczą się też ograniczenia produktów: Anthropic dokumentuje, że funkcji cytowań nie można łączyć ze structured outputs w jednym żądaniu. Gdy kryteria nie są spełnione, zacznij od wyszukiwania; twierdzenia nie potwierdzi fragment, który nigdy nie trafił do modelu.