Jak zdecydować, czy zadanie wymaga wyszukiwania, fine-tuningu, czy obu

Problem z wiedzą czy z zachowaniem?

Szybki test: czy poprawna odpowiedź zmieniłaby się, gdyby jutro zmienił się jakiś dokument? Jeśli tak, zadanie zależy od wiedzy, a tę wiedzę należy sprawdzać w chwili pytania. Jeśli poprawny wynik to wzorzec stosowany do nowych danych, na przykład kategoria, układ pól albo ton, zadanie zależy od zachowania.

Zadania mieszane są częste. Odpowiedź supportu potrzebuje aktualnych faktów o produkcie i spójnego stylu firmy. Taki podział wymagań pokazuje, którą część powinna obsłużyć każda z technik.

Dlaczego zmienne fakty należą do wyszukiwania

Oryginalna praca o RAG z 2020 roku wskazała dwie słabości wiedzy przechowywanej wyłącznie w wagach modelu: trudno pokazać, skąd pochodzi odpowiedź, i trudno ją zaktualizować. Wyszukiwanie rozwiązuje oba problemy, bo fragment źródłowy można zacytować i podmienić. Badanie Ovadii i współpracowników z 2023 roku porównało nienadzorowany fine-tuning z wyszukiwaniem jako sposoby dodawania wiedzy i wykazało, że wyszukiwanie konsekwentnie wypadało lepiej, zarówno dla faktów znanych modelowi, jak i nowych. Autorzy podali też, że modele z trudem uczyły się nowych faktów przez fine-tuning, chyba że widziały wiele wariantów każdego faktu.

Są też powody operacyjne. Wyszukiwanie może filtrować dokumenty według uprawnień użytkownika, cytować źródła i usuwać wycofany dokument przy następnej synchronizacji, z opóźnieniem zależnym od jej konfiguracji. Sam fine-tuning nie daje żadnego z tych mechanizmów: fakt zapisany w wagach nie ma listy dostępu ani odnośnika do źródła, więc jego ograniczenie albo usunięcie zależy od zabezpieczeń wokół modelu albo od kolejnego treningu.

Gdzie fine-tuning ma sens

Przewodnik OpenAI po optymalizacji modeli opisuje fine-tuning jako opcjonalny krok po ewaluacjach i pracy nad promptem i wymienia, do czego nadaje się każda metoda: nadzorowany fine-tuning do klasyfikacji, określonych formatów wyjścia i naprawy błędów w wykonywaniu instrukcji; optymalizacja preferencji do tonu i stylu; reinforcement fine-tuning do rozumowania dziedzinowego, gdy eksperci zgadzają się co do właściwej odpowiedzi. Jako korzyści podaje m.in. trening na większej liczbie przykładów, niż mieści się w prompcie, krótsze prompty i mniejszy, szybszy model do jednego zadania.

Fine-tuning wymaga oznaczonych przykładów poprawnych wyników, definicji zadania, która przez jakiś czas pozostanie stabilna, oraz odłożonych przypadków do porównania z obecnym modelem. Przed planowaniem sprawdź dostępność. Gdy czytaliśmy ten przewodnik w październiku 2026 roku, podawał, że platforma fine-tuningu OpenAI nie przyjmuje już nowych użytkowników. Drugą drogą są modele open-weight trenowane na własnej infrastrukturze.

Pięć zadań i decyzje

Tabela stosuje test do pięciu zmyślonych zadań. Prawa kolumna to pierwszy wybór do sprawdzenia, a nie ostateczna odpowiedź.

Task (hypothetical)                                   Problem type   First choice
----------------------------------------------------  -------------  ------------------------------
Answer staff questions from HR policies revised       knowledge      retrieval with citations
each quarter
Route incoming tickets to one of 40 queues,           behaviour      prompt baseline, then
high and steady volume                                               fine-tune a smaller model
Draft customer replies in house style, quoting        both           retrieval for facts; prompt or
current product documentation                                        fine-tune for style
Extract fixed fields from supplier invoices           behaviour      prompt with a schema first;
                                                                     fine-tune only if it falls short
Answer questions about one short manual that          knowledge      whole manual in the prompt,
changes once a year                                                  if size and cost allow

Ostatni wiersz pokazuje trzecią możliwość. Jeśli materiału jest dość mało, może trafić do promptu w całości, bez wyszukiwania i bez treningu. Czy to się opłaca, zależy od modelu i jego cennika, więc to również należy do ewaluacji.

Kolejność prac, która zostawia obie opcje otwarte

1. 1

   Zbuduj zestaw ewaluacyjny

   Prawdziwe dane wejściowe ze znanymi poprawnymi wynikami, w tym przypadki, które system powinien odrzucić.

2. 2

   Zmierz punkt odniesienia z promptem

   Użyj mocnego modelu hostowanego i starannego promptu, a potem posortuj błędy według typu.

3. 3

   Brakujące albo nieaktualne fakty napraw wyszukiwaniem

   Jeśli błędy dotyczą tego, co model wie, dodaj wyszukiwanie i zmierz ponownie.

4. 4

   Rozważ fine-tuning przy pozostałych lukach w zachowaniu

   Jeśli pozostałe błędy dotyczą formatu, spójności, opóźnienia albo kosztu przy dużym wolumenie, porównaj model po fine-tuningu na odłożonych przypadkach, łącznie z kosztem na żądanie.

Łączenie obu jest uzasadnione, na przykład model wytrenowany tak, by odpowiadał wyłącznie na podstawie dostarczonych fragmentów i odmawiał, gdy ich brakuje. Podwaja to jednak to, co trzeba utrzymywać: pipeline wyszukiwania z zadaniami synchronizacji i zbiór treningowy, który trzeba odświeżyć przy zmianie modelu bazowego.