Entscheiden, ob eine Aufgabe Retrieval, Fine-Tuning oder beides braucht

Wissensproblem oder Verhaltensproblem?

Ein schneller Test: Würde sich die richtige Antwort ändern, wenn morgen ein Dokument geändert würde? Wenn ja, hängt die Aufgabe von Wissen ab, und dieses Wissen sollte zum Zeitpunkt der Frage nachgeschlagen werden. Ist die richtige Ausgabe ein Muster, das auf neue Eingaben angewendet wird, etwa eine Kategorie, ein Feldformat oder ein Tonfall, hängt die Aufgabe von Verhalten ab.

Gemischte Aufgaben sind häufig. Eine Support-Antwort braucht aktuelle Produktfakten und einen einheitlichen Hausstil. Wenn Sie die Anforderung so aufteilen, sehen Sie, welchen Teil welche Technik tragen sollte.

Warum veränderliche Fakten ins Retrieval gehören

Das ursprüngliche RAG-Paper von 2020 nannte zwei Schwächen von Wissen, das nur in Modellgewichten steckt: Es ist schwer zu zeigen, woher eine Antwort stammt, und schwer, sie zu aktualisieren. Retrieval löst beides, weil die Quellstelle zitiert und ersetzt werden kann. Eine Studie von Ovadia und Kollegen aus dem Jahr 2023 verglich unüberwachtes Fine-Tuning mit Retrieval zum Hinzufügen von Wissen und fand, dass Retrieval durchgehend besser abschnitt, sowohl bei Fakten, die das Modell kannte, als auch bei neuen. Die Autoren berichteten außerdem, dass Modelle neue Fakten per Fine-Tuning nur schwer lernten, sofern sie nicht viele Varianten jedes Fakts sahen.

Dazu kommen betriebliche Gründe. Retrieval kann Dokumente nach Berechtigungen der Person filtern, seine Quellen zitieren und ein zurückgezogenes Dokument beim nächsten Sync entfernen, mit einer Verzögerung, die von der Sync-Konfiguration abhängt. Fine-Tuning allein bietet keinen dieser Mechanismen: Ein Fakt in den Gewichten hat weder Zugriffsliste noch Quellverweis, also hängen Einschränkung oder Entfernung von Kontrollen rund um das Modell oder von einem weiteren Trainingslauf ab.

Wo sich Fine-Tuning lohnt

Der Leitfaden von OpenAI zur Modelloptimierung beschreibt Fine-Tuning als optionalen Schritt nach Evaluierungen und Prompt-Arbeit und nennt, wofür sich jede Methode eignet: überwachtes Fine-Tuning für Klassifikation, bestimmte Ausgabeformate und das Beheben von Fehlern beim Befolgen von Anweisungen; Präferenzoptimierung für Ton und Stil; Reinforcement Fine-Tuning für fachliches Schlussfolgern, bei dem sich Fachleute über die richtige Antwort einig sind. Als Vorteile nennt er unter anderem das Training mit mehr Beispielen, als in einen Prompt passen, kürzere Prompts und ein kleineres, schnelleres Modell für eine Aufgabe.

Fine-Tuning braucht bewertete Beispiele korrekter Ausgaben, eine Aufgabendefinition, die eine Weile stabil bleibt, und zurückgehaltene Fälle für den Vergleich mit dem aktuellen Modell. Prüfen Sie vor der Planung die Verfügbarkeit. Als wir den Leitfaden im Oktober 2026 gelesen haben, stand dort, dass die Fine-Tuning-Plattform von OpenAI keine neuen Nutzer mehr aufnimmt. Open-Weight-Modelle, trainiert auf Ihrer eigenen Infrastruktur, sind der andere Weg.

Fünf Aufgaben, entschieden

Die Tabelle wendet den Test auf fünf erfundene Aufgaben an. Die rechte Spalte ist eine erste Wahl, die zu evaluieren ist, keine endgültige Antwort.

Task (hypothetical)                                   Problem type   First choice
----------------------------------------------------  -------------  ------------------------------
Answer staff questions from HR policies revised       knowledge      retrieval with citations
each quarter
Route incoming tickets to one of 40 queues,           behaviour      prompt baseline, then
high and steady volume                                               fine-tune a smaller model
Draft customer replies in house style, quoting        both           retrieval for facts; prompt or
current product documentation                                        fine-tune for style
Extract fixed fields from supplier invoices           behaviour      prompt with a schema first;
                                                                     fine-tune only if it falls short
Answer questions about one short manual that          knowledge      whole manual in the prompt,
changes once a year                                                  if size and cost allow

Die letzte Zeile zeigt eine dritte Möglichkeit. Ist das Material klein genug, kann es vollständig in den Prompt, ohne Retrieval und ohne Training. Ob das bezahlbar ist, hängt vom Modell und seinen Preisen ab, also gehört auch das in die Evaluierung.

Ein Vorgehen, das beide Optionen offenhält

1. 1

   Evaluierungsset aufbauen

   Echte Eingaben mit bekannten richtigen Ausgaben, einschließlich Fällen, die das System ablehnen sollte.

2. 2

   Prompt-Baseline messen

   Nutzen Sie ein leistungsfähiges gehostetes Modell und einen sorgfältigen Prompt und ordnen Sie die Fehler nach Typ.

3. 3

   Fehlende oder veraltete Fakten mit Retrieval beheben

   Betreffen die Fehler das Wissen des Modells, ergänzen Sie Retrieval und messen Sie erneut.

4. 4

   Fine-Tuning für verbleibende Verhaltenslücken prüfen

   Sind die verbleibenden Fehler Format, Konsistenz, Latenz oder Kosten bei hohem Volumen, vergleichen Sie ein feinabgestimmtes Modell auf zurückgehaltenen Fällen, einschließlich der Kosten pro Anfrage.

Beides zu kombinieren ist legitim, etwa ein Modell, das darauf trainiert ist, nur aus übergebenen Textstellen zu antworten und abzulehnen, wenn sie fehlen. Es verdoppelt aber auch, was Sie pflegen: eine Retrieval-Pipeline mit ihren Sync-Jobs und ein Trainingsset, das bei einem Wechsel des Basismodells erneuert werden muss.