Welche Dokumente sollte Ihr RAG-Assistent verwenden?

Zuerst echte Fragen sammeln

Der naheliegende erste Schritt ist, einen Indexer auf eine SharePoint-Site oder einen Wiki-Bereich zu richten und zu sehen, was herauskommt. Das Ergebnis ist ein Index von allem, Entwürfe und überholte Verfahren eingeschlossen, und bei einer schlechten Antwort kann niemand sagen, ob das richtige Dokument fehlte, veraltet war oder unterging.

Microsofts Leitfaden für RAG-Projekte sammelt Inhalte und Testfragen parallel, denn die Fragen müssen sich aus den Inhalten beantworten lassen, und die Inhalte müssen die relevanten Fragen beantworten. Wir bitten das Team, das den Assistenten nutzen wird, um 30 bis 50 Fragen, die es kürzlich bearbeitet hat, aus Tickets, Chatverläufen oder E-Mails. Echte Fragen zeigen das Vokabular, die Sonderfälle und die Dokumente, auf die es ankommt.

Ergänzen Sie einige Fragen, die die Dokumente nicht beantworten sollten, damit die Tests eine selbstsicher falsche Antwort von einer korrekten Ablehnung unterscheiden können.

Ein Quelleninventar mit einer Zeile pro Quelle

Halten Sie für jede in Frage kommende Quelle einige Fakten fest. Der Rest des Projekts baut darauf auf, und eine Tabelle genügt.

• Verantwortliche Person: wer beurteilen kann, ob der Inhalt aktuell ist, und wer einsteht, wenn er falsch ist
• System und Ort: wo die Dokumente liegen, etwa in einem Wiki-Bereich, einer Dokumentbibliothek oder einem Ticketsystem
• Verbindlichkeit: ob die Quelle die freigegebene Fassung, ein Arbeitsentwurf oder informelle Notizen ist
• Versionsmerkmal: woran Sie das aktuelle Dokument von einem älteren unterscheiden, etwa an einem Statusfeld, einem Datum oder einer Namensregel
• Zugriffsregeln: wer das Dokument im Ursprungssystem lesen darf und ob ein Konnektor diese Regeln auslesen kann
• Format und Zustand: Text, gescanntes PDF, Tabelle oder Folien, und ob sich der Text tatsächlich extrahieren lässt
• Änderungsrate: wie oft Dokumente hinzukommen, bearbeitet oder zurückgezogen werden

Eine Quelle ohne verantwortliche Person gehört nicht in den ersten Index. Liefert sie eine falsche Antwort, korrigiert niemand das Dokument, und der Assistent wiederholt den Fehler, bis es jemand bemerkt.

Ordnen Sie jeder Frage die Textstelle zu, die sie beantwortet

Suchen Sie zu jeder Frage die Textstelle, die sie beantwortet, und notieren Sie Dokument, Abschnitt und Version. Microsofts Leitfaden beschreibt denselben Datensatz für ein RAG-Testset: die Frage, den belegenden Text mit Fundstelle und eine gültige Antwort. Mit einer kleinen Stichprobe von Hand zu beginnen, ist ein direkter Weg herauszufinden, was Ihre Dokumente hergeben.

Jede Frage landet in einem von vier Zuständen.

1. 1

   In einer freigegebenen Quelle beantwortet

   Bereit für Tests. Halten Sie die Textstelle als erwarteten Beleg fest.

2. 2

   Beantwortet, aber in widersprüchlichen Quellen

   Zwei Dokumente widersprechen sich, oft eine alte und eine neue Fassung. Vor der Indexierung muss jemand festlegen, welche verbindlich ist, sonst entscheidet das Retrieval für Sie.

3. 3

   Nur an informeller Stelle beantwortet

   Die Antwort steht in einem Chatverlauf oder einer persönlichen Notiz. Entweder überträgt eine verantwortliche Person sie in ein freigegebenes Dokument, oder die Frage bleibt vorerst außerhalb des Umfangs.

4. 4

   Nirgends beantwortet

   Das ist eine Lücke in der Dokumentation, und keine Retrieval-Einstellung behebt sie. Der Assistent sollte ablehnen, und die Lücke geht an die verantwortliche Person für dieses Thema.

Ein hypothetisches Audit für einen internen IT-Helpdesk

Angenommen, ein IT-Team möchte einen Assistenten für Fragen von Mitarbeitenden und sammelt 40 aktuelle Tickets. Die Zahlen sind zur Veranschaulichung erfunden.

Zweiundzwanzig Fragen führen zu einer aktuellen Seite im IT-Wiki. Sieben führen sowohl zum Wiki als auch zu einem älteren PDF-Handbuch, das noch auf einem Netzlaufwerk liegt und dem Wiki bei der VPN-Einrichtung widerspricht. Fünf werden nur im Chatkanal des Teams beantwortet. Sechs werden nirgends beantwortet, meist zu einem Laptopmodell, das im letzten Quartal eingeführt wurde.

Die Entscheidung ergibt sich aus diesen Zeilen. Das Wiki kommt hinein. Das PDF-Handbuch bleibt draußen, bis die verantwortliche Person es zurückzieht oder das VPN-Kapitel korrigiert. Aus den fünf Chat-Antworten werden zwei neue Wiki-Seiten, geschrieben von der Person, die die Antworten gegeben hat. Die sechs Laptop-Fragen werden zu Testfällen, in denen der Assistent sagen muss, dass es keine dokumentierte Antwort gibt.

Prüfungen an den Dateien selbst

Sobald die Quellen feststehen, öffnen Sie die Dateien. Manche Probleme verhindern gutes Retrieval, lange bevor Chunk-Größe oder Modellwahl eine Rolle spielen.

• Gescannte PDFs ohne Textebene brauchen OCR oder eine bildfähige Extraktion, bevor ein Textindex sie nutzen kann, sonst bleiben sie draußen
• Kopf- und Fußzeilen, Inhaltsverzeichnisse und Haftungshinweise wiederholen sich auf jeder Seite und verdrängen echte Inhalte
• Lange Tabellen verlieren beim Aufteilen ihre Kopfzeile, sodass die Werte darunter ihre Bedeutung verlieren
• Kennungen wie Teilenummern oder Fehlercodes brauchen exakte Treffer, und die reine Suche nach Bedeutung kommt damit schlecht zurecht

Keiner dieser Punkte muss im Audit gelöst werden. Halten Sie sie fest, denn jeder verändert, wie die Ingestion gebaut wird und was sie kostet.

Wenn das Audit zeigt, dass weniger als RAG genügt

Manchmal ist das nützliche Material klein: eine Handvoll freigegebener Richtlinien, die sich selten ändern. Ein Artikel von Anthropic vom September 2024 schlug vor, eine Wissensbasis unter etwa 200.000 Tokens, rund 500 Seiten, direkt in den Prompt zu legen und Kosten und Latenz mit Prompt-Caching zu senken. Prüfen Sie, ob das für Kontextfenster und Preise des gewählten Modells trägt. So oder so werden die Fragen und erwarteten Textstellen aus dem Audit zum Testset.

Auch das gegenteilige Ergebnis kommt vor. Enden die meisten Fragen als Lücke oder Widerspruch, ist das erste Projekt Dokumentationsarbeit, denn ein Assistent auf diesen Quellen würde meist ablehnen oder sich selbst widersprechen.

Ein praktischer nächster Schritt: Sammeln Sie diese Woche 30 echte Fragen und ordnen Sie zehn davon von Hand zu.

RAG-Entwicklung