RAG-Entwicklung für Assistenten, die aus Ihren Dokumenten antworten

Angenommen, ein Support-Engineer fragt, bei welchen Firmware-Versionen eines Geräts nach einem Update ein manueller Reset nötig ist. Die Antwort steht in zwei freigegebenen Runbooks und einer Release Note. Das System muss die Release Note über die exakte Versionsnummer finden, den zutreffenden Abschnitt im Runbook auswählen und mit einem Verweis auf jedes Dokument antworten. Wurde die Release Note vergangene Woche zurückgezogen, darf sie nicht mehr verwendet werden.

Am Anfang prüfen wir Ihre Quellen und wer darauf zugreifen darf. Jeder Abschnitt behält einen Verweis auf Originaldokument, Verantwortliche und Version, sodass sich jede Antwort zurückverfolgen lässt. Nach dieser Prüfung binden wir die Systeme an, in denen die Dokumente bereits liegen.

Berechtigungen werden geprüft, bevor Text das Modell erreicht. Wer ein Dokument im Ursprungssystem nicht öffnen darf, soll auch keine Antwort erhalten, die darauf beruht.

• Zugriff abgeglichen mit den Berechtigungen im Ursprungssystem
• Änderungen und Löschungen synchronisiert, damit entfernte Inhalte auch aus dem Index verschwinden

Für die Suche werden Dokumente in Abschnitte zerlegt, und ein herausgelöster Abschnitt kann den Zusammenhang verlieren, der ihm Bedeutung gab. Deshalb halten wir diesen Zusammenhang bei jedem Abschnitt fest. Eine Suche nach Bedeutung kommt mit alltäglichen Formulierungen gut zurecht, übersieht aber leicht exakte Zeichenfolgen wie Fehlercodes oder Teilenummern. Wo es darauf ankommt, ergänzen wir eine lexikalische Suche.

Jede Antwort nennt die Abschnitte, auf die sie sich stützt. Findet das System nichts Passendes oder widersprechen sich die Quellen, sagt es das und kann die Frage an einen Menschen weitergeben.

Vor dem Start stellen wir mit Ihrem Team ein Testset zusammen. Retrieval und Antworten bewerten wir getrennt, denn ein besserer Prompt hilft nicht, wenn der richtige Abschnitt das Modell nie erreicht hat. Außerdem erfassen wir Antwortzeit und Kosten pro Frage.

Mit dem Start erhält Ihr Team die Tests, die Synchronisierungsjobs und ein Runbook, mit dem es Quellen hinzufügt, Berechtigungen ändert und falschen Antworten nachgeht.

• Fragen, die die Dokumente beantworten, mit den erwarteten Quellen
• Fragen, die sie nicht beantworten und bei denen das System ablehnen soll
• Fragen, deren Antwort sich in einem neueren Dokument geändert hat
• Fragen von Personen ohne Zugriff auf die Quelle

Manchmal genügt weniger. Kurze Dokumente, die sich selten ändern, kann man dem Modell direkt mitgeben. Findet Ihre bestehende Suche bereits das richtige Dokument, reicht es vielleicht, sie zu verbessern, und ein verwaltetes Knowledge-Base-Produkt deckt gängige Quellen mit einfachen Berechtigungen ab. Passt eine dieser Lösungen, sagen wir Ihnen das im ersten Gespräch.

Fine-Tuning verändert, wie sich ein Modell verhält, etwa sein Ausgabeformat oder wie es eine Anfrage einordnet. Fakten, die sich jede Woche ändern, gehören ins Retrieval, weil sonst jede Änderung einen neuen Trainingslauf bräuchte.