LeistungenRAG-Evaluierung

RAG-Evaluierung: wie oft Ihr Dokumenten-Assistent richtig liegt und warum er danebenliegt

Mitarbeitende und Kunden können sich auf einen Assistenten verlassen, der aus Ihren Dokumenten antwortet, sobald Sie wissen, wie oft er richtig liegt, ob er die richtige Quelle nennt und ob er Zugriffsrechte einhält. Wir testen RAG-Systeme (Antworten aus Ihren eigenen Dokumenten, mit angezeigter Quelle) auf Ihren eigenen Fragen und Dokumenten und bewerten die Suche nach der richtigen Textstelle und die Antwort getrennt, damit Sie bei einer sinkenden Zahl wissen, wo Sie ansetzen müssen. Die Testsuite bleibt in Ihrem Repository. Meist geht es um Wissensassistenten für SharePoint, Dateiablagen, Handbücher oder Verträge, selbst betrieben oder eingekauft, auf Deutsch, Englisch und Polnisch.

Ausgangsmessung für einen Assistenten

  1. 1

    Wir sammeln echte Fragen und lesen die Antworten mit jemandem, der die Dokumente kennt.

  2. 2

    Zu jeder Frage die Textstellen, die sie beantworten sollen, dazu Fragen, die die Dokumente nicht beantworten.

  3. 3

    Retrieval für sich bewertet, dann Antworten auf Treue zur Quelle geprüft, mit Judges, die an den Bewertungen Ihrer Fachperson kalibriert sind.

  4. 4

    Ein Release-Gate für Änderungen an Chunking, Embeddings, Prompts oder Modellen und ein Ausgangsbericht.

Was sich für Ihr Unternehmen ändert

In der Bitkom-Umfrage 2026 nutzen 22 % der Unternehmen, die KI einsetzen, sie im internen Wissensmanagement, nach 11 % im Jahr davor. Ein Wissensassistent spart nur dann Suchzeit, wenn die Menschen seinen Antworten so weit trauen, dass sie nicht jede einzelne nachprüfen. Tests auf Ihren eigenen Fragen geben ihnen und der Geschäftsführung einen Grund dafür.

  • Sie wissen, wie oft der Assistent richtig antwortet und das richtige Dokument nennt, gemessen an Ihren eigenen Fragen.
  • Niemand bekommt Inhalte zu sehen, für die er keine Rechte hat: Fragen von Personen ohne Zugriff sind Teil des Tests.
  • Veraltete Antworten fallen auf, wenn ein neueres Dokument die Regel geändert hat.
  • Fragen, die Ihre Dokumente nicht beantworten, bekommen ein klares „steht nicht in den Dokumenten“ statt einer erfundenen Antwort.
  • Änderungen an Sucheinstellungen oder am Modell werden geprüft, bevor Ihre Mitarbeitenden sie zu sehen bekommen.

Retrieval und Antworten, getrennt bewertet

Wir markieren, welche Textstellen jede Frage beantworten sollen, und messen das Retrieval mit Recall at k und dem Rang der ersten passenden Stelle. Dann prüfen wir, ob jede Antwort dem Gefundenen treu bleibt und es richtig zitiert. Fällt eine Zahl, wissen Sie, welche Hälfte zu reparieren ist.

Mehr Details

Ein beispielhafter Test fragt, welche Ausgaben die aktuelle Reiserichtlinie erlaubt. Erwartet wird die aktuelle Richtlinie, auf die der Nutzer zugreifen darf, mit einer Antwort aus der passenden Passage und einem Verweis auf diese Fassung. Eine veraltete Richtlinie ist ein Suchfehler. Eine richtige Passage mit einer unbelegten Erstattungsaussage ist ein Antwortfehler. Beide Ergebnisse erfassen wir getrennt.

Die Fragen, die eine Demo auslässt

Die meisten Fehler, die sich zu finden lohnen, stecken in Fällen, die eine Demo nie testet.

Mehr Details
  • Fragen, die Ihre Dokumente nicht beantworten und bei denen der Assistent das sagen soll
  • Antworten, die sich in einem neueren Dokument geändert haben
  • Fragen von Personen ohne Zugriff auf das Quelldokument
  • Fragen auf Deutsch oder Polnisch zu englischen Dokumenten und umgekehrt
  • Tabellen, Tabellenkalkulationen und exakte Kennungen wie Teilenummern

Möchten Sie das an Ihrem eigenen Fall durchsprechen? Das erste Gespräch ist kostenlos und dauert 30 Minuten.

30-minütiges Gespräch buchen

Änderungen, die einen Testlauf brauchen

Chunk-Größe, Embedding-Modell, Reranker, Prompt und das Modell selbst verändern Retrieval oder Antworten auf schwer vorhersehbare Weise. Die Suite läuft in der CI, sobald sich eines davon ändert, mit getrennten Schwellenwerten für Retrieval und Antworten, damit ein besserer Antwortwert kein schlechteres Retrieval verdeckt.

Was das erste Projekt umfasst

Ein Assistent über einer Dokumentensammlung, in bis zu zwei Sprachen, mit Zeit einer Person von Ihrer Seite, die die Dokumente kennt. Teams, die ihr RAG-System bereits bewerten, können mit einem Audit beginnen.

Fragen

Woran erkennen wir, ob eine Antwort stimmt?

Zu jeder Testfrage markiert jemand, der die Dokumente kennt, die Textstelle, die sie beantworten soll. Dann prüfen wir, ob der Assistent diese Stelle gefunden hat, ob seine Antwort sagt, was dort steht, und ob das Zitat auf sie verweist. Das Ergebnis ist für jeden dieser Punkte eine Quote, gemessen an Ihren Fragen, kein allgemeiner Eindruck.

Kann der Assistent Personen Dokumente zeigen, die sie nicht sehen dürfen?

Das kann passieren, wenn Berechtigungen aus SharePoint oder der Dateiablage nicht bis in die Suche durchgereicht werden. Deshalb enthält das Testset Fragen von Personen ohne Zugriff auf die Quelle, und jede Antwort, die den Inhalt preisgibt, zählt als Fehler mit dem Schwellenwert null. Ihr Datenschutzbeauftragter sieht, welche Fälle mit welchem Ergebnis getestet wurden.

Lohnt sich ein Test, wenn der Assistent in der Demo schon gut funktioniert?

Eine Demo nutzt Fragen, die die Dokumente gut beantworten. Die Fehler, die Vertrauen kosten, liegen woanders: Fragen ohne Antwort in den Dokumenten, Regeln, die in einer neueren Fassung geändert wurden, Tabellen und Teilenummern sowie Personen ohne Zugriff. Sehen Mitarbeitende ein paar falsche Antworten, prüfen sie wieder jede Antwort nach, und die gesparte Zeit ist weg. Deshalb ist es günstiger, diese Fälle vorher zu finden.

Können Sie einen Assistenten evaluieren, den ein anderer Anbieter gebaut hat?

Ja, solange wir ihm Fragen schicken und seine Antworten lesen können, idealerweise auch die gefundenen Textstellen. Ohne die gefundenen Stellen können wir Antworten bewerten, aber nicht das Retrieval.

Brauchen Sie Zugriff auf unsere Dokumente?

Wir arbeiten in Ihrer Umgebung oder auf einer Kopie Ihrer Wahl, mit denselben Zugriffsregeln wie im Originalsystem. Wie mit personenbezogenen Daten in Fragen oder Dokumenten umgegangen wird, vereinbaren wir vor dem Start.

Was kostet das?

Ein Festpreis, vor dem Start schriftlich vereinbart. Er hängt von der Zahl der Sprachen ab, davon, ob es schon Traces gibt, wie viele Fehlertypen einen Judge brauchen und wie viel Arbeit in der CI anfällt. Wir nennen ihn nach einem ersten Gespräch von 30 Minuten.

Was passiert im ersten Gespräch?

Dreißig Minuten mit einem unserer Engineers, kostenlos, über Ihr Produkt und die Fehler, die Ihnen Sorgen machen. Wir brauchen keinen Zugang zu Ihren Systemen. Danach schlagen wir Umfang und Preis vor.

Mit einem Engineer sprechen

Erfahren Sie, wie oft Ihr Dokumenten-Assistent richtig liegt, bevor Ihre Mitarbeitenden ihm nicht mehr trauen. Bringen Sie zwei oder drei falsche Antworten mit. Das Gespräch dauert 30 Minuten und braucht keinen Zugang zu Ihren Systemen oder Daten.

Die Buchung läuft über Google Kalender.

Mickey Graf

Mickey Graf

Gründer und Geschäftsführer von Cloudsail

Mit 4,9 von 5 auf Clutch bewertet

Lieber erst schreiben? Hinterlassen Sie Ihre E-Mail-Adresse und ein paar Zeilen. Mickey liest jede Nachricht selbst und antwortet per E-Mail mit Terminvorschlägen.

Die Schaltfläche bereitet in Ihrem eigenen E-Mail-Programm eine E-Mail vor, die Sie selbst senden. Datenschutzerklärung (Entwurf)