LeistungenRAG-Evaluierung
RAG-Evaluierung: wie oft Ihr Dokumenten-Assistent richtig liegt und warum er danebenliegt
Mitarbeitende und Kunden können sich auf einen Assistenten verlassen, der aus Ihren Dokumenten antwortet, sobald Sie wissen, wie oft er richtig liegt, ob er die richtige Quelle nennt und ob er Zugriffsrechte einhält. Wir testen RAG-Systeme (Antworten aus Ihren eigenen Dokumenten, mit angezeigter Quelle) auf Ihren eigenen Fragen und Dokumenten und bewerten die Suche nach der richtigen Textstelle und die Antwort getrennt, damit Sie bei einer sinkenden Zahl wissen, wo Sie ansetzen müssen. Die Testsuite bleibt in Ihrem Repository. Meist geht es um Wissensassistenten für SharePoint, Dateiablagen, Handbücher oder Verträge, selbst betrieben oder eingekauft, auf Deutsch, Englisch und Polnisch.
Ausgangsmessung für einen Assistenten
- 1
Wir sammeln echte Fragen und lesen die Antworten mit jemandem, der die Dokumente kennt.
- 2
Zu jeder Frage die Textstellen, die sie beantworten sollen, dazu Fragen, die die Dokumente nicht beantworten.
- 3
Retrieval für sich bewertet, dann Antworten auf Treue zur Quelle geprüft, mit Judges, die an den Bewertungen Ihrer Fachperson kalibriert sind.
- 4
Ein Release-Gate für Änderungen an Chunking, Embeddings, Prompts oder Modellen und ein Ausgangsbericht.
Was sich für Ihr Unternehmen ändert
In der Bitkom-Umfrage 2026 nutzen 22 % der Unternehmen, die KI einsetzen, sie im internen Wissensmanagement, nach 11 % im Jahr davor. Ein Wissensassistent spart nur dann Suchzeit, wenn die Menschen seinen Antworten so weit trauen, dass sie nicht jede einzelne nachprüfen. Tests auf Ihren eigenen Fragen geben ihnen und der Geschäftsführung einen Grund dafür.
- Sie wissen, wie oft der Assistent richtig antwortet und das richtige Dokument nennt, gemessen an Ihren eigenen Fragen.
- Niemand bekommt Inhalte zu sehen, für die er keine Rechte hat: Fragen von Personen ohne Zugriff sind Teil des Tests.
- Veraltete Antworten fallen auf, wenn ein neueres Dokument die Regel geändert hat.
- Fragen, die Ihre Dokumente nicht beantworten, bekommen ein klares „steht nicht in den Dokumenten“ statt einer erfundenen Antwort.
- Änderungen an Sucheinstellungen oder am Modell werden geprüft, bevor Ihre Mitarbeitenden sie zu sehen bekommen.
Retrieval und Antworten, getrennt bewertet
Wir markieren, welche Textstellen jede Frage beantworten sollen, und messen das Retrieval mit Recall at k und dem Rang der ersten passenden Stelle. Dann prüfen wir, ob jede Antwort dem Gefundenen treu bleibt und es richtig zitiert. Fällt eine Zahl, wissen Sie, welche Hälfte zu reparieren ist.
Mehr Details
Ein beispielhafter Test fragt, welche Ausgaben die aktuelle Reiserichtlinie erlaubt. Erwartet wird die aktuelle Richtlinie, auf die der Nutzer zugreifen darf, mit einer Antwort aus der passenden Passage und einem Verweis auf diese Fassung. Eine veraltete Richtlinie ist ein Suchfehler. Eine richtige Passage mit einer unbelegten Erstattungsaussage ist ein Antwortfehler. Beide Ergebnisse erfassen wir getrennt.
Die Fragen, die eine Demo auslässt
Die meisten Fehler, die sich zu finden lohnen, stecken in Fällen, die eine Demo nie testet.
Mehr Details
- Fragen, die Ihre Dokumente nicht beantworten und bei denen der Assistent das sagen soll
- Antworten, die sich in einem neueren Dokument geändert haben
- Fragen von Personen ohne Zugriff auf das Quelldokument
- Fragen auf Deutsch oder Polnisch zu englischen Dokumenten und umgekehrt
- Tabellen, Tabellenkalkulationen und exakte Kennungen wie Teilenummern
Möchten Sie das an Ihrem eigenen Fall durchsprechen? Das erste Gespräch ist kostenlos und dauert 30 Minuten.
30-minütiges Gespräch buchenÄnderungen, die einen Testlauf brauchen
Chunk-Größe, Embedding-Modell, Reranker, Prompt und das Modell selbst verändern Retrieval oder Antworten auf schwer vorhersehbare Weise. Die Suite läuft in der CI, sobald sich eines davon ändert, mit getrennten Schwellenwerten für Retrieval und Antworten, damit ein besserer Antwortwert kein schlechteres Retrieval verdeckt.
Was das erste Projekt umfasst
Ein Assistent über einer Dokumentensammlung, in bis zu zwei Sprachen, mit Zeit einer Person von Ihrer Seite, die die Dokumente kennt. Teams, die ihr RAG-System bereits bewerten, können mit einem Audit beginnen.
Fragen
Woran erkennen wir, ob eine Antwort stimmt?
Zu jeder Testfrage markiert jemand, der die Dokumente kennt, die Textstelle, die sie beantworten soll. Dann prüfen wir, ob der Assistent diese Stelle gefunden hat, ob seine Antwort sagt, was dort steht, und ob das Zitat auf sie verweist. Das Ergebnis ist für jeden dieser Punkte eine Quote, gemessen an Ihren Fragen, kein allgemeiner Eindruck.
Kann der Assistent Personen Dokumente zeigen, die sie nicht sehen dürfen?
Das kann passieren, wenn Berechtigungen aus SharePoint oder der Dateiablage nicht bis in die Suche durchgereicht werden. Deshalb enthält das Testset Fragen von Personen ohne Zugriff auf die Quelle, und jede Antwort, die den Inhalt preisgibt, zählt als Fehler mit dem Schwellenwert null. Ihr Datenschutzbeauftragter sieht, welche Fälle mit welchem Ergebnis getestet wurden.
Lohnt sich ein Test, wenn der Assistent in der Demo schon gut funktioniert?
Eine Demo nutzt Fragen, die die Dokumente gut beantworten. Die Fehler, die Vertrauen kosten, liegen woanders: Fragen ohne Antwort in den Dokumenten, Regeln, die in einer neueren Fassung geändert wurden, Tabellen und Teilenummern sowie Personen ohne Zugriff. Sehen Mitarbeitende ein paar falsche Antworten, prüfen sie wieder jede Antwort nach, und die gesparte Zeit ist weg. Deshalb ist es günstiger, diese Fälle vorher zu finden.
Können Sie einen Assistenten evaluieren, den ein anderer Anbieter gebaut hat?
Ja, solange wir ihm Fragen schicken und seine Antworten lesen können, idealerweise auch die gefundenen Textstellen. Ohne die gefundenen Stellen können wir Antworten bewerten, aber nicht das Retrieval.
Brauchen Sie Zugriff auf unsere Dokumente?
Wir arbeiten in Ihrer Umgebung oder auf einer Kopie Ihrer Wahl, mit denselben Zugriffsregeln wie im Originalsystem. Wie mit personenbezogenen Daten in Fragen oder Dokumenten umgegangen wird, vereinbaren wir vor dem Start.
Was kostet das?
Ein Festpreis, vor dem Start schriftlich vereinbart. Er hängt von der Zahl der Sprachen ab, davon, ob es schon Traces gibt, wie viele Fehlertypen einen Judge brauchen und wie viel Arbeit in der CI anfällt. Wir nennen ihn nach einem ersten Gespräch von 30 Minuten.
Was passiert im ersten Gespräch?
Dreißig Minuten mit einem unserer Engineers, kostenlos, über Ihr Produkt und die Fehler, die Ihnen Sorgen machen. Wir brauchen keinen Zugang zu Ihren Systemen. Danach schlagen wir Umfang und Preis vor.
Verwandte Leistungen
Qualitätssicherung für KI-Systeme
Vor dem Go-live zeigen Abnahmetests auf Ihren eigenen Fällen, wie oft Chatbot, Assistent oder Agent richtig liegen, in den Begriffen, die Ihr QA-Team kennt.
KI-Evals-Engineering
Evals aus Ihren eigenen Traces zeigen, ob eine Änderung Ihr KI-Produkt besser oder schlechter gemacht hat, mit einem Release-Gate, das in Ihrem Repository bleibt.
Evals für KI-Agenten
Finden Sie heraus, wie oft ein Agent die Aufgabe erledigt, bevor er in Ihren Systemen handelt: Wir prüfen Ergebnisse, Tool-Aufrufe und wie verlässlich sich Läufe wiederholen.
Kostenlose KI-Nutzungsanalyse
Eine Seite für die Geschäftsführung: wohin Ihr KI-Budget fließt, ob es sich auszahlt und was sich ändern sollte, aus Exporten Ihrer Wahl. Kostenlos, ohne Systemzugriff.
On-Premise-KI
KI für Angebote, Verträge und Kundenakten, und die Daten bleiben im Unternehmen: eigene Server oder eigenes Cloud-Konto, vor dem Go-live geprüft.
Datenintegration für KI
Antworten aus Dateiablagen, SharePoint, ERP und Tickets in Sekunden, für Assistenten und Agenten, mit übernommenen Berechtigungen und Tests.
KI-Agenten und Prozessautomatisierung
Agenten, die die Routineschritte komplexer Fälle übernehmen und Entscheidungen an Menschen weitergeben, mit ausgewiesenen Kosten pro bearbeitetem Fall.
Aus dem Blog
Retrieval oder Generierung?
Ein Diagnoseverfahren, das zeigt, ob eine falsche RAG-Antwort in Ingestion, Suche, Reranking oder im Modell entstand, mit markierten Belegen und Traces pro Frage.
Zitatqualität in RAG
Wie Sie prüfen, ob die Textstellen, die ein Assistent zitiert, jede seiner Aussagen tatsächlich stützen: Prüfung pro Aussage, Rechenbeispiel und Abnahmekriterien.
Mehrsprachiges RAG testen
Wie Sie testen, ob ein Assistent dieselben Belege findet, wenn auf Englisch, Deutsch oder Polnisch gefragt wird, mit parallelem Testset, Sprachmatrix und Terminologie.
LLM-Judge validieren
Wie Sie einen LLM-Judge an von Hand gelabelten Beispielen prüfen, seine True Positive Rate und True Negative Rate ausweisen und die gemeldete Erfolgsquote korrigieren.
Mit einem Engineer sprechen
Erfahren Sie, wie oft Ihr Dokumenten-Assistent richtig liegt, bevor Ihre Mitarbeitenden ihm nicht mehr trauen. Bringen Sie zwei oder drei falsche Antworten mit. Das Gespräch dauert 30 Minuten und braucht keinen Zugang zu Ihren Systemen oder Daten.
Die Buchung läuft über Google Kalender.

Mickey Graf
Gründer und Geschäftsführer von Cloudsail
Lieber erst schreiben? Hinterlassen Sie Ihre E-Mail-Adresse und ein paar Zeilen. Mickey liest jede Nachricht selbst und antwortet per E-Mail mit Terminvorschlägen.
Sehen Sie in Ihrem E-Mail-Programm nach dem Entwurf
Senden Sie ihn von dort ab, und Mickey antwortet Ihnen persönlich mit Terminvorschlägen für ein 30-minütiges Gespräch. Hat sich kein Entwurf geöffnet, schreiben Sie uns an miki@cloudsail.com.