LeistungenRAG-Evaluierung
RAG-Evaluierung, die Retrieval und Antworten getrennt bewertet
Wenn ein Assistent, der aus Ihren Dokumenten antwortet, danebenliegt, hat entweder das Retrieval die richtige Textstelle nie gefunden, oder das Modell hat eine gefundene Stelle falsch verwendet. Wer nur die Endantwort bewertet, sieht nicht, was davon zutrifft. Wir bauen RAG-Evaluierungen aus Ihren eigenen Fragen und Dokumenten, bewerten beide Hälften getrennt und lassen die Suite in Ihrem Repository, auf Englisch, Deutsch und Polnisch, wo Ihre Nutzer es brauchen.
Vier Wochen an einem Assistenten
- 1
Woche 1: Wir sammeln echte Fragen und lesen die Antworten mit jemandem, der die Dokumente kennt.
- 2
Woche 2: zu jeder Frage die Textstellen, die sie beantworten sollen, dazu Fragen, die die Dokumente nicht beantworten.
- 3
Woche 3: Retrieval für sich bewertet, dann Antworten auf Treue geprüft, mit Judges, die an Ihrer Fachperson getestet sind.
- 4
Woche 4: ein Release-Gate für Änderungen an Chunking, Embeddings, Prompts oder Modellen und ein Ausgangsbericht.
Retrieval und Antworten, getrennt bewertet
Wir markieren, welche Textstellen jede Frage beantworten sollen, und messen das Retrieval mit Recall at k und dem Rang der ersten passenden Stelle. Dann prüfen wir, ob jede Antwort dem Gefundenen treu bleibt und es richtig zitiert. Fällt eine Zahl, wissen Sie, welche Hälfte zu reparieren ist.
Die Fragen, die eine Demo auslässt
Die meisten Fehler, die sich zu finden lohnen, stecken in Fällen, die eine Demo nie testet.
- Fragen, die Ihre Dokumente nicht beantworten und bei denen der Assistent das sagen soll
- Antworten, die sich in einem neueren Dokument geändert haben
- Fragen von Personen ohne Zugriff auf das Quelldokument
- Fragen auf Deutsch oder Polnisch zu englischen Dokumenten und umgekehrt
- Tabellen, Tabellenkalkulationen und exakte Kennungen wie Teilenummern
Änderungen, die einen Testlauf brauchen
Chunk-Größe, Embedding-Modell, Reranker, Prompt und das Modell selbst verändern Retrieval oder Antworten auf schwer vorhersehbare Weise. Die Suite läuft in der CI, sobald sich eines davon ändert, mit getrennten Schwellenwerten für Retrieval und Antworten, damit ein besserer Antwortwert kein schlechteres Retrieval verdeckt.
Was das erste Projekt umfasst
Ein Assistent über einer Dokumentensammlung, in bis zu zwei Sprachen, mit einer Person von Ihrer Seite, die die Dokumente kennt, für einige Stunden pro Woche. Teams, die ihr RAG-System bereits bewerten, können mit einem zweiwöchigen Audit beginnen.
Fragen
Können Sie einen Assistenten evaluieren, den ein anderer Anbieter gebaut hat?
Ja, solange wir ihm Fragen schicken und seine Antworten lesen können, idealerweise auch die gefundenen Textstellen. Ohne die gefundenen Stellen können wir Antworten bewerten, aber nicht das Retrieval.
Brauchen Sie Zugriff auf unsere Dokumente?
Wir arbeiten in Ihrer Umgebung oder auf einer Kopie Ihrer Wahl, mit denselben Zugriffsregeln wie im Originalsystem. Wie mit personenbezogenen Daten in Fragen oder Dokumenten umgegangen wird, vereinbaren wir vor dem Start.
Was kostet das?
Ein Festpreis, vor dem Start schriftlich vereinbart. Er hängt von der Zahl der Sprachen ab, davon, ob es schon Traces gibt, wie viele Fehlertypen einen Judge brauchen und wie viel Arbeit in der CI anfällt. Wir nennen ihn nach einem ersten Gespräch von 30 Minuten.
Was passiert im ersten Gespräch?
Dreißig Minuten mit einem unserer Engineers, kostenlos, über Ihr Produkt und die Fehler, die Ihnen Sorgen machen. Wir brauchen keinen Zugang zu Ihren Systemen. Danach schlagen wir Umfang und Preis vor.
Verwandte Leistungen
Evals für KI-Agenten
Evals für Agenten, die in Ihren Systemen handeln: Ergebnisse, Tool-Aufrufe und wie verlässlich sich ein Lauf wiederholt.
KI-Automatisierung
Geschäftsprozesse, Schritt für Schritt mit Regeln, Modellen und Agenten automatisiert, an früheren Fällen getestet und als Kosten pro Fall berichtet.
KI-Chatbots
Chatbots und Assistenten für Kundenservice und internen Support, die aus Ihren Daten antworten, über freigegebene Tools handeln und an Menschen übergeben.
KI-Beratung
KI-Strategie, Bewertung von Anwendungsfällen und Readiness-Checks von Engineers, die das erste System auch bauen und messen.
KI-Engineers für Ihr Team
Erfahrene KI-Engineers, die in Teilzeit oder länger in Ihrem Team mitarbeiten und mit Ihnen KI-Funktionen, Agenten und Plattformen bauen.
KI-Evals-Engineering
Evals für KI-Produkte, Agenten und RAG, aufgebaut aus Ihren eigenen Traces, mit Testset und Release-Gate in Ihrem Repository.
KI für Unternehmen
Assistenten, Agenten und private KI, eingebaut in Ihre Systeme, mit Ihren Berechtigungen, Audit-Logs und einem Plattformteam, das sie betreiben kann.
MCP-Server-Entwicklung
MCP-Server, die freigegebene interne APIs mit KI-Assistenten verbinden, mit engen Berechtigungen, Freigaben für Änderungen und Tests.
RAG-Entwicklung
Assistenten, die aus Ihren internen Dokumenten antworten, mit Berechtigungen, Quellenangaben und Tests anhand Ihrer eigenen Fragen.
KI-Engineering und -Architektur
Assistenten, Sprachschnittstellen und Agenten in den Produkten, die Sie verkaufen, samt Serving und Retrieval darunter.
Training eigener Modelle
Ein kleines Open-Weight-Modell, für eine Aufgabe trainiert und bei Kosten und Genauigkeit mit Ihrem aktuellen Modell verglichen.
Aus dem Blog
Retrieval oder Generierung?
Ein Diagnoseverfahren, das zeigt, ob eine falsche RAG-Antwort in Ingestion, Suche, Reranking oder im Modell entstand, mit markierten Belegen und Traces pro Frage.
Zitatqualität in RAG
Wie Sie prüfen, ob die Textstellen, die ein Assistent zitiert, jede seiner Aussagen tatsächlich stützen: Prüfung pro Aussage, Rechenbeispiel und Abnahmekriterien.
Mehrsprachiges RAG testen
Wie Sie testen, ob ein Assistent dieselben Belege findet, wenn auf Englisch, Deutsch oder Polnisch gefragt wird, mit parallelem Testset, Sprachmatrix und Terminologie.
LLM-Judge validieren
Wie Sie einen LLM-Judge an von Hand gelabelten Beispielen prüfen, seine True Positive Rate und True Negative Rate ausweisen und die gemeldete Erfolgsquote korrigieren.
Mit einem Engineer sprechen
Bringen Sie zwei oder drei Gespräche mit, in denen Ihr KI-System danebenlag. Das Gespräch dauert 30 Minuten und braucht keinen Zugang zu Ihren Systemen oder Daten.
Die Buchung läuft über Google Kalender.
Lieber zuerst schreiben? Hinterlassen Sie Ihre E-Mail-Adresse und ein paar Zeilen, dann antworten wir mit Terminvorschlägen.
Sehen Sie in Ihrem E-Mail-Programm nach dem Entwurf
Senden Sie ihn von dort ab, und ein Engineer antwortet Ihnen persönlich mit Terminvorschlägen für ein 30-minütiges Gespräch. Hat sich kein Entwurf geöffnet, schreiben Sie uns an miki@cloudsail.com.