LeistungenKI-Evals-Engineering

KI-Evals und LLM-Evaluierung: wissen, ob eine Änderung Ihre KI besser oder schlechter gemacht hat

Ihr Team kann Prompts, Modelle und Tools ändern, ohne dass die Qualität unbemerkt sinkt, und wechselt erst dann zu einem günstigeren Modell, wenn die Zahlen zeigen, dass es gut genug ist. Wir bauen Evaluierungen (wiederholbare Tests eines KI-Systems auf festen Fällen) aus Ihren eigenen Traces und Fällen, gemeinsam mit den Menschen, die wissen, wie eine gute Antwort aussieht, und lassen sie als Release-Gate in Ihrem Repository, das bei jeder Änderung läuft. Wir arbeiten mit Produkt- und Engineering-Teams, die KI-Produkte, Agenten oder RAG-Systeme ausliefern. Unsere Engineers sitzen in Deutschland und Polen, die Tests schreiben wir auf Deutsch, Englisch und Polnisch.

Ausgangsmessung für ein Produkt

  1. 1

    Wir lesen mit einer Fachperson mindestens 100 Ihrer Traces und notieren, was schiefging.

  2. 2

    Aus den Notizen werden Fehlertypen mit Häufigkeiten und ein versioniertes Testset mit 50 bis 150 Fällen.

  3. 3

    Zuerst Prüfungen im Code, dann Judges für das, was Code nicht prüfen kann, jeweils gegen menschliche Bewertungen getestet.

  4. 4

    Ein Release-Gate in der CI, Stichproben im Betrieb und ein Ausgangsbericht, der bei Ihnen bleibt.

Was sich für Ihr Unternehmen ändert

Jede Änderung an Ihrem KI-Produkt kommt mit einer Zahl: besser, schlechter oder im Rauschen. Das wird wichtiger, je mehr KI in das wandert, was Unternehmen verkaufen. In der Bitkom-Umfrage 2026 setzen 20 % der Unternehmen, die KI nutzen, sie in eigenen Produkten und Dienstleistungen ein, nach 12 % im Jahr davor.

  • Releases gehen mit Belegen raus: Eine Prompt- oder Modelländerung, die eine Fehlerart verschlechtert, wird gestoppt, bevor Kunden sie sehen.
  • Ein Modell-Update bei Ihrem Anbieter verändert Antworten nicht unbemerkt, weil dieselbe Suite erneut läuft.
  • Modellentscheidungen beruhen auf den Kosten pro erfolgreicher Aufgabe, ein günstigeres Modell kommt also überall dort zum Einsatz, wo es Ihre Tests besteht.
  • Product Owner und Geschäftsführung bekommen eine Tabelle mit Qualität, Kosten und Latenz statt eines Gefühls zum letzten Release.
  • Die Suite gehört Ihnen und funktioniert weiter, wenn Sie Tools oder Anbieter wechseln.

Tracing ist noch keine Evaluierung

Im State-of-Agent-Engineering-Report von LangChain, 2026 veröffentlicht und gestützt auf Antworten von über 1300 Fachleuten, die mit Agenten arbeiten, hatten 89 % irgendeine Form von Observability im Einsatz, doch 29,5 % führten gar keine Evaluierungen durch, und Qualität war das am häufigsten genannte Hindernis für den Produktivbetrieb. Ein Trace zeigt, was in einem Gespräch passiert ist. Eine Evaluierung zeigt, wie oft ein bestimmter Fehler über alle Gespräche hinweg auftritt und ob eine Änderung diese Zahl bewegt hat.

Mehr Details

Allgemeine Werte wie Hilfsbereitschaft oder eine Gesamtnote von eins bis zehn helfen selten. Sie steigen und fallen, ohne dass jemand weiß, was zu reparieren ist. Wir beginnen bei den Fehlern, die Ihr System tatsächlich macht.

Erst Traces lesen, dann Tests schreiben

Zuerst ziehen wir mindestens 100 Traces oder abgeschlossene Fälle und lesen sie mit jemandem, der die Arbeit kennt, etwa einer Support-Leitung oder einem Sachbearbeiter. Zu jedem Fall notieren wir kurz, was als Erstes schiefging. Wir lesen weiter, bis neue Traces keine neuen Arten von Fehlern mehr zeigen.

Mehr Details

Danach fassen wir die Notizen zu einer kurzen Liste von Fehlertypen zusammen und zählen sie. Die Häufigkeiten bestimmen die Arbeit. Manche Fehler werden direkt im Prompt oder in einer Retrieval-Einstellung behoben, manche bekommen eine Prüfung im Code, und nur die, die eine Beurteilung brauchen, bekommen einen LLM-Judge.

Möchten Sie das an Ihrem eigenen Fall durchsprechen? Das erste Gespräch ist kostenlos und dauert 30 Minuten.

30-minütiges Gespräch buchen

Ein Testset, das Ihnen gehört

Das Testset entsteht aus Ihren Traces und abgeschlossenen Fällen, markiert nach Anliegen, Schwierigkeit und Sprache und versioniert neben Ihren Prompts, damit sich jeder Wert reproduzieren lässt. Hat ein Produkt noch keine Nutzer, erzeugen wir Fälle entlang festgelegter Dimensionen, statt ein Modell einfach nach Testfragen zu fragen, und Ihre Fachleute ergänzen die Fälle, von denen sie schon wissen, dass sie schwierig sind.

Mehr Details

Bei RAG-Systemen markieren wir, welche Textstelle jede Frage beantworten soll, damit Retrieval und Antwort getrennt bewertet werden. Bei Agenten prüfen wir zuerst das Ergebnis und nutzen den Trace, um die Stelle zu finden, an der ein Lauf falsch abgebogen ist.

Ein beispielhafter Abnahmefall beginnt mit einer Rückerstattungsanfrage zu einer nicht auffindbaren Bestellung. Die erwartete Antwort fragt nach der fehlenden Bestellnummer und verspricht keine Rückerstattung. Beide Bedingungen prüfen wir getrennt. Eine erfundene Bestellnummer ist ein Fehler, auch wenn die Antwort gut klingt. Ihr Fachexperte kennzeichnet akzeptable Antworten, bevor wir Modellkandidaten vergleichen.

  • Fälle aus echtem Betrieb, markiert und versioniert in Ihrem Repository
  • Seltene, aber teure Fälle bleiben im Set, auch wenn sie nur einen kleinen Teil des Betriebs ausmachen
  • Fragen in jeder Sprache, in der Ihre Nutzer schreiben
  • Fälle für jeden Fehlertyp aus der Fehleranalyse

RAG-Evaluierung

Wenn ein Assistent aus Ihren Dokumenten antwortet, hat eine falsche Antwort zwei mögliche Ursachen: Die richtige Textstelle wurde nie gefunden, oder das Modell hat eine gefundene Stelle falsch verwendet. Wir markieren, welche Textstellen jede Frage beantworten sollen, und messen das Retrieval für sich, mit Recall at k und dem Rang der ersten passenden Stelle, bevor wir bewerten, ob die Antwort dem Gefundenen treu bleibt.

Mehr Details

Das Set enthält auch Fragen, die Ihre Dokumente nicht beantworten, Fragen, deren Antwort sich in einem neueren Dokument geändert hat, und Fragen von Personen ohne Zugriff auf die Quelle, weil eine Demo keine davon prüft.

Prüfungen, gemessen an Ihrer Fachperson

Zuerst schreiben wir Prüfungen im Code: gültiges JSON, Pflichtfelder, eine SQL-Abfrage, die läuft, ein Erstattungsbetrag innerhalb der Richtlinie. Sie kosten fast nichts und liefern jedes Mal dasselbe Ergebnis. Wo ein Fehler eine Beurteilung braucht, etwa eine Antwort, die eine Vertragsklausel falsch wiedergibt, bauen wir einen Judge, der für genau diesen Fehler bestanden oder nicht bestanden zurückgibt.

Mehr Details

Jeder Judge wird an Fällen, die er noch nicht kennt, gegen die Bewertungen Ihrer Fachperson getestet. Wir berichten, wie viele echte Fehler er erkennt und wie viele gute Antworten er fälschlich durchfallen lässt, damit Sie wissen, wie weit Sie seinen Zahlen trauen können. Ändert sich das Judge-Modell, sein Prompt oder die Bewertungsvorgabe, testen wir erneut.

Release-Gates und Prüfungen im Betrieb

Eine kleine Suite, überwiegend Prüfungen im Code, läuft in der CI bei jeder Änderung an Prompts, Modellen, Tools oder Retrieval-Einstellungen. Jeder Fehlertyp hat einen eigenen Schwellenwert, damit ein Gewinn an einer Stelle keine Verschlechterung an einer anderen verdeckt. Im Betrieb laufen Judges auf einer Stichprobe des echten Verkehrs, mit Alarmen pro Fehlertyp.

Mehr Details

Der Ausgangsbericht stellt Qualität, Kosten pro erfolgreicher Aufgabe und Latenz in eine Tabelle, mit Konfidenzintervallen. Bei 100 Fällen liegen 80 % und 83 % meist innerhalb des Rauschens, und das sagen wir, statt einen Erfolg zu verkünden.

Was das erste Projekt umfasst

Die Ausgangsmessung umfasst ein KI-Produkt oder einen Ablauf, etwa einen Support-Assistenten, ein internes RAG-Tool oder einen Prozessagenten, in bis zu zwei Sprachen. Dafür brauchen wir Zeit einer Fachperson von Ihrer Seite und Zugang zu Traces oder abgeschlossenen Fällen. Vor dem Start vereinbaren wir, wie wir mit diesen Daten umgehen, auch wie personenbezogene Daten pseudonymisiert werden.

Mehr Details

Teams, die bereits Evals betreiben, können mit dem unten beschriebenen Audit beginnen.

  • Fehlertypen mit Häufigkeiten
  • Ein versioniertes Testset in Ihrem Repository
  • Prüfungen im Code, Judge-Prompts und ein Bericht, wie gut jeder Judge mit Ihren Fachleuten übereinstimmt
  • Konfiguration für das CI-Gate und für Stichproben im Betrieb
  • Ein Ausgangsbericht mit Qualität, Kosten und Latenz sowie eine priorisierte Liste von Korrekturen

Laufende Pflege nach dem Erstaufbau

Eine Eval-Suite veraltet, wenn sich das Produkt ändert und die Tests nicht. Die laufende Pflege ist eine eigene Vereinbarung mit eigenem Umfang. Eine benannte Person bei Cloudsail verantwortet die Arbeit in einem mit Ihnen vereinbarten Rhythmus, zum Beispiel pro Release oder nach festem Zeitplan, und berichtet, was sich an der Suite geändert hat.

Mehr Details

Offline-Evals und Produktionsmonitoring beantworten unterschiedliche Fragen, deshalb berichten wir sie getrennt. Ein Fehler aus der Produktion oder aus Support-Tickets wird zum Kandidaten für einen Eval-Fall. Wir arbeiten mit so wenig Daten wie nötig, stimmen Zugriffsregeln mit Ihren Verantwortlichen für Sicherheit und Datenschutz ab und anonymisieren oder synthetisieren Beispiele, wo Rohdaten von Nutzern nicht gespeichert werden sollen.

  • Neue Fälle aus Produktionsfehlern, Support-Tickets und Produktänderungen ergänzen.
  • Die Kalibrierung der Judges erneut prüfen, wenn sich Modelle, Prompts oder Bewertungsraster ändern.
  • Veraltete Fälle aussortieren und Held-out-Sets getrennt halten.
  • Alternative Modelle, Prompts und Tools vergleichen, bevor Sie umstellen.

Ein Eval-Audit, wenn Sie schon Evals betreiben

Wir prüfen Ihre bestehenden Evals an Ihren Traces und an den Entscheidungen, die Sie damit treffen, und hinterlassen eine schriftliche Liste, was bleibt, was repariert wird und was wegfällt.

Mehr Details
  • Wie die Fehlertypen gefunden wurden und ob jemand echte Traces gelesen hat
  • Ob jeder Judge gegen menschliche Bewertungen getestet wurde, mit seiner Richtig-positiv- und Richtig-negativ-Rate
  • Ob das Testset Ihren Betrieb, Ihre Sprachen und die seltenen, teuersten Fälle abbildet
  • Ob Veränderungen der Werte größer sind als die Unsicherheit des Testsets
  • Ob Schwellenwerte in der CI und Alarme im Betrieb zu den Fehlern passen, die für Sie zählen

Tools und die KI-Verordnung

Wir arbeiten mit der Plattform, die Sie schon nutzen, etwa Langfuse, LangSmith oder Braintrust, oder ganz ohne. Testsets und Judges bleiben in einfachen Formaten in Ihrem Repository. Evaluierungstools haben in den letzten zwei Jahren oft den Eigentümer gewechselt, und OpenAI hat seine gehostete Evals-Plattform am 31. Oktober 2026 auf schreibgeschützt gestellt und schaltet sie am 30. November 2026 ab. Ihre Evals sollten deshalb von keinem einzelnen Tool abhängen.

Mehr Details

Nach der KI-Verordnung treffen die Pflichten, gegen festgelegte Kennzahlen zu testen, die Genauigkeit anzugeben und nach dem Start zu überwachen, die Anbieter von Hochrisiko-Systemen. Nach dem 2026 beschlossenen Zeitplan gelten sie ab dem 2. Dezember 2027 für die in Anhang III aufgeführten Hochrisiko-Anwendungen und ab dem 2. August 2028 für KI in Produkten nach Anhang I. Für die meisten Chatbots, internen Assistenten und RAG-Tools sieht die Verordnung keine solche Pflicht vor. Evals sind in jedem Fall gute Ingenieursarbeit, und sie können einen großen Teil der Testnachweise liefern, die ein Anbieter braucht, falls ein Anwendungsfall zum Hochrisiko-Fall wird. Wir bewerten keine Konformität und leisten keine Rechtsberatung.

Fragen

Was hat die Geschäftsführung von Evals?

Einen Ausgangsbericht, der zeigt, wie oft das Produkt scheitert, nach Fehlerart, neben Kosten pro erfolgreicher Aufgabe und Latenz, mit ausgewiesener Unsicherheit. Danach kommt jedes Release mit denselben Zahlen, sodass Entscheidungen über Starts, Modellwechsel und Ausgaben auf Messungen beruhen.

Reichen die Benchmarks des Modellanbieters nicht aus?

Öffentliche Benchmarks messen allgemeine Aufgaben, nicht Ihre Dokumente, die Fragen Ihrer Kunden oder Ihre Regeln. Ein Modell, das dort besser abschneidet, kann auf Ihren Fällen schlechter sein. Eigene Evals beantworten die Frage, die für Ihr Produkt zählt, und beantworten sie weiter, wenn der Anbieter das Modell ändert.

Bremsen Evals unsere Releases aus?

Das Gate in der CI besteht überwiegend aus Prüfungen im Code, die fast nichts kosten und jedes Mal dasselbe Ergebnis liefern. Judges laufen auf einer Stichprobe. Gestoppt wird ein Release nur, wenn sich eine Fehlerart, die Ihnen wichtig ist, messbar verschlechtert, und genau dafür ist das Gate da. Releases, die bestehen, gehen wie bisher raus, nur mit Zahlen dahinter.

Ist das LLM-Evaluierung, LLM-Evals oder KI-Evals?

Dieselbe Arbeit unter verschiedenen Namen. LLM-Evaluierung und LLM-Evals meinen meist das Testen der Antworten eines Modells, KI-Evals ist der weitere Begriff, der auch Agenten und Retrieval umfasst. Wir nennen das Ganze KI-Evals-Engineering und beschreiben Evals für KI-Agenten und RAG-Evaluierung auf eigenen Seiten.

Ist das dasselbe wie KI-Testing oder Qualitätssicherung für KI?

Wenn Sie das Testen eines KI-Systems meinen und nicht das Testen mit KI, dann weitgehend ja: Die Methoden sind dieselben. Unsere Seite Qualitätssicherung für KI-Systeme beschreibt sie als festen Abnahmetest mit Kriterien, Schwellenwerten und Bericht, für QA-Leitungen oder die Abnahme eines Systems, das ein Dienstleister gebaut hat. Diese Seite beschreibt Aufbau und Betrieb der Suite über die Zeit.

Was unterscheidet das von Ihren Evaluierungen für Coding-Agenten?

Die Evaluierungen für Coding-Agenten vergleichen Tools, Modelle und Einstellungen an Änderungen, die Ihre Engineers bereits gemergt haben. Dieses Angebot evaluiert das KI-Produkt selbst: den Assistenten, Agenten oder das RAG-System, das Ihre Kunden oder Mitarbeitenden nutzen.

Brauchen wir eine bestimmte Eval-Plattform?

Nein. Wir nutzen die, die Sie haben, oder einfache Dateien und Ihre CI. Alles, was wir bauen, bleibt in Ihrem Repository.

Was, wenn unser Produkt noch keine Nutzer hat?

Wir beginnen mit Fällen, die Ihre Fachleute aufschreiben, und mit synthetischen Fällen entlang festgelegter Dimensionen, und lesen die ersten echten Traces, sobald das System im Einsatz ist.

Was kostet das?

Ein Festpreis, vor dem Start schriftlich vereinbart. Er hängt von der Zahl der Sprachen ab, davon, ob es schon Traces gibt, wie viele Fehlertypen einen Judge brauchen und wie viel Arbeit in der CI anfällt. Wir nennen ihn nach einem ersten Gespräch von 30 Minuten.

Können wir Traces mit personenbezogenen Daten verwenden?

Ja, mit Regeln, die wir vorher vereinbaren: wie Namen und andere Kennungen pseudonymisiert werden, wo die Daten bleiben (in Ihrer Umgebung oder in Tools mit Hosting in der EU), wer sie liest und wie lange sie aufbewahrt werden. Wo wir personenbezogene Daten in Ihrem Auftrag verarbeiten, schließen wir einen Auftragsverarbeitungsvertrag (AVV).

Muss der Betriebsrat beteiligt werden?

Wenn Ihre eigenen Mitarbeitenden das System nutzen, können seine Traces zeigen, was einzelne Beschäftigte gefragt und getan haben, und damit kann der Betriebsrat nach § 87 BetrVG ins Spiel kommen. Wir evaluieren auf Ebene der Fälle und lassen weg, wer gefragt hat. Bei Systemen, die Ihre Kunden nutzen, stellt sich die Frage meist nicht. Das ist keine Rechtsberatung.

Was passiert im ersten Gespräch?

Dreißig Minuten mit einem unserer Engineers, kostenlos, über Ihr Produkt und die Fehler, die Ihnen Sorgen machen. Wir brauchen keinen Zugang zu Ihren Systemen. Danach schlagen wir Umfang und Preis vor.

Wie werden Erstaufbau und Pflege abgegrenzt und bepreist?

Getrennt. Der Erstaufbau ist ein abgegrenztes Projekt mit vereinbarten Ergebnissen: Datensätze, Checks, Judges, CI-Integration und ein erster Release-Bericht. Die Pflege ist eine eigene Vereinbarung mit eigenem Umfang und Rhythmus. Die Kosten hängen davon ab, wie viele Features und Fehlerarten abgedeckt werden, wie viel fachliches Review nötig ist, welche Vorgaben für Datenzugriff und Datenschutz gelten und wie oft sich Ihr Produkt ändert. Nach dem Engineering-Gespräch schlagen wir den Umfang schriftlich vor.

Mit einem Engineer sprechen

Nicht sicher, ob Ihre letzte Änderung Ihr KI-Produkt besser oder schlechter gemacht hat? Bringen Sie zwei oder drei Gespräche mit, in denen es danebenlag. Wir brauchen 30 Minuten und keinen Zugang zu Ihren Systemen oder Daten.

Die Buchung läuft über Google Kalender.

Mickey Graf

Mickey Graf

Gründer und Geschäftsführer von Cloudsail

Mit 4,9 von 5 auf Clutch bewertet

Lieber erst schreiben? Hinterlassen Sie Ihre E-Mail-Adresse und ein paar Zeilen. Mickey liest jede Nachricht selbst und antwortet per E-Mail mit Terminvorschlägen.

Die Schaltfläche bereitet in Ihrem eigenen E-Mail-Programm eine E-Mail vor, die Sie selbst senden. Datenschutzerklärung (Entwurf)