Begriffe aus KI-Projekten in klaren Worten
Kurze Definitionen der Begriffe, die auftauchen, wenn ein Unternehmen KI auf eigener Infrastruktur betreibt, seine Daten anbindet und Agenten baut. Jeder Begriff verweist auf die Seite mit den Details.
- On-Premise-LLM
Ein großes Sprachmodell, das auf Servern läuft, die das Unternehmen selbst betreibt, im eigenen Rechenzentrum, sodass Prompts, Dokumente und Antworten das eigene Netz nicht verlassen. Meist ist ein Open-Weight-Modell auf eigenen GPUs gemeint.
- Open-Weight-Modell
Ein Sprachmodell, dessen trainierte Gewichte veröffentlicht sind, sodass ein Unternehmen es herunterladen und auf eigener Hardware betreiben kann. Die Lizenzen unterscheiden sich, deshalb muss die kommerzielle Nutzung je Modell geprüft werden.
- LLM-Gateway
Ein Dienst zwischen Anwendungen und Sprachmodellen, der ihnen eine einheitliche Schnittstelle gibt. Er verwaltet einen API-Schlüssel und ein Budget je Team, leitet Anfragen an die erlaubten Modelle, weicht bei einem Anbieterausfall auf ein anderes Modell aus und protokolliert Nutzung und Kosten. Auch AI Gateway genannt.
- LiteLLM
Ein Open-Source-LLM-Gateway und eine Python-Bibliothek, die eine OpenAI-kompatible Schnittstelle vor vielen Modellanbietern und selbst betriebenen Modellen bietet, mit virtuellen Schlüsseln, Budgets, Routing und Kostenerfassung. Einige Funktionen brauchen eine kostenpflichtige Enterprise-Lizenz.
- vLLM
Eine Open-Source-Engine, die Sprachmodelle auf GPUs für viele Nutzer gleichzeitig bereitstellt. Sie bündelt gleichzeitige Anfragen und verwaltet den GPU-Speicher so, dass ein Server deutlich mehr Anfragen beantwortet als ein Werkzeug für Einzelnutzer.
- RAG (Retrieval-Augmented Generation)
Ein Verfahren, Fragen aus den eigenen Dokumenten zu beantworten: Das System sucht zuerst in einem Index nach den Textstellen mit der Antwort und gibt sie dann dem Modell, das daraus antwortet und sie zitieren kann.
- KI-Agent
Ein Programm, in dem ein Sprachmodell den nächsten Schritt selbst wählt, etwa welches Werkzeug es aufruft oder welches Dokument es liest, bis eine Aufgabe erledigt ist. In Unternehmen bereiten Agenten meist Arbeit vor und übergeben Entscheidungen an einen Menschen.
- Agentisches System
Ein System aus einem oder mehreren Agenten samt den Werkzeugen, Datenzugriffen, Berechtigungen, Freigaben und Tests darum herum. Das Modell ist ein Teil davon, die meiste Ingenieursarbeit steckt im Rest.
- Agent-Harness
Alles rund um einen Coding-Agenten oder anderen Agenten, das seine Arbeit prägt: Anweisungen, erlaubte Befehle, Berechtigungen, Prüfungen, die er bestehen muss, und die Review-Regeln. Zwei Teams mit demselben Modell kommen vor allem wegen ihres Harness zu unterschiedlichen Ergebnissen.
- Eval (KI-Evaluierung)
Ein wiederholbarer Test eines KI-Systems an einem festen Satz von Fällen, der zeigt, wie oft das System richtig liegt. Geprüft wird im Code oder durch ein Bewertungsmodell (LLM as a Judge), also ein weiteres LLM, das die Antworten benotet. Evals laufen vor jeder Änderung an Modell, Prompt oder Datenquelle, wie Regressionstests bei normaler Software.
- Abnahmetest für KI-Systeme
Ein Test vor dem Go-live gegen vorab vereinbarte Kriterien, etwa eine geforderte Erfolgsquote je Antworttyp, gemessen an 100 bis 200 Fällen aus der eigenen Arbeit des Unternehmens, mit einem Konfidenzintervall um jedes Ergebnis.
- MCP-Server
Ein Dienst, der KI-Assistenten und Agenten über das Model Context Protocol Werkzeuge anbietet, etwa um einen Auftrag aus dem ERP zu lesen oder ein Ticket anzulegen, mit eigenen Berechtigungen und Protokollen.
- LLMOps
Die Betriebspraxis für Systeme auf Basis von Sprachmodellen: versionierte Prompts und Konfiguration, stufenweise Modell-Updates mit Regressionstests, Monitoring von Antwortzeiten, Fehlern, Qualität und Kosten sowie Runbooks für Störungen.
- Fine-Tuning
Weiteres Training eines bestehenden Modells mit eigenen Beispielen des Unternehmens, damit es ein Format oder eine eng umrissene Aufgabe lernt. Um Fakten aktuell zu halten, ist die Suche in Dokumenten (RAG) das bessere Werkzeug.
- Coding-Agent
Ein Agent, der in einem Repository Code schreibt und ändert, Befehle und Tests ausführt und Änderungen zum Review vorschlägt, etwa Claude Code, OpenAI Codex, Cursor oder GitHub Copilot im Agentenmodus.
Mit einem Engineer sprechen
Bringen Sie eine Aufgabe mit, die Sie verbessern möchten. Das Gespräch dauert 30 Minuten und braucht keinen Zugriff auf Ihre Systeme oder Ihre Daten.
Die Buchung läuft über Google Kalender.
Lieber zuerst schreiben? Hinterlassen Sie Ihre E-Mail-Adresse und ein paar Zeilen, dann antworten wir mit Terminvorschlägen.
Sehen Sie in Ihrem E-Mail-Programm nach dem Entwurf
Senden Sie ihn von dort ab, und ein Engineer antwortet Ihnen persönlich mit Terminvorschlägen für ein 30-minütiges Gespräch. Hat sich kein Entwurf geöffnet, schreiben Sie uns an miki@cloudsail.com.