KI-Plattform für Unternehmen: ein LLM-Gateway für alle Modelle, betrieben auf Kubernetes

Ohne Gateway stecken Schlüssel in vielen Anwendungen, die Kosten kommen als eine Rechnung pro Anbieter, und ein Modellwechsel bedeutet Codeänderungen in jedem Team. Ein Gateway gibt jeder Anwendung eine Schnittstelle, egal welches Modell antwortet, und Ihnen einen Ort, an dem Sie festlegen, wer welches Modell nutzen darf.

• Ein Schlüssel je Team oder Anwendung, an einer Stelle widerrufbar.
• Budgets und Ratenlimits, bevor die Rechnung kommt.
• Kosten je Team und je Anwendung, nicht je Anbieter.
• Ausweichen auf ein anderes Modell, wenn ein Anbieter ausfällt.
• Regeln, welche Anwendung welches Modell nutzen darf.

LiteLLM ist ein Open-Source-Proxy, der das API-Format von OpenAI spricht und Anfragen an kommerzielle Anbieter und an selbst betriebene Modelle weiterleitet. Er verwaltet virtuelle Schlüssel, Budgets, Kostenerfassung, Routing und Ausweichmodelle und läuft mit eigener Datenbank in Ihrer Umgebung. Wir richten ihn mit Infrastruktur als Code ein, binden ihn an Ihren Identitätsanbieter und Ihr Logging an und schreiben die Routing-Regeln mit Ihren Teams.

Einige Funktionen, etwa Single Sign-on für mehr als fünf Nutzer, gehören zur kostenpflichtigen Enterprise-Version von LiteLLM. Wir prüfen, welche Sie wirklich brauchen, bevor Sie eine Lizenz kaufen. Kein Anbieter bezahlt uns, deshalb nehmen wir das Gateway Ihres Cloud-Anbieters oder ein anderes Produkt, wenn es besser passt.

Wo Daten Ihre Infrastruktur nicht verlassen dürfen oder eine Aufgabe so oft läuft, dass eigene Hardware günstiger ist, betreiben wir offene Modelle mit vLLM auf GPU-Knoten in Kubernetes. Vor dem Go-live messen wir Antwortzeiten und Durchsatz unter der erwarteten Last, damit die Hardware nach Messwerten dimensioniert wird und nicht nach Datenblatt.

Die Plattform läuft wie der Rest Ihrer Infrastruktur: versioniert, über Pipelines ausgerollt und überwacht mit dem Monitoring, das Sie schon nutzen.

• Infrastruktur als Code mit Terraform und Helm, in Ihren Repositories.
• CI/CD für Gateway-Konfiguration, Routing-Regeln und Prompts.
• Neue Modellversionen stufenweise ausgerollt, mit Regressionstests aus Ihren eigenen Fällen vor jedem Schritt.
• Monitoring von Antwortzeiten, Fehlern und Kosten je Team, mit Alarmen.
• Runbooks, mit denen Ihr Team ohne uns arbeiten kann.

Wir bauen auf dem Kubernetes auf, das Sie schon betreiben, im eigenen Haus oder als Managed Service bei AWS, Azure oder Ihrer Cloud. Kommerzielle Modelle lassen sich über Ihren Cloud-Anbieter in einer EU-Region erreichen, sodass Anfragen unter Ihren bestehenden Verträgen bleiben. Ein Gateway kann vor beidem stehen, mit Regeln, welche Anwendung welches Modell nutzen darf.

Wenn jede Anfrage über das Gateway läuft, lassen sich Kosten je Team, Anwendung und Aufgabe ausweisen und auf Wunsch weiterverrechnen. Routing auf ein günstigeres Modell schalten wir erst ein, wenn die Regressionstests zeigen, dass die Qualität für diese Aufgabe hält, damit Einsparungen nicht aus schlechteren Antworten kommen.