BlogKosten
Modellkosten den Teams und Aufgaben zuordnen, die sie verursacht haben
Um eine LLM-Rechnung zu erklären, ordnen Sie jede Anfrage zu, während sie ein Gateway passiert: ein Schlüssel pro Team oder Service, Tags für Funktion und Aufgabe und eine Anfrage-ID, die sich mit dem fachlichen Ergebnis verknüpfen lässt. Bepreisen Sie diese Anfragen so, wie Ihr Vertrag sie abrechnet, verteilen Sie Kosten, die keine einzelne Anfrage verursacht hat, nach einer Regel, die alle kennen, und zählen Sie Wiederholungen und abgebrochene Läufe als Kosten statt als Rauschen. Gleichen Sie die Summe dann monatlich mit dem Bericht des Anbieters ab. Das Ergebnis sind Ausgaben pro Team und Aufgabe sowie Kosten pro akzeptiertem Ergebnis.
Anfragen beim Eintritt kennzeichnen, nicht erst nach der Rechnung
Eine Anbieterrechnung zeigt Modelle und Token, keine Teams. Ein Gateway kann den fehlenden Kontext ergänzen. Das Spend-Log von LiteLLM etwa erfasst für jede Anfrage den gehashten Schlüssel, den internen Nutzer und das Team, denen der Schlüssel gehört, alle Anfrage-Tags, das Modell und den verwendeten Endpunkt. Vergeben Sie einen Schlüssel pro Team oder Service und verlangen Sie Tags für Funktion und Aufgabe. Die Dokumentation kennzeichnet Kostenverfolgung und Berichte nach Tags als Enterprise-Funktion, prüfen Sie also Ihre Lizenz, bevor Sie sich darauf verlassen.
Zwei Details entscheiden, ob die Tags tragen. LiteLLM weist darauf hin, dass ein im Anfragetext übergebenes Nutzerfeld selbst deklariert ist und Kosten vom Schlüsselinhaber wegverschieben kann. Ordnen Sie also nach Schlüssel zu, nicht nach diesem Feld. Getrennte Workspaces oder Schlüssel beim Anbieter pro Team liefern zudem eine zweite, unabhängige Aufschlüsselung: Die Usage and Cost API von Anthropic gruppiert die Nutzung nach Workspace und API-Schlüssel.
Anfragen so bepreisen, wie Sie abgerechnet werden
Gateways schätzen Kosten anhand einer Preistabelle. LiteLLM nutzt dafür seine Model Cost Map, markiert Anfragen, die wegen eines fehlenden Satzes mit null bepreist werden, und dokumentiert ein Vorgehen bei Kostenabweichungen: Zeiträume angleichen, Tokenkategorien einschließlich Cache vergleichen und dann entscheiden, ob die Lücke aus der Erfassung, der Formel oder der Preistabelle stammt. Hinterlegen Sie Ihre verhandelten Sätze, Preise für Cache-Lese- und Schreibzugriffe und etwaige Abnahmezusagen in dieser Tabelle, sonst liegt die Zahl jedes Teams in dieselbe Richtung falsch.
Wiederholungen, Fallbacks und abgebrochene Läufe zählen
Eine Anfrage, die der Nutzer einmal sieht, kann mehrfach abgerechnet werden. Die LiteLLM-Dokumentation weist darauf hin, dass die Anfragezählungen aus dem Spend-Log jeden Upstream-Versuch einzeln erfassen, und jede Zeile hält fest, ob ein Fallback sie bedient hat. Agentenläufe, die in Schleifen geraten und dann scheitern, verbrauchen Token ohne Ergebnis. Weisen Sie das pro Team als eigene Zeile aus. Es kann die günstigste verfügbare Einsparung sein, denn diese Ausgaben wollte niemand.
Von Kosten pro Anfrage zu Kosten pro akzeptiertem Ergebnis
Kosten pro Anfrage belohnen billige Antworten, die niemand nutzt. Verknüpfen Sie Anfrage-IDs mit einem Ergebnis, das das Unternehmen ohnehin erfasst, etwa eine ohne Korrektur akzeptierte Extraktion oder einen Support-Entwurf, der mit kleinen Änderungen verschickt wurde. Ein hypothetischer Monat, bei dem 2.000 € gemeinsame Plattformkosten nach Tokenanteil im Verhältnis 40 zu 60 Prozent verteilt werden:
- Rechnungsextraktion: 4.200 € direkt plus 800 € anteilig, 111.000 von 120.000 Rechnungen ohne Korrektur akzeptiert, etwa 0,045 € pro akzeptierter Rechnung
- Support-Entwürfe: 6.800 € direkt, davon 900 € für Wiederholungen und abgebrochene Läufe, plus 1.200 € anteilig, 18.000 von 30.000 Entwürfen verschickt, etwa 0,44 € pro verschicktem Entwurf
Die zweite Zeile verdient eine genauere Untersuchung. Weniger als zwei von drei Entwürfen werden verschickt, und rund ein Achtel der direkten Ausgaben hat nichts hervorgebracht. Ob 0,44 € ein guter Wert sind, hängt davon ab, wie viel Bearbeitungszeit jeder verschickte Entwurf spart, und das kann nur das Support-Team einschätzen.
Monatlich mit dem Finanzbereich abgleichen
- 1
Mit der Rechnung beginnen
Nehmen Sie die Rechnungssumme jedes Anbieters und seinen Nutzungsbericht für denselben Zeitraum.
- 2
Mit dem Gateway vergleichen
Summieren Sie die Gateway-Ausgaben für den Zeitraum und erklären Sie die Differenz Posten für Posten.
- 3
Traffic finden, der das Gateway umgangen hat
Vergleichen Sie die Nutzung beim Anbieter pro API-Schlüssel oder Workspace mit den Gateway-Ausgaben für dieselben Schlüssel und denselben Zeitraum. Nutzung, die das Gateway nie protokolliert hat, deutet auf direkte Aufrufe hin, auch wenn sie einen gültigen Schlüssel tragen. Anthropic weist zudem Nutzung aus dem Console-Playground ohne API-Schlüssel und Nutzung im Standard-Workspace ohne Workspace-ID aus, diese erscheinen also als eigene, nicht zugeordnete Posten.
- 4
Showback veröffentlichen
Teilen Sie Ausgaben pro Team, die Zeile für verschwendete Kosten und die Kosten pro akzeptiertem Ergebnis, wie es der Leitfaden der FinOps Foundation zu KI nahelegt, bevor intern abgerechnet wird.
Fragen
Sollten wir Teams ihre LLM-Nutzung belasten oder sie nur zeigen?
Zuerst zeigen. Solange die Gateway-Summe nicht einige Monate in Folge mit den Rechnungen übereinstimmt, erzeugt eine Belastung Streit über die Zahlen statt Entscheidungen über die Arbeit.
Gilt das auch für Abonnements von Coding-Agenten?
Teilweise. Plätze und Abonnements werden pro Person abgerechnet, nicht pro Anfrage, und brauchen deshalb eine eigene Zeile neben der nutzungsbasierten Abrechnung. Der Service von Cloudsail zur Optimierung von LLM-Kosten deckt diese Aufschlüsselung speziell für Coding-Agenten ab.
Brauchen wir dafür ein Gateway?
Für eine grobe Aufteilung nicht. Getrennte Workspaces oder Schlüssel beim Anbieter pro Team liefern bereits Ausgaben pro Team. Tags auf Aufgabenebene, anbieterübergreifende Summen und Verknüpfungen mit fachlichen Ergebnissen sind mit einem Gateway im Pfad deutlich einfacher.
Verwandte Leistungen
KI-Engineering und -Architektur
Assistenten, Sprachschnittstellen und Agenten in den Produkten, die Sie verkaufen, samt Serving und Retrieval darunter.
LLM-Kostenoptimierung
Agentenkosten, aufgeschlüsselt nach Team und Aufgabe und gesenkt durch Voreinstellungen, Budgets und Routing, die Ihr Plattformteam selbst betreiben kann.
Mehr aus dem Blog
Einsparungen durch Prompt-Caching
Warum Prompt-Caching weniger spart als erwartet und wie Sie es messen: Voraussetzungen, die üblichen Ursachen für Cache-Misses, Nutzungsfelder pro Anfrage und der Abgleich mit der Rechnung.
Qualitätskontrolle beim LLM-Routing
Wie Sie einfache Anfragen an günstigere Modelle leiten, ohne Qualitätsverluste zu verbergen: den Router wie einen Klassifikator testen, Fallbacks getrennt halten und protokollieren, welches Modell tatsächlich geantwortet hat.
GPU-Kapazität für Inferenz planen
Wie Sie die GPU-Kapazität für ein selbst betriebenes Modell bemessen: was eine Replika begrenzt, wie Sie sie bei Ihrem Latenzziel benchmarken, wie viele Repliken die Spitzenlast braucht und wie Sie ungenutzte Stunden vermeiden.
Mit einem Engineer sprechen
Bringen Sie eine Aufgabe mit, die Sie verbessern möchten. Das Gespräch dauert 30 Minuten und braucht keinen Zugriff auf Ihre Systeme oder Ihre Daten.
Die Buchung läuft über Google Kalender.
Lieber zuerst schreiben? Hinterlassen Sie Ihre E-Mail-Adresse und ein paar Zeilen, dann antworten wir mit Terminvorschlägen.
Sehen Sie in Ihrem E-Mail-Programm nach dem Entwurf
Senden Sie ihn von dort ab, und ein Engineer antwortet Ihnen persönlich mit Terminvorschlägen für ein 30-minütiges Gespräch. Hat sich kein Entwurf geöffnet, schreiben Sie uns an miki@cloudsail.com.