BlogInfrastruktur
Ein LLM selbst hosten oder eine Modell-API nutzen?
Nutzen Sie eine Modell-API, es sei denn, eine konkrete Anforderung schließt sie aus oder Messungen zeigen, dass sich der Eigenbetrieb einschließlich Betriebsaufwand und menschlicher Prüfung rechnet. Prüfen Sie, wo Daten verarbeitet werden dürfen, welches Modell Sie brauchen, die Antwortzeit und wie lange das Modell verfügbar bleiben muss. Eine Entscheidungstabelle und ein Arbeitsblatt helfen, die Optionen an denselben Aufgaben zu vergleichen.
Die Anforderung benennen, die die Frage ausgelöst hat
Der Eigenbetrieb kommt aus unterschiedlichen Gründen auf den Tisch, und jeder hat seinen eigenen Test:
- Datenverarbeitung: Ein Vertrag oder eine Richtlinie schränkt ein, wo Daten verarbeitet werden dürfen. Prüfen Sie, ob eine gemanagte Option mit Ihren Vertragsbedingungen das erfüllt.
- Modellwahl: Sie brauchen ein Open-Weight- oder feinabgestimmtes Modell. Prüfen Sie, ob ein gemanagter Dienst Ihre Gewichte bereitstellen kann.
- Latenz: Die Funktion hat ein strenges Antwortzeitziel. Messen Sie das 95. Perzentil am gemanagten Endpunkt mit echten Prompts, bevor Sie davon ausgehen, dass er es verfehlt.
- Lebenszyklus: Anbieter nehmen Modelle nach eigenem Zeitplan außer Betrieb, und Anthropic weist darauf hin, dass Partnerplattformen eigene Termine setzen. Zählen Sie, wie oft Sie zur Migration gezwungen wären und was jede kostet.
- Kosten bei Volumen: Die Ausgaben wachsen mit dem Verkehr. Prüfen Sie das mit der Aufstellung weiter unten.
| Prüfpunkt | Das spricht für eine Modell-API | Das spricht für Eigenbetrieb |
|---|---|---|
| Datenverarbeitung | Ein vertraglich geregelter Dienst erfüllt die freigegebenen Datenregeln. | Ihre freigegebene Anforderung schließt die geprüften Modell-Dienste aus. |
| Last und Kosten | Die Last schwankt und die gemessenen Gesamtkosten pro akzeptierter Aufgabe sind niedriger. | Die gemessene Nutzung rechtfertigt die Kapazität samt Leerlauf, Reserve und Betriebsaufwand. |
| Verantwortung für den Betrieb | Ihr Team kann Updates des Modellbetriebs, Kapazität und Bereitschaft nicht übernehmen. | Eine benannte Person hat Zeit und Budget für Updates, Tests, Monitoring und Störungen. |
| Modellanforderungen | Ein verfügbares Modell beim Anbieter besteht Ihre Abnahmetests. | Sie brauchen Gewichte oder einen Modell-Lebenszyklus, den die geprüften Dienste nicht bieten. |
Nachlesen, was die Bedingungen des Anbieters schon regeln
Manche Teams gehen davon aus, dass ein gemanagter Endpunkt ihre Daten unbegrenzt behält. Lesen Sie stattdessen die aktuellen Bedingungen. In der API-Dokumentation von OpenAI steht zum Beispiel, dass API-Daten nicht für Training genutzt werden, sofern der Kunde nicht zustimmt, dass Logs zur Missbrauchsüberwachung Prompts und Antworten enthalten können und standardmäßig bis zu 30 Tage aufbewahrt werden, sofern Gesetz oder Schadensabwehr nicht mehr verlangen, dass einige Funktionen Anwendungszustand speichern und dass berechtigte Kunden Zero Data Retention oder Modified Abuse Monitoring beantragen können. Andere Anbieter veröffentlichen je nach Produkt und Tarif andere Bedingungen. Ob eine davon akzeptabel ist, entscheiden Ihre Verantwortlichen für Datenschutz und Recht. Die technische Aufgabe ist, den Datenfluss so genau zu beschreiben, dass diese Entscheidung möglich ist.
Was Sie übernehmen, wenn Sie das Modell selbst bereitstellen
- Kapazität für Spitzenlast mit Reserve, die auch im Leerlauf bezahlt wird, solange niemand eine Skalierung dafür baut
- Serving-Metriken, die jemand beobachtet: vLLM stellt zum Beispiel Prometheus-Metriken wie Time to First Token, End-to-End-Latenz und Auslastung des KV-Cache bereit
- Updates von Modellen, Serving-Software und Treibern, jeweils geprüft gegen Ihr Evaluierungsset
- Sicherheit der Hosts, der Modellgewichte und der Zugangsdaten des Endpunkts
- Bereitschaft für Ausfälle außerhalb der Bürozeiten
Der letzte Punkt geht in Kostenvergleichen leicht unter. Das SRE-Buch von Google leitet für ein Team an einem Standort mindestens acht Engineers ab, um eine Rufbereitschaft rund um die Uhr mit Primär- und Sekundärrolle zu tragen, unter der eigenen Regel, dass höchstens ein Viertel der Arbeitszeit auf Bereitschaft entfällt. Ihre Regeln können abweichen, und ein internes Tool braucht vielleicht nur Support zu Bürozeiten, doch die Rechnung zeigt, dass ein Betrieb rund um die Uhr ebenso eine Personal- wie eine Hardwarefrage ist.
Eine Aufstellung, um die Last zu messen
- Anfragen pro Tag und ihre Verteilung über Tag und Woche, einschließlich Spitzen
- Eingabe- und Ausgabe-Tokens pro Anfrage, aus Logs gemessen statt geschätzt
- Das Latenzziel und ob Anfragen gebündelt oder in eine Warteschlange gestellt werden können
- Ein Evaluierungsset, das jedes selbst betriebene Modell bestehen muss
- Gemanagte Kosten pro Monat, aus den Rechnungen
- Monatliche Kosten im Eigenbetrieb: Spitzenkapazität mit Reserve und Redundanz, Speicher und Netzwerk, Updates, Regressionstests, Engineering und Bereitschaft
- Aufgaben, die je Option die vereinbarten Qualitätsprüfungen bestehen, sowie Stunden für Prüfung, Korrekturen und Ausnahmen, multipliziert mit den jeweiligen Personalvollkosten pro Stunde
Ein hypothetisches Beispiel zeigt, wie die Teile zusammenspielen. Angenommen, ein interner Dokumentenklassifikator hat gleichmäßigen Verkehr am Tag und nutzt eine nach Verbrauch abgerechnete Managed API, die M pro Monat kostet. Ein Open-Weight-Modell, das das Evaluierungsset besteht, braucht zur Redundanz zwei GPU-Instanzen zu je G pro Monat, dazu angenommen ein Viertel der Zeit eines Engineers für Updates und Monitoring, was E kostet. Beim Vergleich dieser Infrastruktur- und Betriebskosten ist der Eigenbetrieb nur günstiger, wenn 2G plus E unter M liegt. Endet der Verkehr nachts, stehen die Instanzen still, solange niemand ein Herunterskalieren baut, während die nach Verbrauch abgerechnete API nur genutzte Tokens berechnet. Reservierte oder dedizierte Kapazität bei einem Anbieter wird ebenfalls nach Kapazität abgerechnet und geht deshalb wie GPUs in den Vergleich ein. Das Verhältnis kann sich verschieben, wenn der Verkehr hoch und gleichmäßig ist oder ein kleineres feinabgestimmtes Modell dieselbe Evaluierung zu geringeren Serving-Kosten besteht. Messen Sie deshalb beides.
Vergleichen Sie denselben Monat und dieselben Abnahmekriterien. Zählen Sie erneute Versuche bei Anfragen und Rechnungen mit. Rechnen Sie Stunden für Prüfung, Korrekturen und Ausnahmen mit den jeweiligen Personalvollkosten pro Stunde in Geld um. Addieren Sie diese Kosten je Option und teilen Sie die Gesamtkosten durch die Zahl der bestandenen Aufgaben. Verworfene Ausgaben zählen nicht als Erfolge. Nutzen Sie gemessene Last- und Leerlaufzeiten statt voller GPU-Auslastung.
Optionen zwischen beiden Polen
Die Wahl ist selten binär. Modelle eines Anbieters über Ihr eigenes Cloud-Konto und Ihre Region, reservierte Kapazität bei einem Anbieter oder ein Routing, bei dem eine Aufgabe mit hohem Volumen an ein kleines selbst betriebenes Modell geht und der Rest gemanagt bleibt: Jede dieser Varianten verlagert einen Teil der Betriebsarbeit zu Ihnen. Jede hat auch eigene Bedingungen und einen eigenen Lebenszyklus, die Prüfungen oben gelten also je Option. Ein praktischer nächster Schritt ist, die Aufstellung mit einem Monat echter Logs zu füllen, bevor jemand Hardware dimensioniert.
KI-Engineering und -ArchitekturTraining eigener ModellePrivate KI bereitstellen und den Betrieb übergebenWas ein Unternehmen für ein On-Premise-LLM braucht
Fragen
Ist Eigenbetrieb automatisch datenschutzfreundlicher?
Die Inferenz bleibt in Ihrer Umgebung, doch der Datenschutz hängt dann von Ihren eigenen Kontrollen ab: wer Prompts in Logs lesen kann, wie lange Traces aufbewahrt werden und wie die Hosts abgesichert sind. Für ein Team ohne diese Kapazität kann ein gemanagter Endpunkt mit passenden Bedingungen die besser kontrollierte Option sein.
Können wir gemanagt starten und später wechseln?
Ja, wenn die Integration portabel bleibt: eine schlanke interne Schnittstelle zum Modell, Prompts und Evaluierungssets in der Versionsverwaltung und keine Abhängigkeit von anbieterspezifischen Funktionen, die Sie nicht ersetzen könnten. Mit dem Evaluierungsset vergleichen Sie ein selbst betriebenes Modell vor dem Wechsel mit dem gemanagten.
Welches Open-Weight-Modell sollten wir betreiben?
Wählen Sie Modelle vor, deren Lizenz und Größe zu Ihren Anforderungen und Ihrer Hardware passen, und nehmen Sie dann das, das Ihr Evaluierungsset bei Ihrem Latenzziel besteht. Plätze in öffentlichen Ranglisten sagen wenig über die Leistung bei Ihrer Aufgabe.
Verwandte Leistungen
KI-Engineering und -Architektur
Assistenten, Sprachschnittstellen und Agenten in den Produkten, die Sie verkaufen, samt Serving und Retrieval darunter.
Training eigener Modelle
Ein kleines Open-Weight-Modell, für eine Aufgabe trainiert und bei Kosten und Genauigkeit mit Ihrem aktuellen Modell verglichen.
LLM-Kostenoptimierung
Agentenkosten, aufgeschlüsselt nach Team und Aufgabe und gesenkt durch Voreinstellungen, Budgets und Routing, die Ihr Plattformteam selbst betreiben kann.
Mehr aus dem Blog
Failover zwischen Modellanbietern
Wie Sie bei einem Ausfall auf ein anderes Modell umschalten, ohne still Qualität, Berechtigungen oder Datenbedingungen zu ändern: ein Ausweichvertrag, Auslöser, Äquivalenztests und Rückkehr.
Runbooks für KI-Funktionen
Was die Bereitschaft tun sollte, wenn eine KI-Funktion langsam, nicht verfügbar, teuer, falsch oder außerhalb ihrer Grenzen ist: Symptomklassen, Runbook-Einträge, sichere Schalter und Verantwortliche.
Aufbewahrung von KI-Traces
Was Sie protokollieren sollten, um Agenten zu debuggen, ohne jeden sensiblen Prompt aufzubewahren: drei Stufen von Trace-Daten, Inhalte standardmäßig aus, Grenzen der Schwärzung und Fristen Ihrer Verantwortlichen.
ChatGPT im Unternehmen und Datenschutz
Vier Wege, KI im Stil von ChatGPT im Unternehmen zu nutzen, von privaten Konten bis zu eigenen Servern, und was dabei jeweils das Haus verlässt. Den Ausschlag geben die sensibelsten Daten.
Mit einem Engineer sprechen
Bringen Sie eine Aufgabe mit, die Sie verbessern möchten. Das Gespräch dauert 30 Minuten und braucht keinen Zugriff auf Ihre Systeme oder Ihre Daten.
Die Buchung läuft über Google Kalender.
Wenn Sie ein Gespräch buchen, sprechen Sie mit Mickey Graf
Er hat Cloudsail gegründet und bringt seit 2017 Machine Learning in Produktion, unter anderem als AI Engineer bei trivago und SAP. Das Gespräch führen Sie auf Deutsch, Englisch oder Polnisch.
Lieber erst schreiben? Hinterlassen Sie Ihre E-Mail-Adresse und ein paar Zeilen. Mickey liest jede Nachricht selbst und antwortet per E-Mail mit Terminvorschlägen.
Sehen Sie in Ihrem E-Mail-Programm nach dem Entwurf
Senden Sie ihn von dort ab, und Mickey antwortet Ihnen persönlich mit Terminvorschlägen für ein 30-minütiges Gespräch. Hat sich kein Entwurf geöffnet, schreiben Sie uns an miki@cloudsail.com.