Entscheiden, ob eine KI-Funktion auf eigener Infrastruktur laufen sollte

Die Anforderung benennen, die die Frage ausgelöst hat

Der Eigenbetrieb kommt aus unterschiedlichen Gründen auf den Tisch, und jeder hat seinen eigenen Test:

• Datenverarbeitung: Ein Vertrag oder eine Richtlinie schränkt ein, wo Daten verarbeitet werden dürfen. Prüfen Sie, ob eine gemanagte Option mit Ihren Vertragsbedingungen das erfüllt.
• Modellwahl: Sie brauchen ein Open-Weight- oder feinabgestimmtes Modell. Prüfen Sie, ob ein gemanagter Dienst Ihre Gewichte bereitstellen kann.
• Latenz: Die Funktion hat ein strenges Antwortzeitziel. Messen Sie das 95. Perzentil am gemanagten Endpunkt mit echten Prompts, bevor Sie davon ausgehen, dass er es verfehlt.
• Lebenszyklus: Anbieter nehmen Modelle nach eigenem Zeitplan außer Betrieb, und Anthropic weist darauf hin, dass Partnerplattformen eigene Termine setzen. Zählen Sie, wie oft Sie zur Migration gezwungen wären und was jede kostet.
• Kosten bei Volumen: Die Ausgaben wachsen mit dem Verkehr. Prüfen Sie das mit der Aufstellung weiter unten.

Nachlesen, was die Bedingungen des Anbieters schon regeln

Manche Teams gehen davon aus, dass ein gemanagter Endpunkt ihre Daten unbegrenzt behält. Lesen Sie stattdessen die aktuellen Bedingungen. In der API-Dokumentation von OpenAI steht zum Beispiel, dass API-Daten nicht für Training genutzt werden, sofern der Kunde nicht zustimmt, dass Logs zur Missbrauchsüberwachung Prompts und Antworten enthalten können und standardmäßig bis zu 30 Tage aufbewahrt werden, sofern Gesetz oder Schadensabwehr nicht mehr verlangen, dass einige Funktionen Anwendungszustand speichern und dass berechtigte Kunden Zero Data Retention oder Modified Abuse Monitoring beantragen können. Andere Anbieter veröffentlichen je nach Produkt und Tarif andere Bedingungen. Ob eine davon akzeptabel ist, entscheiden Ihre Verantwortlichen für Datenschutz und Recht. Die technische Aufgabe ist, den Datenfluss so genau zu beschreiben, dass diese Entscheidung möglich ist.

Was Sie übernehmen, wenn Sie das Modell selbst bereitstellen

• Kapazität für Spitzenlast mit Reserve, die auch im Leerlauf bezahlt wird, solange niemand eine Skalierung dafür baut
• Serving-Metriken, die jemand beobachtet: vLLM stellt zum Beispiel Prometheus-Metriken wie Time to First Token, End-to-End-Latenz und Auslastung des KV-Cache bereit
• Updates von Modellen, Serving-Software und Treibern, jeweils geprüft gegen Ihr Evaluierungsset
• Sicherheit der Hosts, der Modellgewichte und der Zugangsdaten des Endpunkts
• Bereitschaft für Ausfälle außerhalb der Bürozeiten

Der letzte Punkt geht in Kostenvergleichen leicht unter. Das SRE-Buch von Google leitet für ein Team an einem Standort mindestens acht Engineers ab, um eine Rufbereitschaft rund um die Uhr mit Primär- und Sekundärrolle zu tragen, unter der eigenen Regel, dass höchstens ein Viertel der Arbeitszeit auf Bereitschaft entfällt. Ihre Regeln können abweichen, und ein internes Tool braucht vielleicht nur Support zu Bürozeiten, doch die Rechnung zeigt, dass ein Betrieb rund um die Uhr ebenso eine Personal- wie eine Hardwarefrage ist.

Eine Aufstellung, um die Last zu messen

• Anfragen pro Tag und ihre Verteilung über Tag und Woche, einschließlich Spitzen
• Eingabe- und Ausgabe-Tokens pro Anfrage, aus Logs gemessen statt geschätzt
• Das Latenzziel und ob Anfragen gebündelt oder in eine Warteschlange gestellt werden können
• Ein Evaluierungsset, das jedes selbst betriebene Modell bestehen muss
• Gemanagte Kosten pro Monat, aus den Rechnungen
• Kosten des Eigenbetriebs pro Monat: Rechenleistung für Spitzenlast mit Reserve, Speicher und Netzwerk sowie Zeit für Engineering und Bereitschaft

Ein hypothetisches Beispiel zeigt, wie die Teile zusammenspielen. Angenommen, ein interner Dokumentenklassifikator hat gleichmäßigen Verkehr am Tag und nutzt eine nach Verbrauch abgerechnete Managed API, die M pro Monat kostet. Ein Open-Weight-Modell, das das Evaluierungsset besteht, braucht zur Redundanz zwei GPU-Instanzen zu je G pro Monat, dazu angenommen ein Viertel der Zeit eines Engineers für Updates und Monitoring, was E kostet. Der Eigenbetrieb ist nur günstiger, wenn 2G plus E unter M liegt. Endet der Verkehr nachts, stehen die Instanzen still, solange niemand ein Herunterskalieren baut, während die nach Verbrauch abgerechnete API nur genutzte Tokens berechnet. Reservierte oder dedizierte Kapazität bei einem Anbieter wird ebenfalls nach Kapazität abgerechnet und geht deshalb wie GPUs in den Vergleich ein. Das Verhältnis kann sich verschieben, wenn der Verkehr hoch und gleichmäßig ist oder ein kleineres feinabgestimmtes Modell dieselbe Evaluierung zu geringeren Serving-Kosten besteht. Messen Sie deshalb beides.

Optionen zwischen beiden Polen

Die Wahl ist selten binär. Modelle eines Anbieters über Ihr eigenes Cloud-Konto und Ihre Region, reservierte Kapazität bei einem Anbieter oder ein Routing, bei dem eine Aufgabe mit hohem Volumen an ein kleines selbst betriebenes Modell geht und der Rest gemanagt bleibt: Jede dieser Varianten verlagert einen Teil der Betriebsarbeit zu Ihnen. Jede hat auch eigene Bedingungen und einen eigenen Lebenszyklus, die Prüfungen oben gelten also je Option. Ein praktischer nächster Schritt ist, die Aufstellung mit einem Monat echter Logs zu füllen, bevor jemand Hardware dimensioniert.

KI-Engineering und -ArchitekturTraining eigener Modelle