Własny hosting LLM czy zarządzane API dla twojej firmy?

Nazwij wymaganie, które postawiło to pytanie

Własny hosting pojawia się z różnych powodów, a każdy ma własny test:

• Przetwarzanie danych: umowa lub polityka ogranicza, gdzie wolno je przetwarzać. Sprawdź, czy któraś opcja zarządzana, na twoich warunkach umownych, to spełnia.
• Wybór modelu: potrzebujesz modelu open-weight albo dostrojonego. Sprawdź, czy usługa zarządzana może serwować twoje wagi.
• Opóźnienie: funkcja ma ścisły cel czasu odpowiedzi. Zmierz 95. percentyl na zarządzanym endpoincie z prawdziwymi promptami, zanim uznasz, że go nie spełnia.
• Cykl życia modelu: dostawcy wycofują modele według własnego harmonogramu, a Anthropic zaznacza, że platformy partnerskie ustalają własne daty. Policz, jak często migracja byłaby wymuszona i ile kosztuje każda z nich.
• Koszt przy dużej skali: wydatki rosną z ruchem. Sprawdź to arkuszem poniżej.

Sprawdź, co już rozstrzygają warunki dostawcy

Zespoły czasem zakładają, że zarządzany endpoint przechowuje ich dane bez końca. Zamiast tego przeczytaj aktualne warunki. Dokumentacja API OpenAI podaje na przykład, że dane z API nie są używane do trenowania, chyba że klient wyrazi zgodę, że logi monitorowania nadużyć mogą zawierać prompty i odpowiedzi i domyślnie są przechowywane do 30 dni, o ile prawo lub zapobieganie szkodom nie wymaga dłużej, że niektóre funkcje zapisują stan aplikacji i że uprawnieni klienci mogą wnioskować o Zero Data Retention lub Modified Abuse Monitoring. Inni dostawcy publikują inne warunki w zależności od produktu i planu. O tym, czy któreś są do przyjęcia, decydują twoi właściciele ochrony danych i spraw prawnych; zadaniem inżynierów jest opisać przepływ danych na tyle dokładnie, by tę decyzję umożliwić.

Co bierzesz na siebie, serwując model samodzielnie

• Moc obliczeniowa na szczytowy ruch z zapasem, opłacana także w czasie bezczynności, dopóki ktoś nie zbuduje dla niej skalowania
• Metryki serwowania, które ktoś obserwuje: vLLM udostępnia na przykład metryki Prometheus, takie jak czas do pierwszego tokenu, opóźnienie całego żądania i zajętość pamięci KV cache
• Aktualizacje modeli, oprogramowania serwującego i sterowników, każda sprawdzona na twoim zestawie ewaluacyjnym
• Bezpieczeństwo hostów, wag modelu i poświadczeń endpointu
• Dyżury na wypadek awarii poza godzinami pracy

Ostatni punkt łatwo przeoczyć w porównaniu kosztów. Książka SRE Google'a wylicza minimum ośmiu inżynierów w zespole z jednej lokalizacji, by utrzymać całodobowe dyżury z osobą główną i zapasową, przy jej własnej zasadzie, że na dyżury przypada najwyżej jedna czwarta czasu inżyniera. Twoje zasady mogą być inne, a narzędzie wewnętrzne może potrzebować wsparcia tylko w godzinach pracy, ale to wyliczenie pokazuje, że praca całodobowa jest w równym stopniu decyzją kadrową co sprzętową.

Arkusz do pomiaru obciążenia

• Liczba żądań dziennie i ich rozkład w ciągu dnia i tygodnia, łącznie ze szczytami
• Tokeny wejściowe i wyjściowe na żądanie, zmierzone z logów, a nie oszacowane
• Docelowe opóźnienie i to, czy żądania można grupować lub kolejkować
• Zestaw ewaluacyjny, który musi przejść każdy model hostowany samodzielnie
• Miesięczny koszt usługi zarządzanej, wzięty z faktur
• Miesięczny koszt własnego hostingu: moc na szczyty z zapasem i redundancją, pamięć masowa i sieć, aktualizacje, testy regresji, praca inżynierów i dyżury
• Zadania spełniające uzgodnione kryteria jakości w każdej opcji oraz godziny sprawdzania, poprawek i obsługi wyjątków pomnożone przez odpowiedni godzinowy koszt pracy, z narzutami pracodawcy

Hipotetyczny przykład pokazuje, jak łączą się te elementy. Załóżmy, że wewnętrzny klasyfikator dokumentów ma równomierny ruch w ciągu dnia i korzysta z zarządzanego API rozliczanego za użycie, które kosztuje M miesięcznie. Model open-weight, który przechodzi zestaw ewaluacyjny, wymaga dwóch instancji GPU dla redundancji po G miesięcznie każda oraz, przyjmijmy, jednej czwartej czasu jednego inżyniera na aktualizacje i monitoring, co kosztuje E. W tym porównaniu samych kosztów infrastruktury i utrzymania własny hosting jest tańszy tylko wtedy, gdy 2G plus E jest mniejsze od M. Jeśli ruch zamiera w nocy, instancje stoją bezczynnie, dopóki ktoś nie zbuduje skalowania w dół, a API rozliczane za użycie nalicza opłaty tylko za zużyte tokeny. Zarezerwowana lub dedykowana moc u dostawcy jest rozliczana także za przepustowość, więc wchodzi do porównania tak samo jak GPU. Bilans może się przesunąć, gdy ruch jest duży i równomierny albo gdy mniejszy dostrojony model przechodzi tę samą ewaluację przy niższym koszcie serwowania, więc zmierz obie opcje.

Porównuj ten sam miesiąc i te same kryteria akceptacji. Uwzględnij ponowienia w liczbie zapytań i rachunkach. Przelicz godziny sprawdzania, poprawek i obsługi wyjątków na pieniądze, stosując odpowiedni godzinowy koszt pracy z narzutami pracodawcy. Dodaj te koszty w każdej opcji i podziel sumę przez liczbę zadań, które przeszły testy. Odrzucone wyniki nie liczą się jako sukcesy. Użyj zmierzonych godzin obciążenia i bezczynności zamiast zakładać pełne wykorzystanie GPU.

Opcje pośrednie

Wybór rzadko jest zero-jedynkowy. Modele dostawcy udostępniane przez twoje konto chmurowe i region, dedykowana moc od dostawcy albo routing, w którym jedno zadanie o dużym wolumenie trafia do małego modelu hostowanego samodzielnie, a reszta zostaje w usłudze zarządzanej: każda z tych opcji przenosi na ciebie część pracy operacyjnej. Każda ma też własne warunki i cykl życia, więc powyższe kontrole stosuje się do każdej opcji osobno. Praktyczny następny krok to wypełnienie arkusza danymi z miesiąca prawdziwych logów, zanim ktokolwiek zacznie dobierać sprzęt.

Inżynieria i architektura AITrenowanie własnych modeliWdrożenie prywatnego AI i przekazanie utrzymaniaCzego firma potrzebuje do LLM on-premise