Platforma LLM dla firm: jedna brama do wszystkich modeli, uruchomiona na Kubernetes

Bez bramy klucze leżą w wielu aplikacjach, wydatki przychodzą jako jedna faktura od każdego dostawcy, a zmiana modelu oznacza zmiany w kodzie każdego zespołu. Brama daje każdej aplikacji jedno API, niezależnie od tego, który model odpowiada, a tobie jedno miejsce, w którym decydujesz, kto może używać którego modelu.

• Klucz dla każdego zespołu lub aplikacji, unieważniany w jednym miejscu.
• Budżety i limity zapytań, zanim przyjdzie faktura.
• Koszty na zespół i na aplikację, a nie na dostawcę.
• Przełączenie na inny model, gdy dostawca ma awarię.
• Zasady określające, która aplikacja może korzystać z którego modelu.

LiteLLM to otwartoźródłowe proxy udostępniające API zgodne z OpenAI, które przekazuje zapytania do dostawców komercyjnych i do modeli, które hostujesz sam. Obsługuje wirtualne klucze, budżety, śledzenie wydatków, routing i modele zapasowe, a działa w twoim środowisku z własną bazą danych. Wdrażamy je za pomocą infrastruktury jako kodu, podłączamy do twojego dostawcy tożsamości i systemu logów i piszemy zasady routingu razem z twoimi zespołami.

Część funkcji, na przykład logowanie jednokrotne dla więcej niż pięciu użytkowników, należy do płatnej wersji enterprise LiteLLM. Sprawdzamy, których naprawdę potrzebujesz, zanim kupisz licencję. Żaden dostawca nam nie płaci, więc jeśli lepiej pasuje brama twojego dostawcy chmury albo inny produkt, używamy go.

Tam, gdzie dane nie mogą opuścić twojej infrastruktury albo jedno zadanie uruchamia się na tyle często, że własny sprzęt wychodzi taniej, serwujemy otwarte modele z vLLM na węzłach GPU w Kubernetes. Przed startem mierzymy czasy odpowiedzi i przepustowość przy oczekiwanym obciążeniu, więc sprzęt dobieramy na podstawie pomiarów, a nie karty katalogowej.

Platforma działa jak reszta twojej infrastruktury: w systemie kontroli wersji, wdrażana przez potoki i obserwowana w monitoringu, którego już używasz.

• Infrastruktura jako kod z Terraform i Helm, w twoich repozytoriach.
• CI/CD dla konfiguracji bramy, zasad routingu i promptów.
• Nowe wersje modeli wdrażane etapami, z testami regresji z twoich przypadków przed każdym krokiem.
• Monitoring czasów odpowiedzi, błędów i kosztów na zespół, z alertami.
• Instrukcje, z których twój zespół skorzysta bez nas.

Budujemy na Kubernetes, który już utrzymujesz, we własnej serwerowni albo jako usługę zarządzaną w AWS, Azure lub w twojej chmurze. Do modeli komercyjnych można sięgać przez twojego dostawcę chmury w regionie UE, więc zapytania pozostają w ramach umów, które już masz. Jedna brama może stać przed jednym i drugim, z zasadami określającymi, która aplikacja może korzystać z którego modelu.

Gdy każde zapytanie przechodzi przez bramę, koszty można raportować na zespół, aplikację i zadanie, a w razie potrzeby rozliczać wewnętrznie. Routing do tańszego modelu włączamy dopiero wtedy, gdy testy regresji pokażą, że jakość w danym zadaniu się utrzymuje, żeby oszczędności nie brały się z gorszych odpowiedzi.