Pojęcia z projektów AI prostymi słowami

Duży model językowy działający na serwerach, które firma sama utrzymuje, we własnym centrum danych, dzięki czemu prompty, dokumenty i odpowiedzi nie opuszczają jej sieci. Zwykle chodzi o model open-weight serwowany na własnych GPU firmy.

LLM on-premise w firmie

Model językowy, którego wytrenowane wagi są opublikowane, więc firma może go pobrać i uruchomić na własnym sprzęcie. Licencje się różnią, więc użycie komercyjne trzeba sprawdzić dla każdego modelu.

AI on-premise

Usługa między aplikacjami a modelami językowymi, która daje im jedno API. Przechowuje klucz API i budżet dla każdego zespołu, kieruje zapytania do dozwolonych modeli, przełącza na model zapasowy, gdy dostawca ma awarię, i zapisuje użycie oraz koszty. Nazywana też bramą AI.

Co robi brama LLM

Otwartoźródłowa brama LLM i biblioteka Pythona, która udostępnia jedno API zgodne z OpenAI przed wieloma dostawcami modeli i modelami hostowanymi samodzielnie, z wirtualnymi kluczami, budżetami, routingiem i śledzeniem wydatków. Część funkcji wymaga płatnej licencji enterprise.

Wdrożenie LiteLLM

Otwartoźródłowy silnik do serwowania modeli językowych na GPU wielu użytkownikom naraz. Grupuje równoczesne zapytania i zarządza pamięcią GPU tak, że jeden serwer obsługuje znacznie więcej zapytań niż narzędzie dla jednej osoby.

vLLM na Kubernetes

Sposób odpowiadania na pytania na podstawie własnych dokumentów: system najpierw wyszukuje w indeksie fragmenty zawierające odpowiedź, a potem przekazuje je modelowi, który na ich podstawie odpowiada i może je cytować.

Tworzenie systemów RAG

Program, w którym model językowy sam decyduje o kolejnym kroku, na przykład które narzędzie wywołać albo który dokument przeczytać, aż zadanie zostanie wykonane. W firmach agenci zwykle przygotowują pracę i przekazują decyzje człowiekowi.

Agenci AI i automatyzacja procesów

System złożony z jednego lub wielu agentów wraz z narzędziami, dostępem do danych, uprawnieniami, zatwierdzeniami i testami wokół nich. Model jest tylko jedną częścią, a większość pracy inżynierskiej dotyczy całej reszty.

Agenci AI i automatyzacja procesów

Wszystko wokół agenta kodującego albo innego agenta, co kształtuje jego pracę: instrukcje, dozwolone polecenia, uprawnienia, kontrole, które musi przejść, i zasady review. Dwa zespoły z tym samym modelem osiągają różne wyniki głównie przez różny harness.

Harness engineering

Powtarzalny test systemu AI na stałym zestawie przypadków, który pokazuje, jak często system ma rację. Odpowiedzi sprawdza kod albo model oceniający (LLM as a judge), czyli inny LLM, który wystawia im oceny. Ewaluacje uruchamia się przed każdą zmianą modelu, promptu albo źródła danych, jak testy regresji w zwykłym oprogramowaniu.

Inżynieria ewaluacji AI

Test przed startem według kryteriów uzgodnionych z góry, na przykład wymaganego odsetka zaliczeń dla każdego rodzaju odpowiedzi, mierzony na 100 do 200 przypadkach z pracy firmy, z przedziałem ufności wokół każdego wyniku.

Testowanie systemów AI

Usługa, która udostępnia asystentom i agentom AI narzędzia przez Model Context Protocol, na przykład do odczytu zamówienia z ERP albo utworzenia zgłoszenia, z własnymi uprawnieniami i logami.

Tworzenie serwerów MCP

Praktyka utrzymania systemów opartych na modelach językowych: wersjonowane prompty i konfiguracja, wdrażanie aktualizacji modeli etapami z testami regresji, monitoring czasów odpowiedzi, błędów, jakości i kosztów oraz instrukcje na wypadek awarii.

Platforma LLM i MLOps

Dalsze trenowanie istniejącego modelu na własnych przykładach firmy, żeby nauczył się formatu albo wąskiego zadania. Do utrzymywania aktualnych faktów lepiej nadaje się wyszukiwanie w dokumentach (RAG).

Trenowanie własnych modeli

Agent, który pisze i zmienia kod w repozytorium, uruchamia polecenia i testy oraz proponuje zmiany do review, na przykład Claude Code, OpenAI Codex, Cursor albo GitHub Copilot w trybie agenta.

Wdrażanie agentów kodujących