AI on-premise dla firm: własni asystenci i agenci AI na twojej infrastrukturze

Większość firm, z którymi rozmawiamy, chce AI na własnych instrukcjach, umowach, zgłoszeniach i danych procesowych, a wiele z nich nie może albo nie chce wysyłać tych danych do dostawcy, którego nie kontroluje. Uruchomienie modeli u siebie albo na koncie chmurowym na własnej umowie odpowiada na pierwsze pytanie, które zada inspektor ochrony danych.

Nie zawsze to dobra odpowiedź. Sprzęt trzeba kupić i utrzymywać, otwarte modele w części zadań wciąż ustępują największym modelom komercyjnym, a dla małej grupy użytkowników region chmurowy może wyjść taniej. Co dotyczy twojej firmy, mówimy na etapie ustalania zakresu, zanim cokolwiek zostanie kupione.

• Twoje dane zostają w twojej sieci albo na twoim koncie w chmurze.
• Ty wybierasz model i możesz go zmienić bez przebudowy aplikacji.
• Koszty wynikają z zaplanowanego sprzętu i mocy, a nie z rachunku za tokeny, który rośnie z każdym nowym użytkownikiem.
• Rada pracowników i inspektor ochrony danych widzą, co i gdzie działa.

We własnym centrum danych, gdy dane nie mogą opuścić sieci albo gdy użycie jest na tyle duże i równe, że własny sprzęt się opłaca. Na koncie chmurowym, które kontrolujesz, w AWS, Azure albo u dostawcy, z którego już korzystasz, gdy ważniejszy jest szybki start albo zmienne obciążenie. Jedno i drugie za jedną bramą, gdy różne dane wymagają różnych zasad.

Układ jest w każdym przypadku taki sam: kontenery na Kubernetes, brama LiteLLM przed modelami i infrastruktura jako kod w twoich repozytoriach. Przeniesienie obciążenia później to zmiana konfiguracji i mocy, a nie zaczynanie od nowa.

Systemy, które odpowiadają na podstawie twoich dokumentów albo przygotowują pracę, o której decyduje człowiek. Każdy zaczyna się od przypadku użycia z konkretną liczbą: zaoszczędzone godziny w tygodniu, odpowiedzi, których zespół nie musi już szukać sam, albo sprawy przygotowane dziennie.

• Asystent serwisowy, który odpowiada na podstawie instrukcji, list części zamiennych i dawnych zgłoszeń, dla serwisantów i infolinii.
• Asystent do ofert i przetargów, który znajduje wymagania, wcześniejsze oferty i właściwe dane produktów.
• Wewnętrzna wyszukiwarka wiedzy, która respektuje uprawnienia do dokumentów, które już masz.
• Agent, który przygotowuje jeden krok procesu, na przykład sprawdzenie przychodzącego zamówienia, i przekazuje go człowiekowi.

Otwarte modele dobieramy do zadania i testujemy kandydatów na twoich własnych przypadkach, po polsku lub niemiecku, jeśli w tym języku pracują twoi użytkownicy, zanim któryś zostanie wybrany. Tam, gdzie pozwalają na to twoje zasady, modele komercyjne, takie jak Claude albo GPT, mogą stać za tą samą bramą przy zadaniach, które wykonują lepiej.

Sprzęt dobieramy według liczby użytkowników, długości dokumentów i potrzebnych czasów odpowiedzi. Rekomendujemy serwery i GPU; kupujesz je bezpośrednio albo u swojego stałego dostawcy IT, albo zaczynasz na koncie w chmurze i decydujesz później.

Demo pokazuje, że system potrafi odpowiedzieć. Test akceptacyjny pokazuje, jak często odpowiada poprawnie. Przed startem ustalamy z twoimi ekspertami kryteria akceptacji, uruchamiamy od 100 do 200 przypadków testowych z twoich dokumentów i spraw i dla każdego kryterium podajemy odsetek zaliczeń z przedziałem ufności. Kryteria trafiają do umowy, więc odbiór jest pomiarem, a nie kwestią opinii.

Te same przypadki testowe stają się zestawem testów regresji, który uruchamia się po każdej zmianie modelu, promptów albo dokumentów.

Model, dokumenty i użytkownicy zmieniają się co miesiąc. Po przekazaniu system prowadzi twój zespół na podstawie instrukcji i szkolenia, które zostawiamy, albo my w ramach umowy na utrzymanie rozliczanej miesięcznie: aktualizacje modeli i infrastruktury, testy regresji przy każdej zmianie, monitoring czasów odpowiedzi, błędów i kosztów na zespół oraz miesięczny raport jakości od stałego inżyniera.

Każda umowa zawiera umowę powierzenia przetwarzania danych. W systemach na twoich serwerach żadne dane nie opuszczają twojej sieci, a my pracujemy tylko przez dostęp, który nam przyznasz. Rada pracowników dostaje prosty opis tego, co system robi, co zapisuje w logach i kto może je oglądać, a ustalone z nią zasady są wdrożone, zanim system zostanie uruchomiony.