Co musi być gotowe, zanim pilotaż AI trafi na produkcję

Co się zmienia, gdy zespół pilotażu przestaje patrzeć

• Zauważanie błędów. W pilotażu twórcy czytają większość wyników. Na produkcji to monitoring i weryfikacja próbki muszą znaleźć to, co poszło źle.
• Zmiany w systemie. Prompt edytowany w notatniku staje się wersjonowanym wydaniem, które przechodzi przez pipeline i da się je wycofać.
• Testowanie. Wytyczne Anthropic dotyczące ewaluacji odróżniają ewaluacje możliwości, które zaczynają od niskiego odsetka zaliczeń i pokazują, co poprawić, od ewaluacji regresji, które powinny przechodzić niemal w całości i chronią to, co już działa. Produkcja potrzebuje tych drugich.
• Wsparcie. Wiadomość do programisty, który to zbudował, zamienia się w ścieżkę wsparcia, runbook i osobę dostępną w godzinach działania procesu.
• Wolumen. Kilkaset przypadków testowych zamienia się w pełny wolumen ze szczytami, limitami dostawców i okazjonalnymi awariami.

Przegląd gotowości zapożyczony z SRE

Zespoły SRE w Google przeprowadzają przegląd gotowości produkcyjnej, zanim przejmą odpowiedzialność za usługę, z listą kontrolną dopasowaną do tej usługi. Pyta ona na przykład, czy wszystkie widoczne dla użytkowników błędy są monitorowane z alertami i czy błędy trafiają do centralnego logowania. W usłudze procesowej opartej na AI lista zyskuje punkty, których klasyczne usługi nie mają.

1. 1

   Zestaw regresji

   Odłożone przypadki plus każdy błąd znaleziony w pilotażu, uruchamiane przy każdej zmianie promptu, modelu, narzędzia lub ustawień retrievalu. Regresja blokuje wydanie.

2. 2

   Wersje i rollback

   Prompty, identyfikatory modeli i definicje narzędzi są wersjonowane razem, a poprzednią wersję można ponownie wdrożyć. AWS Generative AI Lens zaleca wersjonowane szablony promptów właśnie z tego powodu.

3. 3

   Monitoring

   Błędy, opóźnienia i koszt sprawy oraz sygnały jakości: odsetek błędów w próbce, odsetek eskalacji i okresowe przebiegi na zestawie referencyjnym, żeby wychwycić dryf.

4. 4

   Cele z konsekwencjami

   Kilka celów dla jakości, czasu obsługi i kosztu, z uzgodnioną reakcją, gdy któryś nie zostanie osiągnięty. Książka SRE radzi, by celów było mało i by były proste.

5. 5

   Bezpieczna awaria

   Gdy dostawca modelu nie odpowiada lub ma awarię, sprawy trafiają do ręcznej kolejki i nie giną ani nie zostają przetworzone w połowie.

6. 6

   Właściciel i wsparcie

   Wskazany właściciel, ścieżka wsparcia na godziny działania procesu i runbook dla dotychczas zaobserwowanych awarii.

Hipotetyczna bramka uruchomienia

Wyobraźcie sobie pilotaż wstępnej klasyfikacji szkód, który spełnił kryteria akceptacji. Na przeglądzie gotowości zestaw regresji przechodzi, rollback przećwiczono na środowisku staging, odsetek błędów w próbce widać na dashboardzie, a kierownik zespołu likwidacji przyjął odpowiedzialność. Jeden punkt nie jest spełniony: nikt nie sprawdził, co się dzieje, gdy dostawca modelu jest niedostępny. Uruchomienie czeka, aż symulowana awaria pokaże, że sprawy trafiają do ręcznej kolejki. Jeden otwarty punkt wystarczy, by przesunąć uruchomienie, bo dotyczy ścieżki awarii, której działania nikt jeszcze nie widział.

Przekazanie zespołowi, który będzie go prowadził

W modelu Google recenzenci szkolą przejmujący zespół przeglądami architektury, dogłębnym omówieniem przepływów żądań i ćwiczeniami praktycznymi, a potem przekazują odpowiedzialność krok po kroku, podczas gdy twórcy przez pewien czas pozostają wsparciem. W systemie AI ćwiczenia są konkretne: wspólne czytanie zapisów błędów, uruchomienie zestawu regresji dla proponowanej zmiany promptu, wykonanie rollbacku i wyjaśnienie skoku kosztu sprawy. Koniec okresu wsparcia określcie zdarzeniem, na przykład samodzielnym rollbackiem wykonanym przez zespół utrzymania, a nie datą.

Włączanie etapami

AWS Lens opisuje wdrożenie jako kontrolowane uruchamianie, które skaluje się na prawdziwe dane i ruch. W procesie oznacza to zwykle etap cienia, w którym system działa, a ludzie nadal wykonują pracę, etap wspomagany, w którym system proponuje, a ludzie decydują, a potem po jednym typie spraw lub regionie naraz. Każdy etap potrzebuje spisanych z góry kryteriów wyjścia i wyzwalacza rollbacku. Szersze pytania o prowadzenie wielu agentów w całej organizacji inżynierskiej omawia nasz artykuł o autonomicznej fabryce oprogramowania.

Autonomiczna fabryka oprogramowaniaKto odpowiada za system AI po pilotażu