Od testu do produkcji, bez psucia sobie opinii

Prototyp to ćwiartka drogi, nie połowa

Prototyp działa na przypadkach, które wybrał jego autor. Produkcja dostaje przypadki, których nikt nie wybierał. Między jednym a drugim jest przepaść, którą Gartner zmierzył w badaniu wśród liderów AI: średnio tylko 48 procent projektów trafia z prototypu na produkcję, a sama droga zajmuje przeciętnie osiem miesięcy.

Osiem miesięcy brzmi absurdalnie przy agencie, który odpowiada na powtarzalne pytania, i w małej firmie ten czas liczy się raczej w tygodniach. Proporcja zostaje jednak ta sama: uruchomienie kosztuje więcej pracy niż zbudowanie. Kto planuje odwrotnie, kończy z demem, które robi wrażenie na spotkaniu i nie obsługuje ani jednego prawdziwego klienta.

Praktycy pytani wprost, co blokuje im wdrożenia agentów, wskazują jakość działania: 32 procent odpowiedzi w badaniu LangChain State of Agent Engineering przeprowadzonym na próbie 1 340 osób, przed opóźnieniami (20 procent). Nie brak funkcji, nie cena modelu. Zachowanie pod ruchem, którego nikt nie ułożył pod tezę.

Ta lekcja jest o tym, jak przejść ten odcinek bez wystawiania firmy na strzał. Cztery rzeczy: etapowe uruchomienie, opisana ścieżka do człowieka, zmierzony plan wycofania i pierwszy tydzień, w którym ktoś naprawdę czyta rozmowy.

Trzy etapy zamiast jednego przełącznika

Standardowy błąd wygląda tak: agent ładnie odpowiada w testach, więc w poniedziałek przełączamy na niego całą infolinię. We wtorek okazuje się, że prawdziwi klienci pytają zupełnie inaczej niż zespół podczas testów: krócej, z literówkami, o trzy sprawy naraz i o rzeczy, których nie ma w żadnej instrukcji.

Bezpieczniejsza kolejność ma trzy etapy, a najbardziej pouczający jest pierwszy. Przez tydzień widzicie, co agent chciał odpowiedzieć, bez żadnego ryzyka dla rozmowy. Zwykle wtedy wychodzi połowa braków w promptcie i to jest najtańsza połowa, jaką kiedykolwiek znajdziecie.

Progi przejścia między etapami zapisz na piśmie przed startem, a nie w trakcie. W piątym dniu każdy próg da się wynegocjować w dół, zwłaszcza gdy ktoś zdążył obiecać zarządowi termin. Zapisany próg jest jedyną rzeczą, która broni się sama, kiedy wszyscy już chcą to wreszcie włączyć.

• Etap pierwszy, cień: agent przygotowuje odpowiedź, człowiek ją czyta, poprawia i wysyła. Nic nie wychodzi na zewnątrz bez akceptacji.
• Etap drugi, wycinek: agent odpowiada sam, ale tylko na wąskim fragmencie ruchu: jeden kanał z trzynastu obsługiwanych, jeden typ sprawy albo godziny poza pracą biura.
• Etap trzeci, całość: agent przejmuje pełny ruch w swoim zakresie, o ile w ogóle ma go przejmować. Wiele wdrożeń świadomie zatrzymuje się na drugim etapie i to jest poprawna decyzja, a nie połowiczność.

Ścieżka do człowieka nie jest miękkim dodatkiem

Agent musi mieć opisane, kiedy przestaje próbować i oddaje sprawę dalej. Bez tego będzie brnął, a brnący agent robi więcej szkody niż brak agenta. McKinsey policzył, jak bardzo to różnicuje firmy: zdefiniowany proces weryfikacji przez człowieka ma 65 procent organizacji faktycznie czerpiących wartość z AI wobec 23 procent całej reszty.

Opisz to konkretnie, wyliczeniem, a nie ogólnikiem. Zamiast „w trudnych sprawach przekaż do konsultanta" napisz, że przekazuje przy reklamacji, przy pytaniu o zwrot pieniędzy, po trzeciej nieudanej próbie zrozumienia pytania i zawsze, gdy rozmówca poprosi o człowieka. Wyliczone wyzwalacze nie wymagają od modelu oceny sytuacji: albo padło słowo „reklamacja", albo nie.

Ostatni punkt bywa pomijany, a decyduje o odbiorze bardziej niż wszystkie pozostałe razem. Człowiek, który prosi o człowieka i dostaje kolejną automatyczną odpowiedź, przestaje oceniać agenta i zaczyna oceniać firmę.

Od 2 sierpnia 2026 roku dochodzi do tego twardy obowiązek, opisany w lekcji siódmej: rozmówca spoza firmy ma wiedzieć, że pisze z AI. Na liście kontrolnej przed wyjściem na produkcję jest to jedna pozycja i sprawdza się ją w minutę: otwórz agenta z konta, którego nikt w firmie nie używa, napisz „dzień dobry” i przeczytaj pierwszą odpowiedź. Jeśli nie ma w niej informacji o AI, nie wychodzicie na produkcję.

Skala kar robi z tego pozycję w budżecie, a nie w polityce dobrych praktyk: za naruszenie obowiązków przejrzystości artykuł 99 AI Act przewiduje do 15 mln euro albo 3 procent światowego obrotu, zależnie od tego, która kwota jest wyższa. Dla mikro-, małych i średnich firm reguła się odwraca: artykuł 99 ustęp 6 każe stosować kwotę niższą, więc mała spółka nie zapłaci nigdy piętnastu milionów, ale procent od obrotu i tak boli.

Plan wycofania mierzony w sekundach

Jedno pytanie rozstrzyga, czy jesteście gotowi: jak szybko potraficie wyłączyć agenta i wrócić do stanu poprzedniego. Jeśli odpowiedź brzmi „w minutę, przełącznikiem", ruszajcie. Jeśli brzmi „trzeba by przekonfigurować centralę", dokończcie tę część przed startem, bo w trakcie incydentu nikt tego nie zrobi na spokojnie.

Wycofania są dwa i łatwo je pomylić. Pierwsze to wyłączenie agenta i powrót do obsługi ręcznej, dotyczy sytuacji, w której coś poszło źle wobec klienta. Drugie to cofnięcie do poprzedniej wersji promptu, gdy zepsuła go Wasza własna poprawka. Do drugiego potrzebujecie historii zmian z datą i podpisem, a nie pliku o nazwie „prompt ostateczny 3".

Postawienie agenta w ClawLabs zajmuje około sześćdziesięciu sekund, więc trzymanie drugiej, testowej instancji obok produkcyjnej kosztuje raczej uwagę niż czas. Poprawki sprawdzacie na bliźniaku, a na produkcję wchodzi tylko to, co przeszło. Zmierzcie czas wycofania sekundnikiem raz, przed startem, i zapiszcie wynik: oszacowanie z głowy zawsze wypada dwa razy lepiej niż rzeczywistość.

Pierwszy tydzień: ktoś czyta wszystko

Czytajcie rozmowy. Wszystkie, jeśli jest ich mniej niż sto dziennie. To nudne i jest to jedyny moment, w którym taka nuda się opłaca, bo pierwszy tydzień na prawdziwym ruchu pokazuje więcej niż miesiąc testów wewnętrznych.

Logi same z siebie tego nie załatwią i widać to w danych LangChain: obserwowalność, czyli logi i śledzenie przebiegu, wdrożyło 89 procent zespołów, ale ewaluacje offline prowadzi już tylko 52,4 procent. Log mówi, co się stało. Nie mówi, czy było dobrze, to nadal zdanie, które musi napisać człowiek.

Z pierwszego tygodnia zbudujcie zestaw regresyjny: trzydzieści do pięćdziesięciu prawdziwych pytań wraz z odpowiedzią uznaną za poprawną. Po każdej zmianie w promptcie albo modelu przepuszczacie przez niego cały zestaw. Bez tego każda poprawka jest zakładem, a nie decyzją.

Notujcie osobno pytania, których się nie spodziewaliście. Są cenniejsze od błędów, bo pokazują, czego klienci naprawdę chcą, a Wy tego nie przewidzieli. Zdarza się, że z takiej listy wychodzi zmiana w samej ofercie, a nie w agencie.

Co zapisać, żeby wdrożenie przetrwało zmianę osoby

Deloitte w badaniu na próbie 3 235 liderów z 24 krajów podaje, że dojrzały model zarządzania autonomicznymi agentami ma tylko 20 procent organizacji. Praktycznie oznacza to, że w czterech firmach na pięć wiedza o tym, jak agent działa i kto go pilnuje, siedzi w głowie jednej osoby, tej samej, która akurat wyjeżdża na urlop.

Minimum, które zamyka temat, mieści się na jednej stronie: kto jest właścicielem agenta z imienia, jaka wersja promptu jest na produkcji, jaki model i od kiedy, co agent może zrobić bez pytania człowieka, gdzie leżą logi i kto ma prawo go wyłączyć. Data ostatniego przeglądu na dole. Nic więcej na start nie jest potrzebne.

Przepisy idą w tę samą stronę, bo obowiązki AI Act dotyczą także firmy, która system tylko stosuje, a nie tworzy. Nadzór człowieka i dokumentacja przestają być kwestią wewnętrznego porządku i stają się czymś, co trzeba umieć pokazać.

W ClawLabs ta wiedza ma naturalne miejsce: zachowanie agenta opisują pliki workspace, czyli SOUL.md z tonem i granicami, USER.md z danymi właściciela. Niezależnie od narzędzia zasada jest ta sama: konfiguracja agenta ma być plikiem tekstowym z historią zmian, a nie ustawieniem wyklikanym kiedyś przez kogoś.