Gdy agent zaczyna się mylić: przeglądy, model, wyłączenie

Utrzymanie decyduje, czy wdrożenie dożyje trzeciego roku

Różnicę między firmą, u której agenty działają latami, a taką, u której gasną po kwartale, widać w danych. Gartner w badaniu na 432 respondentach z sześciu krajów podaje, że w organizacjach o wysokiej dojrzałości AI 45% liderów ma wdrożenia działające produkcyjnie trzy lata lub dłużej, wobec 20% przy niskiej dojrzałości. Badanie nie mówi, co dokładnie robią ci pierwsi, mówi tylko, że coś robią przez trzy lata.

Powody porzucania są za to powtarzalne i pisaliśmy o nich w lekcji o pilotażu: rosnące koszty, niejasna wartość biznesowa i niedostateczna kontrola ryzyka. Wszystkie trzy to sprawy utrzymaniowe, nie startowe. Ujawniają się w trzecim i czwartym miesiącu, gdy pierwsze zachwyty już opadły, a nikt nie ma tego procesu w kalendarzu.

Utrzymanie w praktyce ma pięć zadań: wychwycenie degradacji, comiesięczny przegląd, reakcję na zmiany w firmie, pilnowanie rachunku i decyzję, czyli o podmianie modelu albo o wyłączeniu. Żadne nie wymaga programisty. Każde wymaga nazwiska i konkretnej godziny.

Nazwisko i dzień miesiąca, czyli utrzymanie w kalendarzu

Te pięć zadań rozkłada się na dwie osoby i dwa wpisy w kalendarzu. Właściciel procesu bierze cztery pierwsze: czyta próbkę rozmów, robi comiesięczny przegląd, poprawia prompt po zmianach w firmie i patrzy na rachunek. Administrator techniczny albo dostawca wchodzi tylko przy piątym i tylko wtedy, gdy decyzja dotyczy podmiany modelu, resztę rozstrzyga ten, kto ocenia jakość odpowiedzi, bo tylko on widzi, czy jest gorzej.

Wpisy w kalendarzu wyglądają nudno i o to chodzi. Kwadrans w każdy piątek na dwie liczby z tej lekcji: odsetek rozmów zakończonych bez człowieka i liczbę wywołań agenta. Pół godziny w pierwszy roboczy dzień miesiąca na dwadzieścia rozmów i przeczytanie całego promptu. Obie pozycje mają stałą godzinę i konkretną osobę w polu uczestnika, bo utrzymanie zapisane jako „raz w miesiącu” nie odbywa się w żadnym miesiącu.

Zastępstwo ustalcie przy zakładaniu tych dwóch wpisów, a nie w dniu, w którym właściciel wychodzi na urlop. Przy nieobecności dłuższej niż dwa tygodnie przegląd przechodzi na zastępcę razem z arkuszem i dostępem do rejestru agentów; przy krótszej wystarczy przesunąć termin i zapisać nową datę. Jedyny wariant, który się nie sprawdza, to pominięcie miesiąca bez śladu: po dwóch takich miesiącach nikt nie odtworzy, od kiedy właściwie jest gorzej.

Degradacja nie wygląda jak awaria

Awarię widać od razu: agent milczy, ktoś dzwoni tego samego dnia. Degradacja jest cicha i przez to droższa, bo przez miesiąc każdy z osobna uznaje, że trafił na jednorazowy przypadek.

Sygnały są mierzalne, o ile ktokolwiek je zapisuje. Rośnie odsetek rozmów przekazywanych do człowieka. Wydłużają się rozmowy, bo klient musi dopytywać. Wraca to samo zdanie o niepewności w sprawach, które agent kiedyś rozstrzygał bez wahania.

Najtrudniejszy do wychwycenia sygnał jest behawioralny: ludzie po prostu przestają korzystać. Nikt nie zgłasza problemu, tylko handlowcy wracają do robienia tego ręcznie, „bo szybciej”. Tło bywa mniej oczywiste, niż się wydaje: obawa o własne zadania, o której pisaliśmy w lekcji o pilotażu, nie znika po pierwszym miesiącu. Cicha rezygnacja z narzędzia bywa więc nie oceną jakości, tylko odruchem obronnym, i to zmienia sposób, w jaki trzeba o tym rozmawiać.

Dlatego jedna liczba zapisywana co tydzień, czyli odsetek rozmów zakończonych bez udziału człowieka, jest warta więcej niż rozbudowany panel, do którego nikt nie zagląda. Druga liczba kosztuje tyle samo: ile razy w tygodniu ktoś w ogóle zawołał agenta. Przy niezmienionym procesie jej spadek jest odpowiedzią sam w sobie.

Prawie zawsze zmieniła się firma, a nie model

Odruchowa diagnoza brzmi „model zgłupiał”. W praktyce zdecydowana większość przypadków ma inne źródło: zmieniło się coś u Was, a prompt został z poprzedniej wersji rzeczywistości.

Lista jest krótka i powtarzalna. Nowy cennik. Zmienione zasady zwrotów. Nowy produkt, o którym agent nie wie, więc odpowiada wymijająco. Odejście osoby, do której przekazywał trudne sprawy. Sezon, w którym pytania wyglądają inaczej niż przez resztę roku.

Rozwiązanie jest organizacyjne, nie techniczne: dopiszcie przegląd promptu do checklisty zmian, które i tak wykonujecie. Kto aktualizuje cennik, ten sprawdza, czy agent zna nowe ceny. Ta sama zasada obejmuje zmiany kadrowe: gdy odchodzi osoba wpisana w promptcie jako adresat trudnych spraw, poprawka wpisu w rejestrze agentów jest pozycją na liście przekazania obowiązków, obok skrzynki i kluczy. Jedno zdanie w istniejącej procedurze działa lepiej niż comiesięczne przypomnienie w kalendarzu, bo trafia dokładnie w moment zmiany.

Rozjazd między promptem a firmą poznaje się po charakterze błędów. Odpowiedzi są dobrze zbudowane, uprzejme i po prostu nieaktualne. To zupełnie inny obraz niż błędy w rozumowaniu, o których za chwilę.

Przegląd raz w miesiącu, trzydzieści minut

Metodę znacie z lekcji ósmej: dwadzieścia losowych rozmów, trzy kubełki. W utrzymaniu liczy się jednak co innego niż w pierwszym miesiącu: nie sam wynik, tylko różnica wobec poprzedniego przeglądu. Zapiszcie proporcje obok tych sprzed miesiąca w jednym wierszu; dopiero para liczb cokolwiek znaczy.

Potem przeczytajcie cały prompt od góry do dołu. Nie fragment poprawiany ostatnio, tylko całość. Reguły dokładane przez pół roku potrafią zacząć sobie przeczyć, choć każda z osobna wygląda sensownie. Przy okazji wyrzućcie te dopisane pod jednorazowe sytuacje: „gdy klient pyta o promocję z sierpnia, odpowiedz…” zostaje w promptcie na zawsze i zabiera uwagę modelu na coś, czego już nie ma.

Datę przeglądu zapiszcie tam, gdzie prowadzicie rejestr agentów. Bez tego po roku nikt nie odróżni agenta dopieszczanego co miesiąc od takiego, którego nie tknięto od dnia wdrożenia. Sam koszt tego rytuału jest przy tym drobiazgiem: pół godziny miesięcznie to przy pełnym koszcie godziny pracy rzędu 68 zł jakieś 34 zł, czyli mniej niż jedna dziesiąta najtańszego abonamentu. Pół godziny na przegląd, cztery piątkowe kwadranse na dwie liczby i reszta na poprawki oraz reakcję na zmiany w firmie, razem od półtorej do dwóch godzin miesięcznie, to dolna granica przedziału, który wpisaliście do budżetu w lekcji piętnastej.

Rachunek pełznie w górę, choć nikt nic nie zmienił

Koszt agenta nie stoi w miejscu, nawet gdy prompt i model zostają te same. Ramp, na danych z ponad 70 tysięcy amerykańskich firm, podaje, że mediana miesięcznego wydatku firmy na tokeny AI wynosi 2 246 dolarów, a mediana wydatku w przeliczeniu na jednego pracownika 46 dolarów, a samo zużycie tokenów wzrosło o 1 001% między styczniem 2025 a kwietniem 2026. To nie są firmy, które co miesiąc świadomie podnosiły budżet.

Kierunek potwierdza prognoza Goldman Sachs Research: między 2026 a 2030 rokiem globalne zużycie tokenów ma wzrosnąć dwudziestoczterokrotnie, do 120 kwadrylionów miesięcznie. Dla pojedynczej firmy praktyczny wniosek jest jeden: rachunek trzeba obserwować równie regularnie jak jakość odpowiedzi, bo rośnie sam z siebie: dłuższe rozmowy, więcej użytkowników, bogatsza baza wiedzy.

Dopiszcie więc do rejestru jedną kolumnę: koszt miesięczny na agenta. Przy abonamencie od 399 zł widać go w rozliczeniu, a przy własnym kluczu API, czyli w modelu BYOK, w panelu dostawcy modelu, razem z limitem, który sami ustawiacie. Alert przy przekroczeniu progu jest tańszy niż niespodzianka po kwartale.

Powiążcie tę liczbę z progiem opłacalności, a nie z odczuciem. Agent zdejmujący osiem godzin miesięcznie broni przy stawce 68 zł wydatku rzędu 544 zł. Gdy rachunek przekroczy tę granicę, a zakres zadań nie urósł, do rozstrzygnięcia zostaje jedna z trzech rzeczy: za długi kontekst dosyłany przy każdym kroku, za drogi model albo zadanie, które rozlazło się poza pierwotny opis.

Najpierw prompt, model dopiero w trzech sytuacjach

Kolejność jest jednoznaczna: najpierw prompt. Zmiana modelu unieważnia wszystko, co wiedzieliście o zachowaniu agenta, a przeważnie naprawia nie ten problem, o który chodziło.

Podmiana modelu ma sens w trzech sytuacjach. Gdy błędy dotyczą rozumowania: agent gubi się w wieloetapowym zadaniu, myli kolejność kroków, nie łączy dwóch informacji w jeden wniosek. Gdy dostawca wycofuje używaną wersję i termin jest wyznaczony. Gdy rachunek za tokeny urósł na tyle, że tańszy model warto sprawdzić na prawdziwym ruchu.

Jeśli natomiast agent podaje nieaktualne informacje, nie trzyma formatu albo nie wie, kiedy oddać sprawę człowiekowi, to prompt i żaden mocniejszy model tego nie naprawi. Najwyżej ładniej sformułuje błędną odpowiedź. Przy samej podmianie obowiązują dwie zasady: przepuść przez nowy model zestaw trzydziestu zapisanych przypadków z wcześniejszymi odpowiedziami, zanim zobaczy go klient, i nie zmieniaj modelu oraz promptu w tym samym tygodniu, bo przy pogorszeniu wyników nie ustalisz, co zawiniło.

Wyłączenie: cztery warunki i cztery ruchy

Wyłączenie agenta bywa najlepszą decyzją utrzymaniową i prawie nigdy nie zapada, bo nikt nie chce przyznać, że projekt się skończył. Warunki ustal wcześniej, gdy jeszcze nie masz w tym interesu.

Cztery sytuacje, w których gaszenie jest właściwym ruchem: proces zniknął albo przejął go inny system; ludzie sprawdzają po agencie każdą odpowiedź, czyli dołożyliście krok zamiast go zdjąć; liczba poprawek promptu nie spada z miesiąca na miesiąc, co znaczy, że zadanie ma więcej wyjątków niż reguł; proces zsunął się w stronę zastosowań z Załącznika III unijnego rozporządzenia o sztucznej inteligencji, czyli rekrutacji, oceny pracowników czy scoringu kredytowego, albo wprost w to, co wyklucza §8 regulaminu ClawLabs: systemy biometryczne, systemy oceny kredytowej i systemy rekrutacyjne oparte wyłącznie na AI.

Wyłączenie robi się równie starannie jak uruchomienie. Uprzedź osoby, które z agenta korzystają, i podaj datę. Zapisz, kto przejmuje zadanie i w jakim trybie. Zachowaj log rozmów przez okres wpisany do dokumentacji, a potem skasuj go i zapisz, kto to zrobił i kiedy. To jedyna część wyłączenia, którą ktoś może potem sprawdzić. Odbierz dostępy do danych i narzędzi, bo martwy agent z żywymi uprawnieniami to najgorszy możliwy stan.

Na koniec rzecz najważniejsza: zapisz w dwóch zdaniach, czego dowiedzieliście się o procesie. Bardzo często wniosek brzmi, że proces wymagał uporządkowania, a nie automatyzacji, i to jest wynik wart tych kilku miesięcy, o ile ktokolwiek go zanotuje.