Jak sprawdzić, czy agent naprawdę pomaga

Bez liczby sprzed startu zostają same wrażenia

Wrażenia po miesiącu zawsze są dobre, bo włożyliście w to pracę i nikt nie chce ogłosić, że stracił cztery tygodnie. To nie jest wada charakteru, tylko normalny mechanizm, dlatego ocena wdrożenia musi opierać się na liczbie zapisanej wcześniej, gdy nikt jeszcze nie był w nic zaangażowany.

Skalę problemu dobrze pokazuje raport MIT Project NANDA „The GenAI Divide”: 95% badanych organizacji nie odnotowało żadnego mierzalnego wpływu generatywnej AI na wynik finansowy, mimo 30 do 40 mld dolarów wydanych przez firmy na wdrożenia. Autorzy oparli to na analizie ponad 300 publicznie ujawnionych inicjatyw, 52 wywiadach i ankiecie wśród 153 liderów. Część tych projektów pewnie działała, po prostu nikt nie potrafił tego udowodnić.

Druga strona medalu wygląda zachęcająco. Badanie Wharton wśród ponad 800 amerykańskich liderów biznesu pokazało, że 72% ma już ustrukturyzowany proces mierzenia zwrotu z AI, a trzy czwarte tych, którzy mierzą, raportuje zwrot dodatni. Pomiar sam z siebie nie tworzy oszczędności, ale bez niego dyskusja o przedłużeniu projektu sprowadza się do tego, kto w firmie ma mocniejszy głos.

Jedna rzecz jest przy tym nieodwracalna. Po uruchomieniu agenta nie odtworzysz stanu sprzed uruchomienia, bo proces już wygląda inaczej, a ludzie już inaczej pracują. Popołudnie na pomiar bazowy jest jedyną częścią tego projektu, której nie da się nadrobić później.

Trzy liczby, które zbierasz przed uruchomieniem

Zbieranie zajmuje jedno popołudnie i nie wymaga żadnego narzędzia poza arkuszem. Każdą liczbę zapisujesz razem z datą pomiaru i źródłem, z którego pochodzi, bo za dwa miesiące nikt nie będzie pamiętał, czy siedemdziesiąt zgłoszeń tygodniowo to raport z systemu, czy czyjś szacunek z głowy.

Trzecia pozycja z listy jest pomijana najczęściej i przydaje się najbardziej. Odsetek spraw wracających do poprawki opisuje jakość procesu, a to właśnie na jakości najczęściej rozstrzyga się, czy wdrożenie ma sens. Agent, który obsługuje szybciej i wraca dwa razy częściej, nie zaoszczędził nikomu ani minuty.

Jeśli zadanie nie ma systemu, z którego dałoby się wyciągnąć te liczby, policzcie je ręcznie na próbce dwóch tygodni. Szacunek z próbki, opisany jako szacunek z próbki, obroni się na spotkaniu. Liczba odtworzona z pamięci pół roku później nie obroni się przy pierwszym trudnym pytaniu, bo zawsze wychodzi podejrzanie wygodna.

• Czas. Ile godzin tygodniowo zajmuje dziś to zadanie i konkretnie komu, z imienia.
• Objętość. Ile zgłoszeń, telefonów albo dokumentów przechodzi przez ten proces w tygodniu.
• Jakość. Ile z nich wraca do poprawki albo jest obsługiwanych dwa razy.
• Data i źródło każdej z tych trzech liczb: raport z systemu, ręczne liczenie albo szacunek konkretnej osoby.

Ile realnie kosztuje godzina, którą oszczędzacie

Żeby cokolwiek przeliczyć na złotówki, potrzebna jest stawka referencyjna, a nie „mniej więcej tyle, co zarabia Kasia”. Punktem wyjścia jest przeciętne wynagrodzenie w sektorze przedsiębiorstw, które podaliśmy za GUS w lekcji drugiej. To punkt wyjścia, nie koszt.

Do brutto trzeba dołożyć składki finansowane przez pracodawcę: emerytalną 9,76%, rentową 6,50%, wypadkową 1,67%, Fundusz Pracy 2,45% i FGŚP 0,10%, czyli standardowo około 20,5% ponad wynagrodzenie. Przeciętny etat kosztuje więc pracodawcę mniej więcej 11 330 zł miesięcznie.

Teraz podział przez czas. Po doliczeniu składek pracodawcy i podzieleniu przez miesięczny wymiar czasu pracy wychodzi około 68 zł za godzinę pracy przeciętnego etatu. Dla stanowisk juniorskich dolną granicę wyznacza płaca minimalna: 4 806 zł brutto od stycznia 2026, czyli koszt pracodawcy rzędu 5 790 zł miesięcznie.

Ta liczba służy do jednego: do porównania z kosztem wdrożenia. Nie służy do ogłoszenia oszczędności, bo nikt z listy płac nie zniknął. Różnica między „odzyskaliśmy dwadzieścia godzin miesięcznie, co przy stawce 68 zł odpowiada 1 360 zł pracy” a „zaoszczędziliśmy 1 360 zł” jest dokładnie tą różnicą, która wywraca prezentacje o ROI.

Uczciwe liczenie oszczędności

Odzyskany czas ma wartość wtedy, gdy widać, w co się zamienił. Jeśli handlowiec zamiast przepisywać dane dzwoni do klientów, opiszcie to liczbą kontaktów albo liczbą wysłanych ofert, to jest twarda pozycja i nikt jej nie podważy. Jeśli nikt nie umie powiedzieć, na co poszły te godziny, wniosek też jest wartościowy: zadanie było mniej uciążliwe, niż wszystkim się wydawało.

Druga strona rachunku bywa całkiem pomijana, a składa się z trzech pozycji. Pierwsza to abonament albo koszt tokenów: w ClawLabs plany zaczynają się od 399 zł miesięcznie, przy pięciodniowym trialu dostępnym wyłącznie na pakiecie Premium i z kartą wymaganą już na starcie. Druga to utrzymanie, zwykle godzina albo dwie miesięcznie na poprawki promptu. Trzecia, najczęściej zapominana, to czas ludzi sprawdzających odpowiedzi agenta.

Zestawienie tych dwóch stron daje próg, który da się wypowiedzieć jednym zdaniem. Przy stawce około 68 zł za godzinę abonament od 399 zł miesięcznie zwraca się przy mniej więcej sześciu odzyskanych godzinach. Doliczcie do tego dwie godziny utrzymania i próg zamyka się na ośmiu godzinach miesięcznie, dokładnie tych, o których była mowa w lekcji drugiej. Jeśli Wasze zadanie nie ma szans ich zdjąć, jest za małe na pierwsze wdrożenie i lepiej poszukać większego.

Warunek brzegowy: ten rachunek działa tylko przy zadaniu, które ktoś naprawdę dziś wykonuje. Automatyzacja czynności, której nikt nie robił, bo nikomu się nie chciało, nie oszczędza godzin, tworzy nową pracę. Bywa, że to dobra decyzja, ale trzeba ją nazwać po imieniu i policzyć jako inwestycję, nie jako oszczędność.

Jak mierzyć jakość, gdy nie ma systemu zgłoszeń

Najprostsza działająca metoda to próbka. Raz w tygodniu bierzecie dwadzieścia losowych rozmów i wrzucacie każdą do jednego z trzech kubełków: dobra, do poprawki, zła. Zajmuje to pół godziny i po miesiącu widać trend, a przy ruchu rzędu kilkudziesięciu rozmów dziennie nic lepszego nie jest potrzebne.

Losowość ma tu znaczenie większe, niż się wydaje. Jeśli ocenianie zaczniecie od rozmów, które ktoś zgłosił jako problematyczne, zmierzycie własne nerwy, a nie jakość agenta. Wylosujcie numery wierszy z loga i oceńcie te, które wypadły, także te nudne i bezproblemowe.

Zbierajcie równolegle plik z odrzuconymi odpowiedziami, tym samym, o którym była mowa przy pisaniu promptu systemowego. Ten plik pełni dwie funkcje naraz: jest materiałem do poprawek i jest dowodem w rozmowie o efekcie. Dwadzieścia zapisanych wpadek z pierwszego tygodnia i pięć z czwartego to mocniejszy argument niż jakikolwiek wykres.

Liczy się trend, nie poziom. Osiemdziesiąt procent dobrych odpowiedzi w pierwszym tygodniu przy spadającej liczbie poprawek to zdrowy projekt. Dziewięćdziesiąt procent w pierwszym tygodniu i dziewięćdziesiąt w szóstym oznacza, że przestaliście się uczyć, a wyjątki, o które się potykacie, są prawdopodobnie nie do opisania regułą.

Sygnały, że trzeba zatrzymać projekt

Warunki zatrzymania ustalcie zawczasu, na spokojnie, razem z datą, w której je sprawdzicie. W trakcie zawsze znajdzie się argument, żeby dać jeszcze dwa tygodnie, i tak właśnie projekty bez efektu ciągną się przez kwartały, po dwa tygodnie naraz.

Pierwszy sygnał: po miesiącu nadal nie ma niczego, co da się komuś pokazać. To zwykle znaczy, że zakres był za szeroki, i tańszym ruchem jest powrót do wyboru zadania niż dokładanie czasu. Drugi: agent działa, ale ludzie sprawdzają po nim każdą odpowiedź, a liczba poprawek nie spada z tygodnia na tydzień. Bilans czasu jest wtedy ujemny, bo doszedł krok, a żaden nie zniknął. Trzeci: koszt utrzymania rośnie szybciej niż zakres zadań, które agent przejmuje.

Że to nie jest scenariusz marginalny, widać w polskich danych. Raport EY, oparty na badaniu 497 średnich i dużych firm, pokazuje, że 51% deklaruje, iż AI realnie działa i przynosi korzyści, a blisko połowa odczuwa rozczarowanie albo niepełny zwrot z inwestycji. Wśród korzyści wymienianych przez tę pierwszą grupę 53% wskazuje obniżenie kosztów operacyjnych, a 52% poprawę jakości obsługi. Różnica między tymi dwiema połowami rzadko leży w technologii.

Zatrzymanie projektu nie jest porażką, jeśli wyciągniecie z niego wniosek o procesie. Bardzo często okazuje się, że proces po prostu wymaga uporządkowania, jednego wejścia zamiast trzech, jednego formatu zamiast pięciu, i to jest wynik wart kilku tygodni. Zapiszcie go w tym samym pliku co liczby bazowe, bo przy drugim podejściu za pół roku będzie to najcenniejsza rzecz, jaką macie.