Gdy agent zaczyna się mylić: przeglądy, model, wyłączenie

Degradacja nie wygląda jak awaria

Awarię widać od razu: agent milczy, ktoś dzwoni tego samego dnia. Degradacja jest cicha i przez to droższa, bo przez miesiąc każdy z osobna uznaje, że trafił na jednorazowy przypadek.

Sygnały są mierzalne, o ile ktokolwiek je zapisuje. Rośnie odsetek rozmów przekazywanych do człowieka. Wydłużają się rozmowy, bo klient musi dopytywać. Wraca to samo zdanie o niepewności w sprawach, które agent kiedyś rozstrzygał bez wahania.

Najtrudniejszy do wychwycenia sygnał jest behawioralny: ludzie po prostu przestają korzystać. Nikt nie zgłasza problemu, tylko handlowcy wracają do robienia tego ręcznie, „bo szybciej”. Jeśli liczba zapytań spada, a proces się nie zmienił, masz odpowiedź.

Dlatego jedna liczba zapisywana co tydzień — odsetek rozmów zakończonych bez udziału człowieka — jest warta więcej niż rozbudowany panel, do którego nikt nie zagląda.

Prawie zawsze zmieniła się firma, a nie model

Odruchowa diagnoza brzmi „model zgłupiał”. W praktyce zdecydowana większość przypadków ma inne źródło: zmieniło się coś u Was, a prompt został z poprzedniej wersji rzeczywistości.

Lista jest krótka i powtarzalna. Nowy cennik. Zmienione zasady zwrotów. Nowy produkt, o którym agent nie wie, więc odpowiada wymijająco. Odejście osoby, do której przekazywał trudne sprawy. Sezon, w którym pytania wyglądają inaczej niż przez resztę roku.

Rozwiązanie jest organizacyjne, nie techniczne: dopiszcie przegląd promptu do checklisty zmian, które i tak wykonujecie. Kto aktualizuje cennik, ten sprawdza, czy agent zna nowe ceny. Jedno zdanie w istniejącej procedurze działa lepiej niż comiesięczne przypomnienie w kalendarzu, bo trafia dokładnie w moment zmiany.

Rozjazd między promptem a firmą poznaje się po charakterze błędów. Odpowiedzi są dobrze zbudowane, uprzejme i po prostu nieaktualne. To zupełnie inny obraz niż błędy w rozumowaniu, o których za chwilę.

Przegląd raz w miesiącu, trzydzieści minut

Rytuał jest banalny i wystarcza w większości wdrożeń. Wybierz dwadzieścia losowych rozmów z ostatniego miesiąca i podziel je na trzy kubełki: dobra, do poprawki, zła. Zapisz proporcje i porównaj z poprzednim miesiącem.

Potem przeczytaj cały prompt od góry do dołu. Nie fragment, który poprawiałeś ostatnio, tylko całość. Reguły dokładane przez pół roku potrafią zacząć sobie przeczyć, choć każda z osobna wygląda sensownie.

Przy okazji wyrzuć reguły dopisane pod jednorazowe sytuacje. „Gdy klient pyta o promocję z sierpnia, odpowiedz…” zostaje w promptcie na zawsze i zabiera uwagę modelu na coś, czego już nie ma. Prompt, który tylko rośnie, w końcu przestaje działać, mimo że każda linijka miała kiedyś uzasadnienie.

Datę przeglądu zapisz tam, gdzie prowadzisz rejestr agentów. Bez tego po roku nikt nie odróżni agenta dopieszczanego co miesiąc od takiego, którego nie tknięto od dnia wdrożenia.

Kiedy zmienić model, a kiedy tylko prompt

Kolejność jest jednoznaczna: najpierw prompt. Zmiana modelu unieważnia wszystko, co wiedzieliście o zachowaniu agenta, a przeważnie naprawia nie ten problem, o który chodziło.

Podmiana modelu ma sens w trzech sytuacjach. Gdy błędy dotyczą rozumowania: agent gubi się w wieloetapowym zadaniu, myli kolejność kroków, nie łączy dwóch informacji w jeden wniosek. Gdy dostawca wycofuje używaną wersję i termin jest wyznaczony. Gdy rachunek za tokeny urósł na tyle, że tańszy model warto sprawdzić na prawdziwym ruchu.

Jeśli natomiast agent podaje nieaktualne informacje, nie trzyma formatu albo nie wie, kiedy oddać sprawę człowiekowi — to prompt i żaden mocniejszy model tego nie naprawi. Najwyżej ładniej sformułuje błędną odpowiedź.

Przy samej podmianie obowiązują dwie zasady. Miej zestaw trzydziestu zapisanych przypadków z wcześniejszymi odpowiedziami — ten sam, który zbudowaliście przy wyjściu na produkcję i przepuść je przez nowy model, zanim zobaczy go klient. I nie zmieniaj modelu oraz promptu w tym samym tygodniu, bo przy pogorszeniu wyników nie ustalisz, co zawiniło.

Kiedy wyłączyć i jak zrobić to porządnie

Wyłączenie agenta bywa najlepszą decyzją utrzymaniową i prawie nigdy nie zapada, bo nikt nie chce przyznać, że projekt się skończył. Warunki ustal wcześniej, gdy jeszcze nie masz w tym interesu.

Cztery sytuacje, w których gaszenie jest właściwym ruchem: proces zniknął albo przejął go inny system; ludzie sprawdzają po agencie każdą odpowiedź, czyli dołożyliście krok zamiast go zdjąć; liczba poprawek promptu nie spada z miesiąca na miesiąc, co znaczy, że zadanie ma więcej wyjątków niż reguł; zmienił się zakres danych i proces wszedł w obszar, w którym automatyczna decyzja jest wykluczona.

Wyłączenie robi się równie starannie jak uruchomienie. Uprzedź osoby, które z agenta korzystają, i podaj datę. Zapisz, kto przejmuje zadanie i w jakim trybie. Zachowaj log rozmów przez ustalony okres, a potem skasuj go zgodnie z tym, co zapisaliście w polityce retencji. Odbierz dostępy do danych i narzędzi, bo martwy agent z żywymi uprawnieniami to najgorszy możliwy stan.

Na koniec rzecz najważniejsza: zapisz w dwóch zdaniach, czego dowiedzieliście się o procesie. Bardzo często wniosek brzmi, że proces wymagał uporządkowania, a nie automatyzacji — i to jest wynik wart tych kilku miesięcy, o ile ktokolwiek go zanotuje.

Częste pytania