Sprawdź się: Gdy agent zaczyna się mylić: przeglądy, model, wyłączenie

Sprawdź się

4 pytania z tej lekcji. Po odpowiedzi zobaczysz, dlaczego jest właśnie tak.

1. 1. Który sygnał degradacji jest najtrudniejszy do zauważenia?

   Agent przestaje odpowiadaćLudzie po cichu wracają do wykonywania zadania ręcznieWydłuża się czas odpowiedziRośnie rachunek za tokeny

   Spadek użycia nie generuje żadnego zgłoszenia — nikt nie mówi, że agent jest zły, po prostu przestaje z niego korzystać. Dlatego liczba zapytań tygodniowo przy niezmienionym procesie jest jednym z najużyteczniejszych wskaźników.

2. 2. Agent podaje klientom ceny sprzed podwyżki. Co z tym zrobić?

   Przełączyć go na mocniejszy modelZaktualizować prompt lub źródło wiedzy i dopisać przegląd do procedury zmiany cennikaZwiększyć limit tokenów w konfiguracjiWyłączyć agenta na miesiąc

   Nieaktualne informacje to problem treści, a nie zdolności modelu — mocniejszy model po prostu ładniej sformułuje błędną cenę. Trwałym rozwiązaniem jest wpięcie przeglądu promptu w procedurę, którą i tak wykonujecie przy zmianie oferty.

3. 3. W jakiej sytuacji zmiana modelu jest uzasadniona?

   Agent nie trzyma zadanego formatu odpowiedziAgent gubi się w zadaniach wymagających kilku kroków rozumowaniaAgent nie wie o nowym produkcie w ofercieAgent zbyt często przekazuje sprawy do człowieka

   Format, wiedza o ofercie i zasady przekazywania spraw wynikają z promptu i tam trzeba je naprawiać. Błędy w wieloetapowym rozumowaniu to jeden z niewielu przypadków, w których mocniejszy model faktycznie zmienia wynik.

4. 4. Co zrobić przed przełączeniem agenta na inny model?

   Przepisać prompt od zera, żeby pasował do nowego modeluPrzygotować zestaw regresyjny z wcześniejszymi odpowiedziami i porównać je z nowymiWyłączyć logowanie rozmów, żeby nie mieszać danychPrzy okazji zmienić także kanał komunikacji

   Zestaw znanych przypadków z wcześniejszymi odpowiedziami to najtańszy sposób, żeby zobaczyć pogorszenie przed klientem. Przepisywanie promptu przy okazji odbiera możliwość ustalenia, co odpowiada za różnicę w wynikach.