Sprawdź się: Gdy agent zaczyna się mylić: przeglądy, model, wyłączenie
4 pytania do lekcji Gdy agent zaczyna się mylić: przeglądy, model, wyłączenie. Są scenariuszowe, nie definicyjne — sprawdzają, czy rozpoznasz sytuację, a nie czy pamiętasz nazwę. Po każdej odpowiedzi zobaczysz wyjaśnienie, także wtedy, gdy trafisz.
Pytania quizu
Który sygnał degradacji jest najtrudniejszy do zauważenia?
- Agent przestaje odpowiadać
- Ludzie po cichu wracają do wykonywania zadania ręcznie
- Wydłuża się czas odpowiedzi
- Rośnie rachunek za tokeny
Spadek użycia nie generuje żadnego zgłoszenia. Nikt nie mówi, że agent jest zły, po prostu przestaje z niego korzystać. Dlatego liczba zapytań tygodniowo przy niezmienionym procesie jest jednym z najużyteczniejszych wskaźników.
Agent podaje klientom ceny sprzed podwyżki. Co z tym zrobić?
- Przełączyć go na mocniejszy model
- Zaktualizować prompt lub źródło wiedzy i dopisać przegląd do procedury zmiany cennika
- Zwiększyć limit tokenów w konfiguracji
- Wyłączyć agenta na miesiąc
Nieaktualne informacje to problem treści, a nie zdolności modelu: mocniejszy model po prostu ładniej sformułuje błędną cenę. Trwałym rozwiązaniem jest wpięcie przeglądu promptu w procedurę, którą i tak wykonujecie przy zmianie oferty.
W jakiej sytuacji zmiana modelu jest uzasadniona?
- Agent nie trzyma zadanego formatu odpowiedzi
- Agent gubi się w zadaniach wymagających kilku kroków rozumowania
- Agent nie wie o nowym produkcie w ofercie
- Agent zbyt często przekazuje sprawy do człowieka
Format, wiedza o ofercie i zasady przekazywania spraw wynikają z promptu i tam trzeba je naprawiać. Błędy w wieloetapowym rozumowaniu to jeden z niewielu przypadków, w których mocniejszy model faktycznie zmienia wynik.
Co zrobić przed przełączeniem agenta na inny model?
- Przepisać prompt od zera, żeby pasował do nowego modelu
- Przygotować zestaw regresyjny z wcześniejszymi odpowiedziami i porównać je z nowymi
- Wyłączyć logowanie rozmów, żeby nie mieszać danych
- Przy okazji zmienić także kanał komunikacji
Zestaw znanych przypadków z wcześniejszymi odpowiedziami to najtańszy sposób, żeby zobaczyć pogorszenie przed klientem. Przepisywanie promptu przy okazji odbiera możliwość ustalenia, co odpowiada za różnicę w wynikach.
Który sygnał degradacji jest najtrudniejszy do zauważenia?
Wiedza bez wdrożenia się nie zwraca
Uruchom agenta i zastosuj to, czego się właśnie nauczyłeś. Chmura EU, polska faktura VAT, 5 dni za darmo na pakiecie Premium.
Zobacz plany