Sprawdź się: Pierwszy tydzień pilotażu pod nadzorem

Pytania quizu

1. Kto powinien czytać odpowiedzi agenta w pierwszym tygodniu?

   • Cały zespół, żeby każdy poznał narzędzie
   • Jedna wyznaczona osoba plus jej zastępca na czas nieobecności
   • Osoba z IT, bo zna konfigurację
   • Nikt, wystarczy przejrzeć statystyki na koniec tygodnia

   Recenzja rozmyta na zespół kończy się sprzecznymi poprawkami promptu i brakiem odpowiedzialności za decyzję o rozszerzeniu. Jedna osoba utrzymuje spójne kryterium oceny. Zastępca jest potrzebny, bo tydzień bez czytania kasuje cały dorobek pilotażu.

2. Agent trzeciego dnia podaje klientowi nieaktualną cenę. Jaka jest właściwa pierwsza reakcja?

   • Natychmiast przepisać prompt systemowy od zera
   • Wyłączyć agenta i uznać wdrożenie za nieudane
   • Naprawić sprawę u klienta, zapisać przypadek i poczekać, aż zbiorą się podobne
   • Zignorować, bo w pilotażu błędy są wliczone w koszt

   Pojedynczy błąd rzadko pokazuje przyczynę: brak reguły, nieaktualne dane czy zbyt trudne zadanie. Trzy podobne przypadki rozstrzygają to w minutę. Poprawianie promptu po każdej wpadce z osobna prowadzi do zestawu reguł, które zaczynają sobie przeczyć.

3. Po czym poznać, że zakres agenta można rozszerzyć?

   • Przez trzy dni z rzędu nie było odpowiedzi z kategorii „źle”, a liczba poprawek promptu spada
   • Zespół prosi o więcej funkcji
   • Minął umówiony tydzień pilotażu
   • Agent odpowiada szybciej niż człowiek

   Rozszerzenie opiera się na zapisie z recenzji, a nie na kalendarzu ani na entuzjazmie. Spadająca liczba poprawek mówi, że wyjątków ubywa, czyli że zadanie zostało wreszcie opisane. Sam upływ tygodnia nie jest żadnym dowodem.

4. Rozszerzasz pilotaż. Co zrobić najpierw?

   • Dodać nowe tematy i nowych użytkowników jednocześnie, żeby oszczędzić czas
   • Zmienić model na mocniejszy i od razu poszerzyć zakres
   • Dodać jeden wymiar naraz: albo więcej osób, albo więcej tematów
   • Przełączyć agenta na cały ruch, skoro tydzień wypadł dobrze

   Przy dwóch zmianach naraz nie da się powiedzieć, co spowodowało pogorszenie. Jeden wymiar na raz kosztuje tydzień więcej, a oszczędza kilka dni zgadywania. Ta sama zasada dotyczy zmiany modelu, bo to również osobna zmienna.