Lekcja 18 · krok 2około 20 min pracy

Przegląd miesięczny i warunki wyłączenia

Ćwiczenie do lekcji Gdy agent zaczyna się mylić: przeglądy, model, wyłączenie. Teorię masz za sobą — teraz wykonaj to na własnym agencie albo w dowolnym czacie z modelem. Bez tego kroku kurs zostaje wiedzą, która nie zmienia niczego w Twojej pracy.

Co powinieneś już wiedzieć z teorii

  • Gartner na próbie 432 liderów: w organizacjach o wysokiej dojrzałości AI 45% wdrożeń działa produkcyjnie trzy lata lub dłużej, przy niskiej dojrzałości 20%. Badanie nie mówi, co dokładnie robią ci pierwsi, mówi tylko, że coś robią przez trzy lata.
  • Degradacja jest cicha. Zapisuj co tydzień dwie liczby: odsetek rozmów zakończonych bez człowieka i liczbę wywołań agenta. Spadek tej drugiej przy niezmienionym procesie jest sygnałem sam w sobie.
  • Najczęstsza przyczyna gorszych odpowiedzi to zmiana w firmie, nie w modelu. Dopisz przegląd promptu do procedury zmiany cennika, oferty i przekazywania obowiązków po odejściu pracownika.
  • Trzydzieści minut miesięcznie: dwadzieścia losowych rozmów w trzech kubełkach plus przeczytanie całego promptu od góry do dołu, a wynik zapisany obok wyniku sprzed miesiąca. Z poprawkami i reakcją na zmiany w firmie daje to półtorej godziny miesięcznie na agenta.

Co masz zrobić

Zrób pierwszy przegląd na prawdziwych rozmowach, a przy okazji zapisz warunki, w których agent zostanie wyłączony. Drugą część łatwiej ustalić teraz, gdy nic się nie pali, niż za pół roku w środku dyskusji.

Wklejam dwadzieścia rozmów mojego agenta z ostatniego miesiąca. Oceń każdą jako dobra, do poprawki albo zła i podaj proporcje. Potem pogrupuj problemy w powtarzalne wzorce, a przy każdym wzorcu napisz, czy przyczyna leży w treści promptu (nieaktualne dane, brak reguły, zły format), czy w rozumowaniu modelu. Na koniec zaproponuj maksymalnie pięć poprawek promptu, każdą jako jedno zdanie do dopisania.

Gotowe, gdy:

Gdzie to się najczęściej sypie

Zanim uznasz ćwiczenie za zrobione, sprawdź, czy nie wpadłeś w któreś z tych miejsc. Każde widzieliśmy więcej niż raz.

  • Zrzucanie każdego pogorszenia na model: zmieniacie model, płacicie więcej, a odpowiedzi nadal opierają się na starym cenniku.
  • Zmiana modelu i promptu w tym samym tygodniu: gdy wyniki spadną, nie ma jak ustalić, które ustawienie zawiodło, i wracacie do zgadywania.
  • Prompt, który tylko rośnie: reguły dopisane pod jednorazowe sytuacje zostają na zawsze i po roku zaczynają sobie przeczyć.
  • Wyłączenie agenta bez odebrania dostępów: nieużywana konfiguracja z aktywnymi uprawnieniami do danych zostaje w systemie i nikt jej nie pilnuje.

Nie masz jeszcze na czym ćwiczyć?

Agent w chmurze EU startuje w około minutę. Pierwsza subskrypcja pakietu Premium ma 5 dni za darmo, a kurs czytasz dalej niezależnie od tego.

Zobacz plany