Drugi i trzeci proces, czyli skalowanie bez bałaganu

Jeden agent czy kilku: test na trzy pytania

Odruch jest taki, żeby dołożyć nowe zadanie do agenta, który już działa. Czasem to dobry ruch, częściej nie, a rozstrzygają trzy pytania.

Czy odbiorca jest ten sam? Czy zestaw uprawnień jest ten sam? Czy dobra odpowiedź wygląda podobnie? Trzy razy „tak” oznacza, że można dokładać. Jedno „nie” oznacza osobnego agenta — jego uruchomienie zajmuje około minuty, a rozplątywanie wspólnego promptu po trzech miesiącach zajmuje popołudnie.

Przykład, który powtarza się w firmach: agent odpowiada klientom na WhatsAppie i ktoś chce, żeby przy okazji przygotowywał poniedziałkowy raport sprzedaży dla zarządu. Inny odbiorca, inne dane, inny format, inne uprawnienia. To są dwa agenty, choć technicznie dałoby się jednego.

Odwrotny przypadek: ten sam agent obsługuje pytania o dostępność towaru i o status zamówienia. Ten sam klient, te same dane, ten sam ton. Tutaj dokładanie ma sens, a osobny agent tylko rozdrobniłby wiedzę o firmie na dwa prompty.

Co się psuje, gdy dokładasz wszystko do jednego promptu

Prompt obsługujący cztery niepowiązane zadania przestaje być instrukcją i staje się zbiorem wyjątków.

Jest też skutek widoczny dopiero po miesiącach: uprawnienia rozrastają się do sumy wszystkich zadań. Agent od obsługi klienta, któremu dołożono raportowanie, ma nagle dostęp do danych sprzedażowych. Nikt tego nie zaplanował, po prostu tak wyszło. Reszta objawów pojawia się w przewidywalnej kolejności.

• Reguły zaczynają sobie przeczyć. „Odpowiadaj krótko” z obsługi klienta zderza się z „rozpisz szczegółowo” z raportu, a agent wybiera raz tak, raz tak.
• Jedna zmiana psuje trzy rzeczy. Poprawiasz ton w reklamacjach, a w poniedziałek raport przychodzi w innym formacie.
• Nie da się wskazać właściciela. Przy jednym agencie na cztery działy nikt nie czuje się odpowiedzialny za prompt.
• Testowanie robi się drogie. Każda poprawka wymaga sprawdzenia wszystkich czterech zastosowań, więc po miesiącu nikt już nie sprawdza.

Prawdziwy koszt kilku agentów nie leży w abonamencie

Uruchomienie kolejnego agenta zajmuje około minuty, więc łatwo uwierzyć, że skalowanie jest darmowe. Nie jest — koszt po prostu siedzi gdzie indziej, w utrzymaniu.

Przyjmij półtorej godziny miesięcznie na agenta: przegląd rozmów, poprawki, reakcja na zmiany w firmie. Przy trzech agentach to niecały dzień pracy w miesiącu, rozłożony na kawałki. Przy pięciu robi się z tego stała pozycja w czyimś kalendarzu i lepiej, żeby faktycznie tam była.

Drugi koszt to uwaga. Trzy agenty rozrzucone po trzech kanałach — Telegram do raportów wewnętrznych, WhatsApp do klientów, Slack do zespołu — oznaczają trzy miejsca, w które ktoś musi zaglądać. Kanałów do wyboru jest trzynaście i to zaleta, dopóki nie użyjecie ośmiu naraz.

Stąd zasada, która oszczędza najwięcej nerwów: nie uruchamiaj kolejnego agenta, dopóki poprzedni nie przepracuje dwóch tygodni bez poprawek. Nie chodzi o dyscyplinę, tylko o to, że dokładanie nowego wdrożenia do niedokończonego mnoży liczbę rzeczy, które mogą pójść źle, zamiast je sumować.

Rejestr agentów na jednej stronie

Przy trzecim agencie zaczyna brakować odpowiedzi na proste pytania: kto to postawił, po co i czy to jeszcze działa. Arkusz z siedmioma kolumnami rozwiązuje sprawę na lata, a założenie go zajmuje kwadrans.

Kolumna z datą ostatniego przeglądu robi najwięcej dobrego. Gdy w arkuszu widać agenta nietkniętego od pół roku, ktoś w końcu zapyta, czy jest jeszcze potrzebny. Bez tej kolumny takie pytanie nie pada nigdy.

• Nazwa i kanał, w którym pracuje.
• Proces, który obsługuje, opisany w jednym zdaniu.
• Właściciel: imię i nazwisko, nie nazwa działu.
• Dostęp: do jakich danych i narzędzi ma prawo sięgać.
• Kto może z nim rozmawiać.
• Data ostatniego przeglądu promptu.
• Warunek wyłączenia: co musi się stać, żeby go zgasić.

Co się psuje przy piątym procesie

Do czterech agentów firmy radzą sobie intuicyjnie. Przy piątym pojawiają się trzy problemy, których wcześniej nie było, i żaden z nich nie jest techniczny.

Pierwszy: wiedza o firmie zaczyna żyć w pięciu kopiach. Cennik, godziny pracy, zasady zwrotów — to samo wklejone do pięciu promptów. Zmiana cennika oznacza pięć poprawek, a przy trzeciej ktoś zapomni. Rozwiązanie jest nudne i skuteczne: jeden dokument źródłowy, do którego agenci sięgają, zamiast wiedzy przepisanej do instrukcji.

Drugi: agenty zaczynają sobie wchodzić w drogę. Dwa piszą do tego samego kanału, dwa edytują ten sam arkusz, dwa odpowiadają temu samemu klientowi z różnych numerów. Dowiadujecie się o tym ze zdziwionej wiadomości od klienta, a nie z żadnego alertu.

Trzeci: nikt nie wie, który się zepsuł. Przy jednym agencie zła odpowiedź od razu ma adresata. Przy pięciu pada zdanie „AI znowu coś namieszało” i szukanie zaczyna się od zera. Dlatego przy czwartym wdrożeniu zatrzymajcie się na tydzień, zróbcie rejestr i uporządkujcie źródło wiedzy. Ten tydzień zwraca się przy szóstym.

Częste pytania