Pierwszy tydzień pilotażu pod nadzorem

Nadzór to konkretna osoba i konkretna godzina

Pilotaż bez wyznaczonego recenzenta wygląda tak: agent działa, wszyscy zakładają, że ktoś to sprawdza, i po dwóch tygodniach nikt nie potrafi powiedzieć, czy było dobrze. Wyznacz jedną osobę. Z imienia, w kalendarzu, z blokiem czterdziestu minut dziennie o stałej porze.

Najlepszym recenzentem jest ten, kto dziś wykonuje ten proces ręcznie. Zna dobrą odpowiedź, rozpozna subtelny błąd i ma własny interes w tym, żeby to zadziałało. Najgorszym jest autor promptu, bo czyta odpowiedzi przez to, co chciał w nich umieścić. Jeśli to ta sama osoba, dołóż drugą parę oczu na trzeci i piąty dzień.

Wyznacz też zastępcę na wypadek choroby albo wyjazdu. Tydzień pilotażu bez recenzji nie jest tygodniem pilotażu, tylko tygodniem produkcji bez nadzoru, a to zupełnie inna decyzja niż ta, którą podjęliście.

Trzy kubełki i zapis, który da się policzyć

Czytanie odpowiedzi bez zapisu kończy się wrażeniem „w sumie nieźle”. Potrzebujesz liczby, więc każda odpowiedź ląduje w jednym z trzech kubełków: w porządku, drobna poprawka, źle. Trzy kategorie, nie pięć — przy pięciu recenzent zaczyna się wahać, zwalnia i po dwóch dniach rzuca to w cholerę.

Do każdej oceny innej niż „w porządku” dopisz jedno zdanie o powodzie i wklej pytanie dosłownie. Streszczenie pytania jest bezużyteczne przy poprawianiu promptu, bo gubi dokładnie to sformułowanie, które zmyliło agenta. Zapisuj też, czy sprawa wymagała kontaktu z człowiekiem — to osobna liczba i przyda się przy decyzji o rozszerzeniu.

W pierwszym tygodniu nie oceniaj stylu. Zbyt oficjalny ton albo dziwne powitanie to poprawka na pięć minut i można ją zrobić w drugim tygodniu. Skup się na dwóch rzeczach: czy treść jest prawdziwa i czy agent oddał sprawę człowiekowi wtedy, kiedy powinien.

Po czym poznać, że wolno rozszerzyć zakres

Decyzję opierasz na liczbach z arkusza recenzji, a nie na upływie kalendarza. Progi spisujecie przed startem — dlaczego akurat przed, tłumaczy lekcja o wyjściu na produkcję. Tutaj liczy się co innego: kto konkretnie te progi ocenia.

Gdy progi są spełnione, rozszerzaj o jeden wymiar. Albo dokładasz ludzi, albo tematy — nigdy jedno i drugie w tym samym tygodniu. Przy dwóch zmianach naraz pogorszenie wyników nie powie ci, która z nich zawiniła, i wracasz do zgadywania. Zmiana modelu liczy się jako osobny wymiar, nawet jeśli wydaje się drobiazgiem technicznym.

I rzecz, która brzmi jak przesada, dopóki się nie zdarzy: nie rozszerzaj w piątek. Pierwsze niespodzianki po zmianie zakresu wypadają w ciągu doby, więc chcesz mieć wtedy recenzenta przy biurku, a nie na działce.

• Zero odpowiedzi w kubełku „źle” przez trzy kolejne dni robocze.
• Udział kubełka „w porządku” powyżej 90 procent, liczony osobno dla każdego dnia i czytany razem ze spadającą liczbą poprawek (sam poziom bez trendu nic nie mówi), a nie średnio z tygodnia.
• Liczba poprawek promptu spada z dnia na dzień. Gdy stoi w miejscu, zadanie ma więcej wyjątków niż reguł.
• Recenzent potrafi wymienić z pamięci trzy typy pytań, na które agent odpowiada dobrze. Jeśli nie potrafi, nie zna jeszcze zakresu.

Agent myli się trzeciego dnia i to jest normalne

Trzeci dzień bywa statystycznie najgorszy i ma to prostą przyczynę. Pierwsze dwa dni to pytania, których się spodziewaliście, bo zespół testował na tym, co pamiętał. Trzeciego dnia zaczynają się przypadki brzegowe i pytania zadane w sposób, którego nikt nie przewidział.

Kolejność działań ma znaczenie. Najpierw napraw sprawę u człowieka, którego dotknęła — dla niego to pomyłka firmy, nie narzędzia. Potem zapisz przypadek w arkuszu i wróć do pracy. Nie poprawiaj promptu tego samego dnia pod wpływem jednego błędu, bo zbudujesz regułę pod pojedynczy przypadek, a takich reguł uzbiera się trzydzieści i zaczną sobie przeczyć.

Poprawiaj, gdy masz trzy podobne przypadki, i najpierw rozstrzygnij, z czym masz do czynienia. Brak reguły w promptcie leczy się jednym zdaniem instrukcji. Brak danych, czyli sytuacja, w której agent nie ma skąd wziąć odpowiedzi, leczy się uzupełnieniem źródła albo regułą odmowy. Zadanie po prostu za trudne leczy się zawężeniem zakresu — i to jest najczęstsza trafna diagnoza w pierwszym tygodniu.

Cofnięcie o etap, czyli powrót do trybu, w którym każda odpowiedź czeka na akceptację człowieka, nie jest porażką pilotażu. Porażką jest brnięcie z agentem, który myli się codziennie, bo ktoś ogłosił start na spotkaniu zarządu.

Kiedy pilotaż pod nadzorem jest przerostem formy

Nie każde uruchomienie wymaga tygodnia recenzji. Jeśli agent tylko czyta i przygotowuje materiał dla jednej osoby, która i tak przejrzy wynik przed użyciem, nadzór jest wbudowany w proces. Wystarczy notować wpadki przez pierwszy miesiąc i nie budować wokół tego rytuału.

Pilotaż nie zadziała też tam, gdzie proces występuje dwa razy w tygodniu. Pięć dni da wtedy dwie próbki i żadnych wniosków. Przy rzadkich procesach wydłuż okres do miesiąca albo przetestuj na archiwum: weź trzydzieści przypadków z zeszłego kwartału i porównaj odpowiedzi agenta z tym, co wtedy zrobił człowiek.

Ostatni przypadek jest niewygodny. Jeśli nie ma nikogo, kto zgodzi się czytać odpowiedzi przez tydzień, nie zaczynaj. Brak recenzenta rzadko oznacza brak czasu, zwykle oznacza brak właściciela wdrożenia, a tego nie naprawi żadna konfiguracja.

Częste pytania