Sprawdź się: Jak napisać prompt systemowy, który naprawdę działa

Sprawdź się

4 pytania z tej lekcji. Po odpowiedzi zobaczysz, dlaczego jest właśnie tak.

1. 1. Agent obsługujący zamówienia zaczął podawać terminy dostawy, których nie ma w żadnym systemie. Brzmi przy tym bardzo pewnie. Która poprawka zadziała najszybciej?

   Dopisanie zdania „odpowiadaj rzetelnie i nie zmyślaj”Dopisanie: gdy nie masz danych o terminie, napisz „sprawdzę i wrócę” i przekaż sprawę do konsultantaPrzeniesienie promptu na mocniejszy modelRozbudowanie opisu roli o dwa akapity o kulturze firmy

   Halucynacja bierze się z luki, więc trzeba dać agentowi konkretne zachowanie na wypadek braku danych, a nie zakaz. „Nie zmyślaj” wygląda jak dokładnie ta sama reguła, tylko krótsza, ale nie mówi, co zrobić zamiast, więc agent i tak musi coś wymyślić, żeby dokończyć odpowiedź.

2. 2. Prompt rósł przez miesiąc, dziś ma dwie strony, a odpowiedzi zrobiły się nieprzewidywalne: raz dwa zdania, raz pół strony, przy podobnych pytaniach. Co sprawdzić najpierw?

   Czy nie skończył się limit kontekstu w rozmowieCzy reguły dopisywane w różnych tygodniach nie zaczęły sobie przeczyćCzy prompt nie powinien być po angielskuCzy nie trzeba wyczyścić historii wcześniejszych rozmów

   Reguły dokładane punktowo przez miesiąc potrafią wykluczać się nawzajem, a wtedy model wybiera raz jedną, raz drugą i zachowanie wygląda na losowe. Limit kontekstu kusi, bo problem pojawił się razem ze wzrostem długości, ale dwie strony to kilkaset tokenów przy oknach liczonych w setkach tysięcy, więc miejsca nie zabrakło.

3. 3. Który fragment sekcji o formacie faktycznie zmieni zachowanie agenta?

   „Odpowiadaj profesjonalnie i pomocnie”„Odpowiadaj dwoma, trzema zdaniami, bez powitania, cenę zawsze podawaj netto w złotych”„Bądź konkretny i unikaj lania wody”„Dostosuj ton wypowiedzi do rozmówcy”

   Instrukcja sprawdzalna to taka, przy której patrzysz na odpowiedź i po sekundzie wiesz, czy została spełniona: liczba zdań, brak powitania, waluta i netto. „Bądź konkretny i unikaj lania wody” brzmi bardziej stanowczo od uprzejmych formułek, tylko że nadal nie da się na tej podstawie odrzucić żadnej konkretnej odpowiedzi.

4. 4. Zebrałeś w pliku dwadzieścia złych odpowiedzi agenta z ostatnich dwóch tygodni. Co robisz z nimi dalej?

   Przepisujesz prompt od zera, mając już pełny obraz sytuacjiGrupujesz je we wzorce i na każdy wzorzec dopisujesz jedną regułęWklejasz wszystkie dwadzieścia do promptu jako przykłady złych odpowiedziWysyłasz je dostawcy modelu jako zgłoszenie błędu

   Dwadzieścia wpadek zwykle układa się w trzy, cztery powtarzalne wzorce, a jedna reguła na wzorzec zamyka temat bez ruszania tego, co już działało. Przepisanie od zera kusi porządkiem i poczuciem świeżego startu, ale kasuje niewidoczne ustalenia, które przez miesiąc gasiły inne problemy, i te problemy wracają w tydzień.