Sprawdź się: Jak napisać prompt systemowy, który naprawdę działa

Pytania quizu

1. Agent obsługujący zamówienia zaczął podawać terminy dostawy, których nie ma w żadnym systemie. Brzmi przy tym bardzo pewnie. Która poprawka zadziała najszybciej?

   • Dopisanie zdania „odpowiadaj rzetelnie i nie zmyślaj”
   • Dopisanie: gdy nie masz danych o terminie, napisz „sprawdzę i wrócę” i przekaż sprawę do konsultanta
   • Przeniesienie promptu na mocniejszy model
   • Rozbudowanie opisu roli o dwa akapity o kulturze firmy

   Halucynacja bierze się z luki, więc trzeba dać agentowi konkretne zachowanie na wypadek braku danych, a nie zakaz. „Nie zmyślaj” wygląda jak dokładnie ta sama reguła, tylko krótsza, ale nie mówi, co zrobić zamiast, więc agent i tak musi coś wymyślić, żeby dokończyć odpowiedź.

2. Prompt rósł przez miesiąc, dziś ma dwie strony, a odpowiedzi zrobiły się nieprzewidywalne: raz dwa zdania, raz pół strony, przy podobnych pytaniach. Co sprawdzić najpierw?

   • Czy nie skończył się limit kontekstu w rozmowie
   • Czy reguły dopisywane w różnych tygodniach nie zaczęły sobie przeczyć
   • Czy prompt nie powinien być po angielsku
   • Czy nie trzeba wyczyścić historii wcześniejszych rozmów

   Reguły dokładane punktowo przez miesiąc potrafią wykluczać się nawzajem, a wtedy model wybiera raz jedną, raz drugą i zachowanie wygląda na losowe. Limit kontekstu kusi, bo problem pojawił się razem ze wzrostem długości, ale dwie strony to kilkaset tokenów przy oknach liczonych w setkach tysięcy, więc miejsca nie zabrakło.

3. Który fragment sekcji o formacie faktycznie zmieni zachowanie agenta?

   • „Odpowiadaj profesjonalnie i pomocnie”
   • „Odpowiadaj dwoma, trzema zdaniami, bez powitania, cenę zawsze podawaj netto w złotych”
   • „Bądź konkretny i unikaj lania wody”
   • „Dostosuj ton wypowiedzi do rozmówcy”

   Instrukcja sprawdzalna to taka, przy której patrzysz na odpowiedź i po sekundzie wiesz, czy została spełniona: liczba zdań, brak powitania, waluta i netto. „Bądź konkretny i unikaj lania wody” brzmi bardziej stanowczo od uprzejmych formułek, tylko że nadal nie da się na tej podstawie odrzucić żadnej konkretnej odpowiedzi.

4. Zebrałeś w pliku dwadzieścia złych odpowiedzi agenta z ostatnich dwóch tygodni. Co robisz z nimi dalej?

   • Przepisujesz prompt od zera, mając już pełny obraz sytuacji
   • Grupujesz je we wzorce i na każdy wzorzec dopisujesz jedną regułę
   • Wklejasz wszystkie dwadzieścia do promptu jako przykłady złych odpowiedzi
   • Wysyłasz je dostawcy modelu jako zgłoszenie błędu

   Dwadzieścia wpadek zwykle układa się w trzy, cztery powtarzalne wzorce, a jedna reguła na wzorzec zamyka temat bez ruszania tego, co już działało. Przepisanie od zera kusi porządkiem i poczuciem świeżego startu, ale kasuje niewidoczne ustalenia, które przez miesiąc gasiły inne problemy, i te problemy wracają w tydzień.