Sprawdź się: Który model wybrać i ile to naprawdę kosztuje

Sprawdź się

4 pytania z tej lekcji. Po odpowiedzi zobaczysz, dlaczego jest właśnie tak.

1. 1. Rachunek za agenta wsparcia wzrósł w trzy tygodnie z 180 do 520 zł, przy tej samej liczbie rozmów i tym samym modelu. Co sprawdzić najpierw?

   Czy dostawca nie zmienił cennikaO ile wydłużyły się rozmowy, bo przy każdej wiadomości leci cała ich historiaCzy ktoś nie przełączył agenta na droższy modelCzy agent nie zaczął odpowiadać zbyt rozwlekle

   Koszt rozmowy rośnie nieliniowo z liczbą wymian, bo dziesiąta wiadomość niesie ze sobą dziewięć poprzednich, i to wystarcza, żeby rachunek się potroił bez żadnej zmiany w konfiguracji. Podejrzenie o zmianę modelu jest naturalne i warto je odhaczyć, ale w treści pytania model został ten sam, więc szukanie tam kończy się niczym.

2. 2. Cztery zastosowania, jeden budżet. Na którym najbezpieczniej zejść na tańszy model?

   Agent, który sam planuje kolejne kroki researchuKlasyfikacja przychodzących zgłoszeń do pięciu kategoriiRozmowa z klientem po odrzuconej reklamacjiGenerowanie skryptów przetwarzających dane sprzedażowe

   Klasyfikacja do zamkniętej listy kategorii to zadanie o wąskim wyjściu, gdzie tańszy model trafia praktycznie tak samo często, a błąd widać od razu w statystykach. Rozmowa po reklamacji wygląda na prostą, bo to „tylko pisanie tekstu”, ale wyczucie tonu jest właśnie tym, na czym tańsze modele odstają najbardziej, i kosztuje to klienta, nie tokeny.

3. 3. Model wygrał świeży ranking w zadaniach matematycznych. Twój agent pisze maile do klientów. Co z tego wynika?

   Będzie lepszy także w mailach, bo rankingi mierzą ogólną sprawność modeluNiewiele, dopóki nie uruchomisz go na własnych pięćdziesięciu zapytaniachBędzie droższy, więc lepiej go z góry odpuścićBędzie lepszy, ale dopiero po przepisaniu promptu pod nowy model

   Testy, na których opierają się rankingi, rzadko przypominają Twoje zadanie, więc jedyna wiążąca odpowiedź pochodzi z Twoich własnych danych. Wariant o ogólnej sprawności kusi, bo modele faktycznie poprawiają się „w całości”, tylko że różnice w pisaniu maili do polskich klientów bywają niezauważalne tam, gdzie w matematyce widać przepaść.

4. 4. Dział bezpieczeństwa pyta, po co Wam własny klucz API u dostawcy modelu. Jaki jest główny powód, dla którego firmy się na to decydują?

   Zawsze wychodzi taniej niż rozliczenie przez platformęTreść rozmów idzie do wybranego dostawcy na Waszych własnych warunkach umownychAgent działa wyraźnie szybciejOtwiera dostęp do modeli niedostępnych w inny sposób

   Podpięcie własnego klucza u Anthropic, OpenAI czy Google przenosi relację umowną i kontrolę nad danymi na Waszą stronę, i to zwykle przesądza sprawę. Argument o cenie kusi, bo przy dużym ruchu rzeczywiście bywa taniej, ale przy dwustu rozmowach miesięcznie różnica ginie w zaokrągleniu i sama nie uzasadnia dodatkowego konta do pilnowania.