Który model wybrać i ile to naprawdę kosztuje

Najpierw zła wiadomość o rankingach

Tabele porównawcze modeli starzeją się w tygodniach, a testy, na których się opierają, rzadko przypominają Twoje zadanie. Model wygrywający w zadaniach matematycznych nie musi lepiej pisać maili do klientów.

Praktyczniejsze podejście jest takie: wybierz model średniej klasy, uruchom na nim swoje prawdziwe zadanie i dopiero wtedy sprawdź, czy warto płacić więcej. W dużej części zastosowań firmowych różnica między modelem drogim a średnim jest niezauważalna, bo wąskim gardłem jest to, jak opisano zadanie.

Kiedy tani model wystarczy

Są zadania, na których oszczędność jest bezpieczna, i takie, gdzie mści się natychmiast. Podział przebiega mniej więcej tak.

• Wystarczy tańszy: klasyfikacja zgłoszeń, streszczanie tekstu, wyciąganie danych z dokumentów, odpowiedzi na powtarzalne pytania z gotowej bazy.
• Warto dopłacić: wieloetapowe rozumowanie, pisanie kodu, rozmowy wymagające wyczucia tonu, zadania, w których agent sam planuje kolejne kroki.
• Zawsze testuj oba: przy dłuższych rozmowach różnica ujawnia się dopiero w piątej czy szóstej wymianie, gdy trzeba pamiętać wcześniejsze ustalenia.

Jak policzyć koszt, żeby się nie zdziwić

Modele rozliczają się za tokeny, czyli kawałki tekstu. Bardzo z grubsza jeden token to około trzech, czterech znaków polskiego tekstu, więc strona A4 to mniej więcej siedemset tokenów. Płacisz osobno za to, co wysyłasz, i za to, co model odpisuje.

Pułapka nie tkwi w cenie za tysiąc tokenów, tylko w tym, że przy dłuższej rozmowie wysyłasz jej całą historię przy każdej wiadomości. Dziesiąta wymiana kosztuje więc wielokrotnie więcej niż pierwsza, mimo że pytanie jest równie krótkie.

Praktyczna rada: zanim policzysz cokolwiek w arkuszu, uruchom agenta na pięćdziesięciu prawdziwych zapytaniach i sprawdź rachunek. Szacunki na sucho rozjeżdżają się z rzeczywistością tak regularnie, że przestaliśmy je robić.

Własny klucz API, czyli BYOK

Możesz podpiąć własny klucz od dostawcy modelu zamiast rozliczać się przez platformę. Ma to trzy skutki, które warto rozważyć razem, bo nie zawsze prowadzą w tę samą stronę.

Po pierwsze, płacisz dostawcy według rzeczywistego zużycia, co przy dużym ruchu bywa tańsze, a przy małym zwykle nie robi różnicy. Po drugie, masz wgląd we własną konsumpcję i limity. Po trzecie, i to jest zwykle najważniejszy powód, treść rozmów idzie bezpośrednio do wybranego przez Ciebie dostawcy na Twoich warunkach umownych.

Jeśli w firmie jest dział bezpieczeństwa albo przetwarzacie dane wrażliwe, ten trzeci punkt bywa warunkiem wejścia i wtedy pozostałe przestają mieć znaczenie.

Częste pytania