@Airani ostatnio próbowałem dodać bot na telegrama, ale wywalało mi błędy. A jak to wygląda z kosztami? Nie zżera to zbyt wielu tokenów?

@pomidor największą bolączką jest to, że zdania w języku polskim pożerają znacznie więcej tokenów niż zdania po angielsku. Bot póki co wysłał około 1000 wiadomości na moim serwerze, większość z nich korzystając z pełnej puli tokenów (4091) jako prompty (najnowsze wpisy na czacie + początkowy prompt bota + odpowiedź bota). Orientacyjnie kosztowałoby mnie to jakieś ~$35, ale ja korzystam po prostu z kont Trial na OpenAI, każde z nich ma darmowe $18 do wykorzystania, więc po prostu jak jedno się skończy to biorę klucz API z drugiego i podmieniam w kodzie. Mój bot korzysta z tego najdroższego GPT-3 - DaVinci-003, ale są też inne znacznie tańsze, które mogą być dobrą opcją jeśli nie chciałoby Ci się bawić w te konta Trial.

@Airani czyli jednak trochę kosztuje. A porównywałeś jakość odpowiedzi na tych tańszych modelach? Jest spora różnica?

@pomidor sam nie porównywałem, ale przed tworzeniem bota rozejrzałem się jakie są mniej więcej różnice, tutaj jest dobry opis każdego modelu:

https://subscription.packtpub.com/book/data/9781800563193/2/ch02lvl1sec07/introducing-davinci-babbage-curie-and-ada

Drugi najlepszy po DaVinci jest Curie, która jest aż 10x tańsza od tego pierwszego. Strzelam, że Curie nie byłaby tak w stanie łapać kontekstu rozmowy, bo DaVinci jest w tym naprawdę świetny. Mi zależy na tym, by bot jak najbardziej naturalnie brzmiał w rozmowie, więc tych innych nawet nie brałem pod uwagę.