@ataxbras Llama3 generalnie nadaje się do takich rzeczy jak wylistowanie wszystkich prezydentów USA. Jak się go poprosi o prezydentów Polski już tak fajnie nie jest bo wynik zaśmiecony. Mój zawód nie polega na tym że oczekuję od niego nie wiadomo czego. Model zrozumiał o co mi chodzi, pobrał funkcje do wykonania zadania, zapewne ich użył i otrzymał prawidłowy wynik i ... zwracał jakieś ścierwo (tylko czasami udawało mu się podać poprawną odpowiedź). Czyli jest tak, że zapewne gdzieś ma "wtrenowany" głęboko błąd wokół tego wyniku (liczby) i nic się z tym nie zrobi. Przy okazji szukania wyjaśnień natrafiłęm na info o wysokim odszkodowaniu jakie wypłaciło lotnisko pasażerowi któremu AI za pomocą takiego agenta dokonało błędnej rezerwacji. Jak dla mnie to wciąż słabe chociaż muszę pochwalić model gpt.3.5 który w testach wypadał o niebo lepiej. Dało się dokonać agentami serii udanych odwołań do zewnętrznego API na którym wykonał zadane operacje. No ale na produkcję to i tak się nie nadawało bo przeciętny użytkownik na wejściu wszedłby w scenariusz "shit in shit out".

@tmg Na produkcję gdzie zrozumienie jest konieczne to praktycznie żaden się nie nadaje bez odpowiedniego modułu guidance. Wynika to z prostej przyczyny - LLMy nie rozumieją tego co się do nich wprowadza. A błędem deweloperów jest, że nie rozumieją zasady działania tych modeli i wydaje im się, że one coś przetwarzają logicznie. Symulowanie wioskowego kretyna, bądź polityka, bądź urzędnika w LLMie nie jest proste dlatego, że te modele wnioskują, a dlatego że symulowani tego nie robią.

Masz wyjaśnienie, chyba jedno z lepszych w internetach: https://www.youtube.com/watch?v=wjZofJX0v4M