@ataxbras: Co śmieszniejsze, o podobnej rzeczy pisałem w „Innym Świecie” -- i no... moja argumentacja brzmiała dokładnie tak samo, co zastosowana przez naukowców z OpenAI.

@kontrabanda Nie czytałem tego, co pisałeś, ale halucynacje w LLMach są naturalne z powodu zasady ich działania. Nie można ich wyeliminować, nie zmieniając paradygmatów modeli (a w przypadku modeli oznaczać to będzie, że przestaną działać).
P.S. Wiem, że OpenAI musiało to przyznać, bo inwestorzy (a ci nie jarzą często w co inwestują, więc trzeba im to tłumaczyć, jak krowie na rowie).

@ataxbras: bo „Inny Świat” jest pismem drukowanym. Akurat mogę skan ogarnąć, gdyż uzgodniłem z redakcją pisma, że mój wpis może być udostępniany na wolnej licencji.

No jest, i jest to immanentna cecha modeli językowych. Musiało OpenAI to przyznać, żeby było faktem?

@ataxbras Nie jestem pewien, czy to immanentna cecha. Ludzie też opowiadają bzdury, kiedy mocno domagasz się, aby udzielili jakiejś odpowiedzi, a warunki w jakich udzielają odpowiedzi premiują "strzelanie" (wystarczy posłuchać nieprzygotowanych studentów czy kandydatów rozmowie o pracę).

Być może pętle szkoleniowe, które premiują udzielenie jakiejkolwiek odpowiedzi, zamiast odpowiedzi "nie wiem" albo "nie jestem pewien", są tutaj problemem, a nie sama architektura LLMów?

@LondoMollari Widzisz, jest to immanentna cecha. A wynika ona z tego, że LLMy nie posługują się asocjacjami symbolicznymi. Kiedy człowiek kłamie, to wie, że kłamie, ale robi to dalej z różnych względów. LLM nie kłamie, bo nie ma internalizowanej konotacji prawdy w rozumieniu symbolicznym.

LLMy są tak naprawdę prostymi automatami wypluwającymi z siebie statystycznie pasujący do siebie ciąg n-gramów (powiedzmy, że składowych słów, pomińmy detale) w taki sposób, że każdy kolejny ngram/token ma optymalny poziom dopasowania do poprzedniego po uwzględnieniu zmian poziomów prawdopodobieństwa wynikająch z konkretnego zapytania. Tu nie ma jak skutecznie premiować, bo jeśli LLM zacznie od jakiegoś ciągu, który nie pasuje sensem, to będzie go ciągnął.

Jest tu więcej niuansów, ale fakt jest taki, że nie da się wyrobić w LLM rozumienia treści (nawet jeśli wydaje się, że tak jest).

Tak generalnie rzecz ujmując, zaczęto od dupy strony, czyli od języka, bo to łatwe i szybkie. Ale nierozwojowe.

Polecam to: https://www.youtube.com/watch?v=LPZh9BOjkQs jako starter.

@NiebieskiSzpadelNihilizmu: Aarona nie dojechało Google, tylko sprawa sądowa z jego uniwersytetem. Ale wciąż niech spoczywa w pokoju.

@NiebieskiSzpadelNihilizmu To chyba wiadomo, ale w czasie powstawania modeli od OpenAI ustawodawca amerykański nie uznawał za stosowne stworzenia dostatecznie klarownego prawa autorskiego. LLM nie kopiują treści 1:1, więc nie jest oczywiste, czy naruszają w ten sposób prawa autorskie, a jeśli naruszają to kiedy i w której jurysdykcji.

Faktem, równie pewnym jak to, że OpenAI wykorzystywało książki i materiały pisane bez zgody autorów jest to, że gdyby mieli nabywać prawa autorskie do każdej treści, to by zagrzebali się w biurokracji a nie inżynierii.

@matips no więc co? Wracamy do "wyższego celu" i stwierdzenia, że mogli to zrobić? Zresztą to zabawne mówić, że ustawodawca nie uznawał za stosowne stworzenia prawa autorskiego na tę okazję kiedy od 10-15-20 lat trwa nieustanna masturbacja wydawców cyfrowej treści i wszelkich organizacji typu riaa, że kopiowanie to piractwo, a piractwo to kradzież Po prostu przy tej okazji jak na dłoni wyszło, że te wszystkie pohukujące organizacyjki i inni wydawcy są mocni w gębie, jak trzeba dojechać plankton, który nie ma czym się obronić i można go jebać do woli, ale jak przychodzi co do czego i trzeba by było stanąć za swoimi słowami i zacząć wojować z megakorpem to jaja się podwijają pod dupę i nagle problemu nie ma. Bo sprawa tu była tak prosta- jak nie mieli/nie potrafili/nie chcieli zdobyć praw autorskich... to w tym momencie skończyłby się ich mokry sen "bycia pierwszym", zresztą to się nie tylko tyczy książek czy artykułów, które jak najbardziej zajebali 1:1 z takiego choćby librarygenesis czy scihuba, oni tak agresywnie scrapowali cały internet, że aż w końcu strony się pokapowały co się odpierdala i zaczęły wprowadzać mechanizmy do walki z tym syfem tak samo jak to wcześniej było z robotami, bo wyszło, że na niektórych witrynach 70-80% ruchu to były roboty od AI i właściciel strony zaczął dostawać pojebane rachunki, bo mimo, że ludzi więcej nie wchodziło, to jego strona generowała taki pusty ruch. Cała ta rewolucja-rewelacja AI to historia kłamstwa, która zaczęła się od masywnej kradzieży intelektualnej.