Nowsze modele AI zawodzą częściej podczas kodowania w podstępny sposób

Sztuczna inteligencja przygotowuje się do opanowania świata, to jasne.

@Klockobar "Autor spekuluje, że ta degradacja wynika z uprzedzeń w danych treningowych, gdzie akceptacja przez użytkowników kodu wygenerowanego przez AI, niezależnie od jego długoterminowej poprawności, służy jako pozytywny sygnał. To zachęca modele do priorytetyzowania kodu, który działa bez natychmiastowych błędów, nawet jeśli oznacza to poświęcenie kontroli bezpieczeństwa lub generowanie prawdopodobnych, ale wadliwych danych."

To co, jakaś partyzantka z karmieniem AI gównem przez akceptację chujowego kodu?

@Klockobar Nieno, jest padaka totalna xD U nas [nie powiem gdzie xd] zostaliśmy wręcz zmuszeni do korzystania z AI, i to nie jakieś copypaste z ChataGPT tylko Cursor, wszędzie MCP, najnowsze modele, full wypas zapas tokenów.

I to jest jak jakaś pułapka xD Gość (w sensie ten Ejaj) wszystko robi po leniwemu, tak jakby wręcz próbował nabrać deva, sabotować w rozwiązania które wydają się działać, ale zemszczą się. Trzeba być bardziej czujnym niż przy review juniora.

Zawsze po linii najmniejszego oporu. Jak test nie działa to go wywalę. Jak model nie puscza walidacji to gołym SQLem będę dame wstrzykiwał, jak tworzę nowy test integracyjny to najważniejsze bebechy zmockuje.

I zawsze "the user is right to call me moron" "ahhh you are right! thats unacceptable!" no katastrofa. I co śmieszne, mam wrażenie, że on faktycznie nawet parę miesięcy temu działał nieco lepiej.

Oczywiście promptardzi naganiający na bańkę powiedzą że skill issue i inaczej musisz inaczej trzeba prompta pisać.

Generalnie jeśli ktoś totalnie nie ogarnia programowania, i potrzebuje zrobić stronkę jak w gimnazjum na zaliczenie informatyki, albo inny dodatek do przeglądarki, to to jest super narzędzie. Ale rozwijanie dowolnego większego systemu z tym AIem to jest koszmar. To mniej więcej tak jak obcowanie z najstarszą wersją tłumacza google. Jeśli nie znasz języka obcego - ŁAAAŁ PATRZCIE NIE ZNAM JAPOŃSKIEGO A PRZETŁUMACZYŁEM MENU!!!! Ale mówić od razu, że to zastąpi tłumaczy przysiegłych...

I w przypadku tłumacza google przynajmniej był ogromny rozwój, a AI to zalicza wręcz regres [nie mam na to danych, mi się gorzej korzysta po prostu]

A zresztą;
Przykładowe rozumowanie najnowszego "antropomorficzno najmądrzejszego modelu do najtrudniejszych zadań" OPUS CZTERYIPÓŁ w trybie PLAN po 5 minutach mielenia trybikami - pic rel. 700 podzielone na 2 to 25.

Te pełnowartościowe dane to już chyba w calosci zostały przemielone z ogólnie dostępnego internetu a firmy nie kwapią się do udostępniania swoich repo do szkolenia AI. Btak juniorów to brak pytań a to brak nowych danych. AI oczywiście może zapytać AI które już przeciez za 3 miesięco zastąpi wszystkich developerów

Mam też wrazenie, ze ostatnie błędy w poprawkach do znanego systemu operacyjnego są pokłosiem opisywanego problemu

AI-hype, poza tymi specjalistycznymi, tresowanymi na jakościowych danych, to jest niewyobrażalne gówno. I te gówno kosztuje nas gigawaty zasobów, w imię tego, żeby jeden debil z drugą debilką mógł dostać podsumowanie debilnych zapytań, a akcjonariuszom rosły słupki.

Testuje AI na DevExpress i serio poza GPT nie ogarnia składni, logiki nawet po wskazaniu w którym miejscu chcę wpisać np. żeby wyświetlało dany wiersz lub tabelę we formularzu

Zawsze poznam unit testy wysrane przez AI, bo nie mają sensu. Test nazwany "should do X" na 100% akurat tego nie sprawdza, przypadki się powtarzają, test case'y typu "czy obsłuży pustą tablice / tablice z wieloma elementami" (gdzie w testowanym kodzie nie ma różnicy) itd.

Tak że z tym przyspieszaniem pracy, to póki co nie wyszło. Bardziej zdejmuje ze mnie szukanie, co z czym połączone, i debugowanie głupich błędów typu - zapomniałam o jakimś drobiazgu i tego sama nie widzę. Potrafi zjebać najprostsze rzeczy, typu każę mu coś dodać na początku komponentu, to weźmie i wsadzi gdzieś niżej. XD

Ja to ogólnie mam wrażenie, że AI trochę stoi w miejscu od jakiegoś czasu. Wydaje mi się, że sporo osób to też pewnie zauważa. Ich autorzy ścigają się który model będzie miał lepsze wyniki w popularnych benchmarkach żeby mogli wkleić wykres ile to nie jest mądrzejszy od poprzednich. Ale jak przyjdzie co do czego i po prostu zadajesz mu pytania to nadal masa odpowiedzi jest bez sensu albo jest totalnie nie przemyślana. Modele nadal wymyślają nazwy rzeczy które nie istnieją itp.

A to że AI wypluwa niby kod który ma od razu działać to też dobry żart. Możecie sobie łatwo sprawdzić, pobierzcie Gemini CLI i poproście o napisanie jakiegoś bardziej złożonego programu w Rust. Następnie dajcie mu uprawnienia do odpalania poleceń shell i każcie mu sprawdzić czy program działa i jak nie to ma go debugować i naprawiać po czym nadal sprawdzać czy działa. No i on się potrafi tak bawić baaardzo długo.

Ostatnio jak w taki sposób testowałem czy Gemini może mnie już zastąpić w pisaniu projektu to puszczałem mu jakiegoś skomplikowanego prompta a potem szedłem grać w lola, bo tyle potrafił nad tym siedzieć, że ja zdążyłem sobie zagrać rundkę w gierkę. Tyle z tego wyszło, że nie zastąpi bo ciągle robi coś o co nie był proszony, jeśli każę mu debugować program to on czasem potrafi usunąć jakiś inny feature byle by tylko program się kompilował. Ale moje ulubione 2 przypadki to były:

1. Gemini stwierdził, że niestety ale nie potrafi tego zrobić albo się tego nie da i on przywróci repo do stanu początkowego, tylko zamiast zrobić git restore to poprawiał ręcznie każdy plik xD.

2. Poprosiłem go żeby dodał mi jeden przycisk w apce GUI więc ten przepisał mi połowę mojego layoutu UI bo przycisk który próbował dodać był z innej wersji frameworka i mimo, że można to było zrobić w tej jakiej był ten projekt to on postanowił przepisać mój program na jego starszą wersję i zaczynały się pojawiać coraz to kolejne błędy bo w starej wersji nie było rzeczy których program używał więc ten po kolei przepisywał wszystko na starą wersje przy okazji zmieniając układ wszystkiego. Żeby było śmieszniej finalnie mu się udało ale programowi brakowało 1/3 przycisków oraz był praktycznie nie używalny bo UI było totalnie nie przemyślane i bez sensu ułożone.

O nie ludzie uświadamiają sobie że problemy z lat 70 jednak nadal pozostaja oprócz drastycznej poprawy szybkości trenowania.

No kto by się spodziewal