Nie jesteśmy gotowi na superinteligencję

@d.vil no to prawda. Dlatego dziwi mnie, że obecne funkcjonowanie AI/LLMów (typu regulacja, zabezpieczenie praw autorskich) nie istnieje w dyskusji, zamiast tego rozmawiamy o czystym sci-fi i AGI 🤷

@d.vil No nie do końca. Molochom od AI powoli kończą się zasoby do dalszego trenowania swoich modeli. I to kończą się na wszystkich frontach, brakuje mocy obliczeniowej - podobno zostało tylko 5% wolnych zasobów w dużych Data Centre, brakuje danych do trenowania bo największe modele przeżarły już cały publiczny internet i brakuje energii do zasilania kombajnów trenujących AI zwłaszcza w US gdzie przestarzała sieć elektryczna ma tylko kilka procent zapasu.

Tak że przechodząc do wróżenia z fusów wydaje mi się chyba będzie trochę ostudzenie hype dopóki nie uda się rozwiązać tych problemów ale w międzyczasie pewnie zobaczymy zalew narzędzi i agentów AI robiących różne ciekawe rzeczy co może ten boom jeszcze podtrzymać trochę.

@AureliaNova

Możesz powiedzieć co masz na myśli:

Specjaliści od AI są raczej zgodni, że obecnie LLMy zderzyły się że ścianą.

I na czym bazujesz tą wypowiedź bo ja bazując na podcastach, kóre maniakalnie słucham (Moonshots., A16z, All in, BG2pod i paru innyc) gdzie wwystępują megamózgi z założonymi przesz siebie unicorns (firmyu powżyej 1mld$) mówią, że jest dokłądnie odwrotnie i np. OpenaAi wewnętrzen ma modele są o niebo lepsze od obecnych ale nie mogą ich wypuścić bo zwyczajnie nie mająmocy przerobowych.

To raz a dwa używasz w ogóle AI czy jesteś jednym z tych co utknęli na pierwszych filmikach ajk W.Smitch jadł spagheti?

Ja np. obecnie lecę z 3 projektami (2 informatyczne) 1 biznesowy i mając zerową wiedzę o programowanie (poziom "hello world") jestem już w fazie testowania. Płatny chatgtp/claude.ai

@AureliaNova słowo klucz to obecnie.

@AureliaNova polecam obejrzec, bo Ci sami specjalisci (zakladam, nie wiem o kim mowisz) pewnie sie tez zgadzaja z duchem tej prognozy. Teraz to moze banka, ale kiedys przeskocza te problemy. I to kiedys jest IMHO raczej wczesniej niz pozniej, otagowalem tez filozofia, bo to nie chodzi o to co sie stanie za rok, dwa i kto na tym zarobi. Przy wyniku tej prognozy, pekniecie banki to bardzo pozytywny scenariusz

@manstain zderzenie że ścianą, w postaci braku wzrostu adekwatnej wydajności przy zwiększeniu skali. I braku sukcesów w przejściu do AGI. Jak wrócę do domku to poszukam kto mi tak powiedział. A unicorns to mogą sobie gadać co chcą - muszą, żeby zdobyć inwestorów, inaczej zbankrutują. Ja właśnie mam wiedzę programistyczną (z dyplomem dużej uczelni) i z mojego doświadczenia LLMy mają konkretne zastosowania. Używane przeze mnie w dwóch prywatnych projektach są ułatwieniem, ale nic poza tym. Vibe coding jest już memem w środowisku. Nie wyobrażam sobie zaufania im przy dużym projekcie bez kontroli przez specjalistę IT. A poza tym w moich innych zastosowaniach są świetnym wsparciem, głównie wstępnej analizy danych. I tu na pewno będzie progres, tak jak wszędzie indziej, gdzie wyspecjalizowane modele czują się najlepiej. I mają swoje wady i ograniczenia. A co do branży kreatywnej to nie wiem - musiałby się ktoś wypowiedzieć kto się na tym zna. Bo biorąc pod uwagę to jak wygląda to obecnie od strony odbiorcy, to dużo wody jeszcze upłynie w Potomacu, zanim użycie AI nie będzie oznaką Januszerki. Ale to tu i teraz. Większego progresu bez rewolucji w technologii obecnie nie widzę.

@AureliaNova Oczywiście wiesz, że chatGpt zadebiutował ledwo 3 lata temu. Brakj wzrostu mocy to właśnie to co pisałem, żę wewnętrznie mają lepsze modele ale nie mają (jeszcze) jak ich na rynek wypuścić, dlatego tertaz tak szał na budowę date center i podłączenia ich do prądu z czym czasem są problemy (woda, cena, hałas - dla miejscowych)

Zgadza się, że duże proejkty to jeszcze trochę czasu upłynie, tłumacyz mi to właśnie kumpel co tutaj (australia) jego firma robi poważne proejekty dla banków czy nawet wojska ALE zredukowali przyjmowanie entry level IT.

CO do kreowania kontentu "artystycznego" to się nie znam ale widzę po filmikach, że to nieźle zapierdziela no i różne techcnzie rzeczy w medycnie itd. Pewnie też wiesz, że w githubie już 41% kodu to AI do końca 2026 ma być 90% co mnie "helo world" zajebiście cieszy i wiem, że nie będziesz obiektywny bo też bym w twojej sytuacji nie był.

@manstain @AlwaysLookOnTheBrightSideOfDeath @d.vil

Odpowiem wam zbiorczo, bo mówicie o tym samym. Studiowałem to i mam znajomego, który w tym się doktoryzuje. AI od początku było bańką. Sam Altman odpiął etyczne wrotki i sprzedał AI jako magiczne pudełko do drukowania pieniędzy.

Obecnie wszystko się obraca wokół transformerów i modeli dyfuzyjnych. Ich wybitnym osiągnięciem jest zdolność do skalowania i 0, 1 oraz few shot learning. Problem w tym, że do osiągnięcia AGI trzeba mieć wszystkie aspekty uczenia ciągłego, a z tym jesteśmy nigdzie.

Dodatkowo zasoby zużywane na obecne modele są absurdalne. Miało to już miejsce w historii ai co najmniej raz i skończyło się stworzeniem małych modeli o porównywalnej jakości. W tej chwili powoli zmierzamy do tego samego i zaczynają powstawać małe modele, które da się lokalnie uruchamiać.

Modele typu Gemini czy ChatGPT stają się wyszukiwarkami wiedzy, bo od samego początku tym były. Wynika to z ich architektury.

@manstain i to jest kiepskie, że nie mając pojęcia o programowaniu dlubiesz za pomocą ai jak mniemam jakieś komercyjne aplikacje które pewnie będą dziurawe jak ser szwajcarski i wujowo zoptymalizowane.

@d.vil 5 lat temu wyszło gpt3 i wszyscy byli tym podjarani, bo miało niesamowite możliwości

@d.vil nawet nie wiem jak ci odpowiedzieć. Fascynuje mnie jak ludzie od dłuższego czasu wypierają fakty i zamiast tego preferują opinie.

GPT-3 był przełomem, przy czym ja mówię o faktycznym modelu. Pokazał zdolność do praktycznie liniowego przyrostu wiedzy wraz ze zwiększoną liczbą parametrów modelu. GPT-4 zaprezentował nowe podejście do szkolenia oraz jeszcze bardziej się powiększył, pokazując zdolność do wnioskowania few shot. Obecnie z punktu widzenia AI nic ciekawego się nie dzieje, tylko znajdywane są bardziej optymalne metody szkolenia modeli oraz lepsze trzymanie uwagi przez model.

Produkty, które z tego są budowane też mniej więcej się zatrzymały i są jedynie optymalizowane. Jesteśmy na etapie optymalizacji istniejących rozwiązań, a nie odkrywaniu nowych rzeczy.

Specjaliści od AI są raczej zgodni, że obecnie LLMy zderzyły się że ścianą.

I na czym bazujesz tą wypowiedź bo ja bazując na podcastach, kóre maniakalnie słucham (Moonshots., A16z, All in, BG2pod i paru innyc) gdzie wwystępują megamózgi z założonymi przesz siebie unicorns (firmyu powżyej 1mld$) mówią, że jest dokłądnie odwrotnie i np. OpenaAi wewnętrzen ma modele są o niebo lepsze od obecnych ale nie mogą ich wypuścić bo zwyczajnie nie mająmocy przerobowych.

To raz a dwa używasz w ogóle AI czy jesteś jednym z tych co utknęli na pierwszych filmikach ajk W.Smitch jadł spagheti?

Ja np. obecnie lecę z 3 projektami (2 informatyczne) 1 biznesowy i mając zerową wiedzę o programowanie (poziom "hello world") jestem już w fazie testowania. Płatny chatgtp/claude.ai

@manstain ale kolega @AureliaNova napisał o LLMach, a Ty odpowiedziałeś, ze OpenAI ma jakieś "wewnętrzne modele". Czy to też są LLMy? Ja się zgadzam z OPem, że LLMy dochodzą do ściany i nie będzie tu np AGI. Z czego czerpię swoją wiedzę? Ano z pracy, bo pracuję na codzień ze sztuczną inteligencją. LLMy nie potrafią rozumować abstrakcyjnie, nie potrafią generalizować i są podatne na "wstrzyknięcia" promptów (bezpieczenstwo). To się nie zmieni wraz ze wzrostem mocy obliczeniowej, bo to wynika z ich architektury - mają przewidywac najbardziej prawdopodobne kolejne słowo.

Mam wrażenie, ze "maniakalne sluchanie podcastów" moze być troche za mało na taką dyskusję ale liczę, ze mnie zaskoczysz. Z tego co mówisz, nie masz nawet doświadczenia z kodowaniem, a z modelami statystycznymi jedynie od strony użytkownika.

@AureliaNova no przecież obecnie model biznesowy się nie zgadza, kasa się nie zgadza, wyniki się nie zgadzają. AI generuje tylko straty, szacunkowe wyceny abonamentów by przynosiły jakikolwiek zysk oscylują w granicy 1000$. Wszystko bazuje w dużej mierze na Nvidii, która bez AI stoczyłaby się na dno jak Intel. Od lat nie potrafi wykreować niczego przełomowego jedyne co tak naprawdę Nvidia wydaje to "więcej tranzystorków w większą obudowę" i płacimy tym energią - to żadna rewolucja to tak jakby do powozu podpiąć zamiast jednego konia - cztery i powiedzieć że to przełom bo jedziemy szybciej i dalej. Porównanie z rynku - 1080 vs 5080 oferuje troszkę ponad 25% wzrost mocy per WAT. A to wszystko w 10 lat rozwoju rynku.

Widzę w codziennej pracy do czego LLMy się nadają a do czego się nie nadają i czego faktycznie nie przeskoczą. Obecnie są sporym uproszczeniem w pisaniu standardowych definicji - dobrze poznanych najlepiej przerobionych po 50x w internecie i podstawianiem do nich własnych danych. Agenty AI to porażka nie nadająca się na żadne produkcyjne rozwiązania, jak ktoś to klepnie na produkcje to powinien się podpisać pod tym własną głową. I ich w sumie "główne" zastosowanie czyli wywieranie presji na pracownikach - bo was zastąpimy AI. A potem przychodzą badania z Yale gdzie żadne ze zwolnień ery AI nie spowodowało zastąpienia pracowników AI, po prostu było pretekstem do tego by zwolnić masę ludzi z roboty.

@iNoodles oj celnie, aż boli

@FriendGatherArena Zgadza się jestem "hello world" i na pewo nie używam w ten sposób co ty (jakieś duże projekty?) tylko do własnych zastosowań (boty do trenowania, MMask, analizowanie spółek itd.) Co do podcastów to sorry ale jeśli nie ogranicza ciebie bariera językowa to jest wręcz must bo wiesz jakoś więcej ufam gościom, którzy regularnie tworzą miliardowe firmy, typy giga mózgi z jakimiś potrójnymi PHD (nie art kierunki) z najlepszych uniwerków na świecie, niż randomów (nie że ty) na hejt/wykopów. , których sczytowym osiągnięciem było utworzenie konta.

Fajne jest to, że tak np. nawet jeszcze nie minęło 3 lata a już tyle osiągnięto, oczywiste też jest, że cała masa ludzie będzie nieobiektywna i tutaj chyba najlepiej pasuje B.Gates: e always overestimate the change that will occur in the next two years and underestimate the change that will occur in the next ten. - j

@cremaster Całkiem możliwe i dlatego w jednej robisz potem dwóm innym każesz sprawdzać, potem testujesz itd.

Nie rozumiesz, że dzięki Ai, tacy jak ja "hello world" mogą to w ogóle robić ja nie muszę płacić/ kupować gościom po informatyce grubej kasy za ich napisanie. Robiąc analizie spółek za pomocą AI (ja yję ze spekulacji, spółki, krypto, trading itd.) robię 5X lepsze wyniki niż mój porównywalny benchmark ASX200 (62% x9%)

bo wiesz jakoś więcej ufam gościom, którzy regularnie tworzą miliardowe firmy, typy giga mózgi z jakimiś potrójnymi PHD (nie art kierunki) z najlepszych uniwerków na świecie, niż randomów (nie że ty) na hejt/wykopów.

@manstain dobra ale ja nie mowilem, ze nie wierzę tylko pytalem o szczegoly co to za modele, bo OP pisal o LLMach. Z drugiej strony, jak juz ktos tu pisal wczesniej, ci ludzie mają interes w tym zeby pompowac ten balonik więc tez z przymruzeniem oka powinno sie ich traktowac

@FriendGatherArena Tak jak napisałem i z tego co słuchalem, modele wewnętrzene, którycj jeszcze nie wypuszczają bo zwyczajnie nie mają mocy przerobowych a to, ze AI się rozwija jest oczywiste. Kwestia czasu kiedy trafią na rynek.

Przyznam też, że lubię na ten temat rozmawiać z gośćmi z IT bo oni sa maksymalnie nie obiektywnie bo wiedzą, że szybko będą do odstrzału (senior pozycje pewnie dłużej pociągną) Przecież teraz w USA pierwszy raz w historii nawet po ich topowych IT szkołach, najciężej znaleźć pracę.

ci ludzie mają interes w tym zeby pompowac ten balonik

Oczywiścike, żę mają interes i oczywiście, że jest bańka ale przypomne, że z dotcom bańki masz google, amazona itd.

Nie wiem czy spekulujesz (ja z tego żyję) ale zawsze gdzieś jest jakaś bańka, była z Uranem, coffe beans, teraz może i jest to ale idiotyzmem jest zakładanie, że za 3-5 lat google czy amazon będą zarabiać mniej kasy.

@manstain ja nie mówię, ze masz tego nie robić szczególnie na własny użytek. Ale jakys na bazie tego oprogramowania założył jakąś platformę tradingowa w której ja miałbym udostępnić swoje wrażliwe dane i kasę to bym podziekowal. I ok testy mówisz. Ale to powinien testować ktoś kto ogarnia co jest pod maska i koniec końców musisz wydać kasę na dobre testy. Gorzej jak w tych testach wyjdzie, że twój program ai jest skopany od gory do dołu i musisz zaczynać od nowa. Nie jedna firma dostała czkawki od tych wdrożeń ai.

I żeby nie było sam jestem fanem tej technologii, ale dla mnie ma za dużo znamion banki i ostro wszyscy pompuja ten balonik.

@cremaster Aż tak ambitnych celów to nie mam aby platforme tworzyć dla innyc, to raczej moje własne boty, gdzie jedynie co je łączy giełdą/dexem to API. Co do innego proejktu, który realizuje to raczej sygnały i okazja do arbitragu.

Jak wspomniałem, dzięki bankom mamy amazona/googla

@manstain a nie przyszło ci do głowy, że headzi tych miliardowych firm to przede wszystkim dobrzy maketingowcy z dobrym skillem w organizacji funduszy? A rozwojem tak naprawdę zajmuje się ktoś inny, w zespołach deweloperskich? To, że firma jest miliardowa oznacza, że ktoś dał się przekonać do zainwestowania w nią miliard, czyli, że tyle zżera dolarów, a nie że tyle generuje.

Obiecałem tu wrzucić źródła, ale okazało się, że jestem zbyt leniwy, a Sabine H. wrzuciła podsumowanie aktualnych problemów LLMów, na które nie ma nawet dobrych pomysłów, jak je przeskoczyć. Z ostatnim, który jest największych wyzwaniem i prawdopodobnie zabije ich dalszy rozwój. Także tylko zostawię.

https://www.youtube.com/watch?v=984qBh164fo

Jest też wywiad z prof. Durką na radiu naukowym, ale on głównie dotyczy sztucznej inteligencji w abstrakcyjnym sensie, więc jest mocno nie w temacie. Ale podaje swoją opinię, gdzie znajduje się obecnie rozwój LLMów, na podstawie stanu najnowszych badań akademickich. Więc tylko jako ciekawostka.

https://radionaukowe.pl/podcast/kosciol-ai-jego-kaplani-chca-zebysmy-wierzyli-we-wszechmoc-i-autonomie-modeli-prof-piotr-durka/

@AureliaNova To oczywiscie logiczne i zwyczajnie glupio by bylo by zajebisci poslcy inofrmatycy w openAI, chodzili i gdukali po angielsku aby w nich inwestowac ba tutaj w Australii, gdzie kumpel pracuje w topowej firmie to w dziale sprzedazy najlepszy laski sa

Co do wypowiedzi to wiesz, jedni mowia to drudzy tamto a kazdy model jest coraz lepszy (z czym sie chyba zgodzisz)i troche wspolczuje ludziom (nie ze ty)ktorzy tego nie rozumieja i mysla, ze nic tam juz nie mozna zmienic, kiedy jest dokladnie odwrotnie a ze hype jest to tez normlane bo rynek lubi nowe narracje.