Wykłada pani Prof. Anna Dawid, o noblu 2024 za fundamentalne odkrycia i wynalazki które umożliwiają uczenie

maszynowe z wykorzystaniem sieci neuronowych.


Trochę o badaniach z lat 80 (których początek sięga lat 60tych) które dały podstawy dzisiejszym LLM'om (chat gpt i inne).


,,Ktokolwiek widział, ktokolwiek wie! (Ukradziony) Nobel 2024''

https://www.youtube.com/watch?v=9Iwav_9Vqtc


Poniżej trochę ode mnie:

Dlaczego wcześniej nie było chata GPT skoro już wtedy były znane te technologie?


Wymagają one absurdalnych ilości danych treningowych których kiedyś nie było,

Wymagają one absurdalnie ogromnych mocy obliczeniowych oraz absurdalnej ilości pamięci których kiedyś nie było,

Wymagają absurdalnie dużych zasobów finansowych których kiedyś nikt nie był w stanie poświecić, ponieważ nie było szans na zwrot z inwestycji,


Obecnie w/w trzy są "dostępne" więc powstają LLM'y.


#gruparatowaniapoziomu #nauka #fizyka #informatyka #ai #sztucznainteligencja

Komentarze (2)

Iknifeburncat

@Marchew no z tymi zasobami finansowymi to tak różnie, bo część graczy jedzie na kredycie (również w hardware) i póki co perspektyw na dobre zwroty albo chociaż rentowność nie widać. No i z danymi też nie jest tak kolorowo, bo już widziałem głosy o konieczności generowania danych syntetycznych do treningu, bo dobrych danych jest mało.


Odnoszę się głównie do perspektyw, no bo dzisiejszy rezultat, jakby nie patrzeć, osiągnięto właśnie ze względu na to co piszesz, czyli rozwój możliwości technologicznych. Zwyczajnie powatpiewam co dalej.

0x00005cf3

Dochodzi to tego problem z energią elektryczną, to że taki producent AI deklaruje że kolejny model będzie jeszcze potężniejszy,to nie oznacza, że osiągną te założenia, bo trenowanie modelu i utrzymanie takiej infry wymagałoby coraz większych zasobów energetycznych.

Zaloguj się aby komentować