Pewnie wielu z was zna PewDiePie. Koleś sobie złożył rack AI. Zastanawiam się nad podobnym tworem.


Doszedłem do kilku rzeczy w punktach ale nadal zastanawiam się poważnie jak do tego podejść, bo prędzej czy później takie coś trzeba będzie mieć lokalnie. Trenowanie zawsze można zlecić gdzieś w chmurce, ale odpalany lokalnie model to zupełnie inna jakość.


W związku z tym mam pytanie.

Czy ktoś z was już coś takiego robi/robił/chce zrobić?


Poszperałem trochę i okazuje się, że największym bottleneckiem finansowym w tym przypadku jest CPU.


Potrzebny jest procesor z co najmniej 128 liniami picie w standardzie 5.0 i ddr5 i płyta główna z miejscami picie 5.0 na kilka kart graficznych.


Jak na razie udało mi się zmontować podstawkę (mentalnie xD) za 15000 złotych, plan jest taki by co miesiąc dorzucać do budżetu i dokupować np.: kartę graficzną.


Sumarycznie wyszłoby pewnie 8 kart , 3 dyski nvme jakiś zasilacz na 3000 W i obudowa monster. Czyli no z 25000 złotych jak nic.


Marzy mi się swój własny Jarvis na chacie z kamerami w kuchni, pralce czy w piwnicy, który będzie mógł być podpięty że mną przez np.: telefon.


#ai #komputer #kartygraficzne

Komentarze (3)

odyshon

bo prędzej czy później takie coś trzeba będzie mieć lokalnie

@dziad_saksonski Jeśli do tego dojdziemy to będą dedykowane chipy AI a nie jakieś potwory zużywające kWh.

dziad_saksonski

@odyshon Myślisz, że TPU czy NPU robią dużo bardziej skomplikowana robotę od CPU czy GPU? To i tak zasada lojalności musi być tam coś warta, i zależy, czy model ma być trenowany na tym chipie czy używany. FPGA już prędzej zaczną wypuszczać xD

odyshon

@dziad_saksonski Dzisiaj nie, w przyszłości tak jak napisałem. Zdecydowana większość ludzi nie potrzebuje modeli on premises. Jak na tym zarabiasz to jest inna rozmowa i wtedy traktujesz to jako koszt.

Zaloguj się aby komentować