mortt
Tytan
Proszę o pomoc 😃
Szykuje się do kupna maszyny do:
To są najważniejsze rzeczy. Pozostałe raczej nie są szczególnie zasobożerne. Od gierek mam konsole. Urządzenie stacjonarne. Najlepiej żeby nie robiło za grzejnik i symulator odrzutowca (hałas). Wiadomo, to jest kierunek więc jak będzie trochę się grzać czy jakiś wiatrak kręcił to nie ma problemu jeśli warto. Lubie mieć rzeczy otwarte, tj. nie zamykam programu do 3d
Budżet to ok 20k ale musi być nowy, najlepiej jako jeden "produkt" tj. np. dell jakiś tam a nie karta z tego sklepu, płyta z tego itd.
Oglądam mac studio i podoba mi się pod wieloma względami (szczególnie współdzielony ram więc np. biorąc wersje 128gb ram można rzucić i 100gb do gpu). Jest też dzięki temu bardziej elastyczny. Jednak przepustowość tego ramu jest niższa niż ram w "typowym" gpu.
Tak więc pytanie czy jest jakaś lepsza opcja?
No chyba, że jest coś w dużo niższej cenie co uciągnie LLMy na poziomie m1 z 16gb ram. Wtedy wezmę to i przeczekam obserwując rozwój rzeczy.
#pcmasterrace #komputery #llm
Szykuje się do kupna maszyny do:
-
programowanie -full stack, co dokładnie to zależy od projektu
-
modelowanie 3d CAD - mało skomplikowane modele
-
LLM - tutaj to trudny temat, jeszcze się zapoznaje z tematem. Na ten moment moje potrzeby to odpalić model ok 70b bez kwantyzacji z racjonalną prędkością w formie RAG. Ew. trochę wolniej i w tle dorzucić 7b do np. generowania słów kluczowych dla bazy wektorowej. Pojawią się pewnie też jakieś fine tuningi.
To są najważniejsze rzeczy. Pozostałe raczej nie są szczególnie zasobożerne. Od gierek mam konsole. Urządzenie stacjonarne. Najlepiej żeby nie robiło za grzejnik i symulator odrzutowca (hałas). Wiadomo, to jest kierunek więc jak będzie trochę się grzać czy jakiś wiatrak kręcił to nie ma problemu jeśli warto. Lubie mieć rzeczy otwarte, tj. nie zamykam programu do 3d
Budżet to ok 20k ale musi być nowy, najlepiej jako jeden "produkt" tj. np. dell jakiś tam a nie karta z tego sklepu, płyta z tego itd.
Oglądam mac studio i podoba mi się pod wieloma względami (szczególnie współdzielony ram więc np. biorąc wersje 128gb ram można rzucić i 100gb do gpu). Jest też dzięki temu bardziej elastyczny. Jednak przepustowość tego ramu jest niższa niż ram w "typowym" gpu.
Tak więc pytanie czy jest jakaś lepsza opcja?
No chyba, że jest coś w dużo niższej cenie co uciągnie LLMy na poziomie m1 z 16gb ram. Wtedy wezmę to i przeczekam obserwując rozwój rzeczy.
#pcmasterrace #komputery #llm
@dolitd dzięki, widziałem. Tyle, że to nie odpowiada na moje pytanie. Po pierwsze - nie robię serwera llm tylko narzędzie na którym między innymi będę pracował z llm. To będzie mój "daily". Po drugie z tego mogę wyekstrahować listę części do zamówienia, nie gotowy komputer. Wiem, że zwykle z części jest lepszy/szybszy/tańszy niż gotowy set, ale gotowy set jest, właśnie, gotowy. Nie ma ryzyka pomyłki w doborze, przychodzi, kilkam guzik i jest "gotowy" do pracy. Jestem gotów zapłacić więcej/dostać trochę słabsze parametry za gotowe narzędzie do pracy. Niestety ciężko przekopać się przez konfigurację producentów, sam mak, który ma stosunkowo małą ofertę jest trudny do zdecydowania. Stąd pytam czy może ktoś miał podobną rozterkę. Zwłaszcza, że mój budżet jest mały.