@dolitd dzięki, widziałem. Tyle, że to nie odpowiada na moje pytanie. Po pierwsze - nie robię serwera llm tylko narzędzie na którym między innymi będę pracował z llm. To będzie mój "daily". Po drugie z tego mogę wyekstrahować listę części do zamówienia, nie gotowy komputer. Wiem, że zwykle z części jest lepszy/szybszy/tańszy niż gotowy set, ale gotowy set jest, właśnie, gotowy. Nie ma ryzyka pomyłki w doborze, przychodzi, kilkam guzik i jest "gotowy" do pracy. Jestem gotów zapłacić więcej/dostać trochę słabsze parametry za gotowe narzędzie do pracy. Niestety ciężko przekopać się przez konfigurację producentów, sam mak, który ma stosunkowo małą ofertę jest trudny do zdecydowania. Stąd pytam czy może ktoś miał podobną rozterkę. Zwłaszcza, że mój budżet jest mały.

@koszotorobur problem w tym, że nie mogę llm wynieść poza moją sieć bo używam go m.in. do rzeczy związanych z danymi klientów. Gdyby coś się kiedykolwiek wydarzyło mosty mam spalone do końca życia

@mortt - no to chyba już wiesz jaka opcja Ci pozostała.

Jak nie chcesz wydać fortuny to można dostać serwer poleasingowy... no ale karty graficzne to bym proponował brać jednak nowe.

Potem część kasy można odzyskać sprzedając zestaw dalej.

@koszotorobur być może źle sformułowałem problem. Szukam maszyny o podobnych możliwościach (do moich potrzeb) jak mak studio tylko opartą o klasyczne rozwiązanie dla zwykłego konsumenta czyli oddzielne cpu i gpu. Wtedy byłbym w stanie porównać i podjąć decyzję. Ale widzę, że w świecie PC dalej dominuje składanie z klocków i ciężko znaleźć alternatywę.

Edit: i przyznaje, że nie mam pojęcia jak stwierdzić na poziomie poszukiwań czy dany pc jest takim odpowiednikiem czy nie. Mając jakieś nazwy mogę szukać porównań i testów. Inaczej musiałbym porównywać wszystko a trochę tego jest na rynku

@tmg nie chodzi o trenowanie tylko fine tuning i to miał być tylko dodatek. To trochę różne rzeczy, nie mówiąc już o tym, że tego akurat jedynie chce się nauczyć na ten moment więc bardziej się to opłaca na małym modelu lokalnie bo w razie błędu nie idziesz z torbami a wyniki nie są tak istotne.

Chodziło o uruchamianie modeli i tu ram jest bardzo istotny. Stąd mac wydaje się być strzałem w 10 bo tu tam jest wspólny dla cpu i gpu. Mając maka 128gb ram możesz np. Poświęcić 100gb na gou na odpalenie modelu i nadal masz niemal 30 do normalnego funkcjonowania

@mortt nigdy nie używałem CPU do uruchamiania, tuningu i trenowania LLM. Tylko do preprocessingu. Oczywiście możesz to robić ale będzie Ci wolno szło w porównaniu z GPU. To w takim razie po prostu kup jakiegoś wypasionego markowego PC np. (HP czy Dell), nawkładaj tam szybkiego ramu + dobrą kartę graficzną. Np. coś takiego, ale układania klocków nie unikniesz.

@tmg nie rozumiesz jak dziala mac. To jest architektura ktora ma jeden i ten sam ram zarowno dla cpu jak i gpu.

Jak masz maka z procesorem M i 128gb ram to mozesz to wykorzystac zarowno na cpu jak i gpu. Nie wiem jak to inaczej opisiac.

@mortt rozumiem, ale myślałem że pytasz o lepsze opcje niż mak.

@tmg ok to ja źle zrozumiałem to całe "nie skupiaj się na ram".