Pytanko do ludzi co maja home-laby IT. Na czym sobie hostujecie lokalne LLMy? Chodzi mi o sprzet. Rozgladam sie za jakims mini pc i wychodzi mi na to ze te applowe beda naj bo maja ten trik z pamiecia i daje to rade (u kumpla sprawdzalem i bangla pieknie). Natomiast mini pc nie wezme w plecak tak jak bym wzial sojebanego macbooka pro. No i sie wacham jak wahadlo. Jak zyc jak setupowac.
#it #ejaj #howto #it
@ostrynacienkim - hostuj na czym Cię stać - bo wszystko poszło w górę.
Tu masz coś do poczytania: https://apatero.com/blog/running-open-source-llms-locally-hardware-guide-2026
A małe modele to też możesz nawet na Raspberry Pi 5 hostować
@koszotorobur dzieki, takich teksow przerobilem ostatnio sporo
@ostrynacienkim - czyli powinieneś wiedzieć, że uruchomić się da na prawie wszystkiem
A jak szybko to będzie działać to już tylko zależy od zasobności Twojego portfela
@ostrynacienkim mam u siebie 5080 (16gb), 48gb ram i fedore.
Nie miałem zbyt wiele czasu się tym bawić, więc mam tylko LM studio.
Quen3.6 35B wyciąga mi jakieś 25tok/s
Gemma4 31B to max 10/s
Próbowałem też malutkie żeby dodać do autouzupelniania w VS Code, raz działa a raz nie, ogólnie średnio.
Pewnie jakbym spędził więcej czasu to inaczej bym sobie ten setup zorganizował, ale mam mało więc tylko tyle mi się udało w jeden sobotni poranek.
@rith @rith mam podobnie 16 gb ramu na karcie i tam pcham model(e). Tylko ja to taktuje jako zabawe bardziej i nie mysle zeby zastapic frontier modele loklnymi. Alw chcialbym miec cos rzedu 80-100 tokenow /s
Generalnie ciężko pobić value for money Mac’ów Ultra/Mini szczególnie biorąc pod uwagę wartość rezydualną tego sprzętu - tak wydasz parę kafli ale za każdym razem odzyskasz więcej niż z jakiegoś mini PC x86.
@Donald_Tusk no sklaniam sie coraz bardziej na jakies m5 pro czy max. Pytalem o to czy ktos ma i jesli tak to na czym a nie teoretyzowanie o to czym mozna i za ile bo to wiem
Zaloguj się aby komentować
A, aż wrzucę jako osobny wpis
Miałem ostatnio niezłą jazdę z Gemini.
Pytam się go o wypowiedź polityka z lutego 2026.
Ten mi coś wypluwa.
Pytam się czy polityk sprostował tę wypowiedź?
Ten mi, że tak i rzuca cytat.
Proszę o linka.
Ten mi daje link do wypowiedzi z 2023, zupełnie innej niż ta co cytował i o którą pytam.
Piszę debilowi, że to zupełnie coś innego niż prosiłem...
A ten do mnie, że mnie bardzo przeprasza, że po prostu zrobił sobie takie ćwiczenie i wyobraził sobie, że jest 2026 i co mógłby powiedzieć ten polityk, ale tak naprawdę jest przecież dzisiaj 2023 i ten polityk nie pełni tej funkcji, przy której miałby coś takiego powiedzieć i to prostować...
O JPRDL... To nie halucynacje, to psychoza...
#ejaj #sztucznainteligencja #ai
@sireplama bezużyteczny badziew
@radziol Almost Intelligence
wziąłem teraz gemini ai pro, na próbę, darmowy miesiąc. k⁎⁎wa. to jest dalej tak głupie jak było, ale przynajmniej mam dostęp do lepszego generatora zdjęć. 100 pln za miesiąc. jakbym pił, to bym wolał to przepić.
Gemini zawsze było głupie i będzie głupie. Konkurencja przynajmniej próbuje ulepszać i rozwijać swoje modele.
Zaloguj się aby komentować
Zaloguj się aby komentować
