Pytanko do ludzi co maja home-laby IT. Na czym sobie hostujecie lokalne LLMy? Chodzi mi o sprzet. Rozgladam sie za jakims mini pc i wychodzi mi na to ze te applowe beda naj bo maja ten trik z pamiecia i daje to rade (u kumpla sprawdzalem i bangla pieknie). Natomiast mini pc nie wezme w plecak tak jak bym wzial sojebanego macbooka pro. No i sie wacham jak wahadlo. Jak zyc jak setupowac.
#it #ejaj #howto #it
nie hostuje
Mordko jest taki gościu co na Facebooku hostuje LLMy na embeded devices. Po pracy poszukam linka to wrzucę 🙂
@Hajt @ostrynacienkim msalomon.pl https://www.facebook.com/reel/2223896944681754/?mibextid=ZZyLBr
@Hajt dzieki
@ostrynacienkim
wacham jak wahadlo
matkojedyna....
@MostlyRenegade na wszelki wypadek ujął obie możliwości ( ͡° ͜ʖ ͡°)
@Zielczan dokaldnie tak XD @MostlyRenegade mozesz wirtuanie zakreslic i podkreslic na czerwono ;O
@MostlyRenegade przecież widzisz, że bez polskich znaków pisze. miało byc wącham jak wahadło
@FriendGatherArena
wącham jak wahadło
czyli jak?
@MostlyRenegade zgaduj zgadula
@ostrynacienkim - hostuj na czym Cię stać - bo wszystko poszło w górę.
Tu masz coś do poczytania: https://apatero.com/blog/running-open-source-llms-locally-hardware-guide-2026
A małe modele to też możesz nawet na Raspberry Pi 5 hostować
@koszotorobur dzieki, takich teksow przerobilem ostatnio sporo
@ostrynacienkim - czyli powinieneś wiedzieć, że uruchomić się da na prawie wszystkiem
A jak szybko to będzie działać to już tylko zależy od zasobności Twojego portfela
@koszotorobur jakbys przezczytal pytanie raz jeszcze
@ostrynacienkim - tylko głupi by czytał więcej niż raz
@ostrynacienkim mam u siebie 5080 (16gb), 48gb ram i fedore.
Nie miałem zbyt wiele czasu się tym bawić, więc mam tylko LM studio.
Quen3.6 35B wyciąga mi jakieś 25tok/s
Gemma4 31B to max 10/s
Próbowałem też malutkie żeby dodać do autouzupelniania w VS Code, raz działa a raz nie, ogólnie średnio.
Pewnie jakbym spędził więcej czasu to inaczej bym sobie ten setup zorganizował, ale mam mało więc tylko tyle mi się udało w jeden sobotni poranek.
@rith @rith mam podobnie 16 gb ramu na karcie i tam pcham model(e). Tylko ja to taktuje jako zabawe bardziej i nie mysle zeby zastapic frontier modele loklnymi. Alw chcialbym miec cos rzedu 80-100 tokenow /s
Generalnie ciężko pobić value for money Mac’ów Ultra/Mini szczególnie biorąc pod uwagę wartość rezydualną tego sprzętu - tak wydasz parę kafli ale za każdym razem odzyskasz więcej niż z jakiegoś mini PC x86.
@Donald_Tusk no sklaniam sie coraz bardziej na jakies m5 pro czy max. Pytalem o to czy ktos ma i jesli tak to na czym a nie teoretyzowanie o to czym mozna i za ile bo to wiem
Zaloguj się aby komentować
