@mortt Ale tamte były o wiele głupsze. Grok jest czymś pomiędzy GPT 3.5 a 4

@Aryo vicuna jest 90% gpt4 https://lmsys.org/blog/2023-03-30-vicuna/

oczywiście to nie jest rzetelne badanie ale stawiam, że jest w podobnej lidze co Grok właśnie.

edit: problem lokalnych llm nie jest ich "mądrość" tylko dostępne zasoby w lokalnym setupie przez co tnie się ich możliwości. Jak odpalisz pełny model jest dużo lepiej

@mortt a jaki jest najlepszy model w tej chwili? Z tych open source? Mam potężną maszynę z 27 gb vram więc ¯\_(ツ)_/¯

@Aryo no to nie jest potężna maszyna.

Ludzie mówią, że ten bez problemu bije gpt 3.5

https://huggingface.co/TheBloke/Nous-Capybara-34B-GGUF

Ale czy to odpalisz na 27? pewnie jak użyjesz kwantyzacji i paru innych sztuczek będzie się dało używać. Llama2 70b niby lepszy ale tu bez ~60gb nie podchodź. Do wielu zadań w zupełności styknie 15b, jak odpalam na 32gb vram można normalnie funkcjonować bez odczucia, że modele chodzą.

tak dla perspektywy - potężne maszyny (na warunki domowe) to mają ludzie ze ~140gb vram i dalej muszą się ograniczać w wyborze modeli.

edit jest tabelka:

Q5_K_S - 26gb ram - large, low quality loss - recommended

@mortt Czekaj, ale oni alokują też zwykły RAM? Bo jak wliczać RAM+vram to mam znacznie, znacznie więcej możliwości i korekta 24 gb vram a nie 27

@Aryo generalnie powinieneś jak najwięcej pchać do vram. Natomiast w związku z tym, że mało osób ma możliwość upchnięcia całego modelu do vram to ludzie robią wersje kombinowane. Tylko, że operowanie na CPU jest znacznie wolniejsze niż GPU. Zrobienie takiej "hybrydy" wymaga też trochę wiedzy, żeby to mądrze rozegrać. Powiem tak, próbowałem kiedyś na samym CPU i na samym GPU i na cpu było o wiele, wiele gorzej mimo większej ilości ram (zależy od cpu i wszystkiego dookoła). Popróbuj, są takie rozwiązania co dzielą automatycznie.

@mortt btw. Widzę że jest fajny edytor dla zielonych jak ja. Nazywa się LM Studio.