Dyskusja użytkownika Amebcio

@GitHub Prawdę mówiąc nie wiem jak to jest podzielone. Gdybym miał zgadywać to zgadywałbym że kontekst siedzi w RAM

@Amebcio najszybciej na windows możesz sprawdzić to tak: 1. Uruchom menadżer zadań 2. Uruchom model z jakimś bardzo małym kontekstem 5-20k 3. Sprawdź jak podczas uruchamiania modelu wygląda zużycie RAM i VRAM

Jest zasada, że model w pełni odpalany na szybszej pamięci np. GDDR6 w GPU będzie działać szybciej niż model który "wycieka" z GDDR6 do np. DRR5 lub DDR4. (Model w pełni odpalony = sam model + pamięć na kontekst jest w tym samym rodzaju pamięci)

Można też sprawdzić czy karta graficzna współdzieli jakąś pamięć z RAM (na obrazku: shared memory uwagę) co oznacza właśnie przepełnienie pamięci w GPU i wyciekanie modelu do RAM.

@GitHub raz, że jestem pod linuxem, dwa, że tego nie widać bo ten silnik najpierw zapełnia GPU do oporu a potem resztę danych ładuje do RAM. A trzy, że ma funkcję autokalibracji gdzie wykonuje sam kilka bechmarków i testuje wydajność. Więc nawet nie wiem co dokładnie przechowuje w którym miejscu, bo to zależy od wyników testów

@grzymislaw-mocowladny Poleci o ile masz 64GB RAM

@Amebcio Nie mam Teraz ram w cenie porządnego kruszcu