Как llama.cpp ускоряет MoE на GTX 1660 SUPER: где помогает -fit и что мешает -ngl 99
Как llama.cpp ускоряет MoE на GTX 1660 SUPER: где помогает -fit и что мешает -ngl 99 Автор с августа дорабатывает форк llama.cpp, чтобы запускать большие MoE-модели на домашнем ПК с Ryzen 5 1600, 24 ГБ ОЗУ, GTX 1660 SUPER на 6 ГБ и Windows 10. На его стенде с gpt-oss-20b штатный -fit на длинном запросе оказался в 2,44 раза быстрее, чем привычный -ngl 99, потому что -fit оставляет на GPU только то, что влезает, а остальное переносит в ОЗУ. Это особенно заметно, когда модель не помещается в видеопамять: на Windows автор считает -ngl 99 худшим вариантом, а ручной режим может еще и сломать штатный подбор раскладки. При росте контекста -fit сам переносит больше нагрузки в ОЗУ. Для 6–8 ГБ видеопамяти автор советует оставить автоматический подбор и на длинном запросе использовать -ub 1536, -c 16384, -ctk q8_0 и -ctv q8_0. Из практических выводов: небольшой видеокарте помогает и размер убатча, и KV-кэш в q8_0, который автор считает почти бесплатным по качеству. Но цифры привязаны к одной машине и Windows 10; на другой системе они могут отличаться. Если вы гоняете локальные MoE-модели, имеет смысл сначала проверить -fit и только потом вручную трогать раскладку. Источник: Habr Video Cards RU — https://habr.com/ru/articles/1092436/