Новый кэш MoE замедлил локальный ИИ на RTX 5060 Ti до 84%, если есть ограничение PCIe
Новый кэш MoE замедлил локальный ИИ на RTX 5060 Ti до 84%, если есть ограничение PCIe По данным Kimono Oyaji’s Lab, новая функция --moe-cache-mib в llama.cpp, предназначенная для ускорения больших ИИ-моделей, неожиданно ухудшила производительность RTX 5060 Ti 16 ГБ. При запуске модели GLM-5.3-Flash размером около 93 ГБ скорость генерации без кэша составляла 17,85 токена/с, а с кэшем на 2,2 ГБ падала до 2,77 токена/с. Причина, вероятно, в ограниченной пропускной способности PCIe 4.0 x4: видеокарта подключалась к мини-ПК через OCuLink.
97 просмотров