Пользователь протестировал локальный инференс моделей Qwen на встроенном GPU GMKTec EVO...
Пользователь протестировал локальный инференс моделей Qwen на встроенном GPU GMKTec EVO X2 (AMD), сравнив его с Nvidia RTX 5060ti 16Gb. Тестирование выявило зависимость скорости от загрузки слоев в VRAM и размера контекста. В ходе эксперимента использовались параметры: • -ngl 38 (38 из 48 слоев в VRAM) • -c 15000 (размер контекста) • -ctk q8_0 -ctv q8_0 (квантование кеша) Скорость генерации токенов измерялась при заполнении контекста на 15000 токенов. Результаты демонстрируют, как параметры загрузки влияют на производительность в условиях ограниченных ресурсов. Данные получены из пользовательского отчета и не являются официальным подтверждением от производителей. 🔹 Первый Нейронный
1 просмотров