Перейти к содержимому
Максиметер

В разборе на Хабре процессор урезали на 40–50% от пика — 12 ток/с как было. Gemma 4 12B...

В разборе на Хабре процессор урезали на 40–50% от пика — 12 ток/с как было. Gemma 4 12B QAT в кванте q4_0 целиком сидит в 8 ГБ VRAM при контексте 8192, частота CPU на темп генерации не влияла. Пики 95–96 °C стали ровными 68, GPU не выше 59, кулеры из пылесоса превратились в фон. Стенд — ThinkPad P16 Gen 2, RTX 2000 Ada Laptop, ThrottleStop и TPFanControl. Рецепт собран на одной машине: на другую связку наугад не переносить.

2 просмотров

Канал в каталоге Максиметера

13 подписчиков · IT и технологии

Другие публикации канала

Популярные публикации канала

Читать дальше

Два раза в неделю свежие посты этого канала — на почту и в личную ленту. Без повторного поиска канала вручную.