Перейти к содержимому
Максиметер

Меньше Ватт на 1000 токенов = меньше тепла = дешевле охлаждение дата-центров = возможно...

Меньше Ватт на 1000 токенов = меньше тепла = дешевле охлаждение дата-центров = возможность снижать цены на API. Именно поэтому китайские модели (Kimi, GLM, DeepSeek) в 2026 году смогли предлагать frontier-качество на 30-50% дешевле западных аналогов — они просто потребляют в 3-5 раз меньше электричества на генерацию ответа благодаря агрессивному переходу на INT4 и MoE. Обвал энергопотребления (MoE-революция): Посмотрите на разницу между GLM-4.5 (12.5 Wh) и GLM-5.2 (3.5 Wh). Хотя GLM-5.2 намного "умнее", он использует MoE (активирует лишь 40B из 744B параметров) и собственную архитектуру IndexShare, которая снизила вычислительные затраты (FLOPs) на длинных контекстах в 2.9 раза. Квантование INT4 — темная лошадка: Kimi K2.5 (1.9 Wh) — абсолютный чемпион по энергоэффективности среди тяжелых моделей. В отличие от других, кто использует FP8 или FP16, Moonshot AI обучали K2.5 с учетом квантово-осознанной тренировки (Quantization-Aware Training) прямо в нативном формате INT4. Это уменьшило объем памяти и вычисления почти в 4 раза по сравнению с плотными моделями аналогичного качества.

96 просмотров

Канал в каталоге Максиметера

9 подписчиков · Наука

Другие публикации канала

Популярные публикации канала

Читать дальше

Два раза в неделю свежие посты этого канала — на почту и в личную ленту. Без повторного поиска канала вручную.