Перейти к содержимому
Максиметер

Loopie от IQuest Research предлагает неожиданный трюк: вместо наращивания слоёв — прогн...

Loopie от IQuest Research предлагает неожиданный трюк: вместо наращивания слоёв — прогнать данные через те же слои дважды. Трансформер с петлёй (R=2). Результат удивляет: 20B-модель с 2 млрд активных параметров обходит vanilla 30B при равном бюджете вычислений. AIME 2024 — 92 балла, AMC — 94. Reuse вместо scale — подход, который может изменить гонку масштабирования. #AI #трансформеры #LLM

35 просмотров

Канал в каталоге Максиметера

13 подписчиков · IT и технологии

Другие публикации канала

Популярные публикации канала

Ещё по теме «IT и технологии»

Читать дальше

Два раза в неделю свежие посты этого канала — на почту и в личную ленту. Без повторного поиска канала вручную.