Перейти к содержимому
Максиметер

32 набора весов, 56 прогонов слоёв за один forward: у SenseNova-Loop-9B-Preview блок из...

32 набора весов, 56 прогонов слоёв за один forward: у SenseNova-Loop-9B-Preview блок из середины трансформера срабатывает дважды — 4 слоя, потом 24 по кругу, потом ещё 4. Хранится 9,41 млрд параметров, считается как 14,6 млрд. Веса Apache-2.0 на HF, но это Preview: техрепорта нет, в Transformers модели нет — только trust_remote_code. И всё в FP32: качать 37,6 ГБ.

3 просмотров

Канал в каталоге Максиметера

13 подписчиков · IT и технологии

Другие публикации канала

Популярные публикации канала

Читать дальше

Два раза в неделю свежие посты этого канала — на почту и в личную ленту. Без повторного поиска канала вручную.