Перейти к содержимому
Максиметер

LLM пишут токен за токеном — медленно. NVIDIA в Nemotron TwoTower меняет подход: модель...

LLM пишут токен за токеном — медленно. NVIDIA в Nemotron TwoTower меняет подход: модель генерирует блок из 16 токенов за раз, «проявляя» текст диффузией — как Stable Diffusion рисует картинку. Две башни: одна предсказывает контекст блока (AR Context Tower), вторая итеративно очищает его от шума (Diffusion Denoiser Tower). Активны лишь ~3 млрд параметров за шаг. Итог: 98,7% качества авторегрессии при ускорении в 2,4×. Модель открыта — веса на HuggingFace. #Nemotron #NVIDIA #LLM

32 просмотров

Канал в каталоге Максиметера

13 подписчиков · IT и технологии

Другие публикации канала

Популярные публикации канала

Читать дальше

Два раза в неделю свежие посты этого канала — на почту и в личную ленту. Без повторного поиска канала вручную.