NVIDIA упаковала 74-миллиардную модель в 24 ГБ. Но у этого багажа есть ручная кладь.
NVIDIA упаковала 74-миллиардную модель в 24 ГБ. Но у этого багажа есть ручная кладь. Nemotron 3.5 Bolt уже можно скачать. Модель сжали до двухбитного представления; на каждом шаге работает часть параметров. Она принимает текст, изображения и видео, умеет вызывать инструменты — пригодится для локального агента. А теперь про «24 GB» в названии. В официальных рецептах llama.cpp рабочему запуску отводят 28 или 32 ГБ памяти: нужны ещё контекст и служебные данные. Для обычных RTX указаны карты от 32 ГБ, а для самого длинного контекста — от 48 ГБ. Обещания «всё взлетит на любой карте с 24 ГБ» там нет. В карточке есть GGUF-сборка и команды для Windows и Linux. Максимум модели — 256 тысяч токенов, но конкретный режим зависит от памяти. Сам релиз полезный: крупную модель сделали заметно компактнее. Просто чемодан и весь багаж — всё ещё разные размеры.