Перейти к содержимому
Максиметер

Nemotron 3.5 Bolt E4B

Nemotron 3.5 Bolt E4B Языковая модель NVIDIA для локального запуска на слабом железе: ассистент и агент на RTX, Jetson и мини-ПК Spark. Собрана на Gemma 4 E4B от Google, дообучена с подкреплением под инструкции, многошаговые вызовы инструментов и диалоги - 8B/ 4И активных, контекст 64K, 35 языков - 4-бит — около 4 ГБ памяти - рассуждения включаются и выключаются, длину можно резать ради скорости - модели-черновики DFlash дают до 21% прироста - поддержка в llama.cpp, Ollama, LM Studio, vLLM и SGLang На RTX 5070 первый токен за 548 мс, дальше 133 токена в секунду. На Jetson Orin Nano — 5,8 с и 15,5 в секунду Плюс 40% к прошлой Nemotron 3 Nano 4B при экономии до 80% токенов Выше родительской Gemma почти везде, но Qwen3.5 4B сильнее в инструментах и длинном контексте hf.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB #mobile #compact

41 просмотров

Канал в каталоге Максиметера

211 подписчиков · IT и технологии

Другие публикации канала

Популярные публикации канала

Ещё по теме «IT и технологии»

Читать дальше

Два раза в неделю свежие посты этого канала — на почту и в личную ленту. Без повторного поиска канала вручную.