🖥 NVIDIA выпустила открытую ИИ-модель Nemotron 3 Ultra с архитектурой Mixture-of-Experts — 9 июня 2026 г. в 13:04:54.638
🖥 NVIDIA выпустила открытую ИИ-модель Nemotron 3 Ultra с архитектурой Mixture-of-Experts В недрах компании NVIDIA создали открытую ИИ-модель Nemotron 3 Ultra, которая может использоваться специально для 🎷оркестрации долгосрочных 🤖агентных пайплайнов и предотвращения дрейфа целей при выполнении сложных многошаговых алгоритмов. Практическая ценность новинки заключается в оптимизации сложных рабочих процессов при написании программного кода, вызове внешних инструментов, верификации архитектуры чипов и анализе масштабных исследований. В контексте корпоративной безопасности инфраструктурный стек предлагает полностью изолированную среду выполнения кода. Hermes Agent управляет процессами оркестрации. Защищенная песочница NVIDIA OpenShell берет на себя надежную изоляцию автономных агентов и сгенерированного ими кода от основной инфраструктуры. Открытая платформа NemoClaw связывает эти компоненты в единый безопасный контур для работы автономных агентов. 📊Ключевые технические параметры архитектуры: ▪️Базой выступает разреженная топология Mixture-of-Experts с общим объемом в 550 миллиардов параметров. На этапе инференса активируются только 55 миллиардов весов для снижения вычислительной нагрузки. ▪️Инновационная структура удачно комбинирует слои Mamba для эффективного масштабирования длины контекстного окна и блоки внимания Transformer для точного извлечения фактов из памяти. ▪️Использование формата точности NVFP4 гарантирует развертывание системы на графических процессорах архитектур Hopper, Blackwell и Ampere. При этом пропускная способность возрастает до пяти раз по сравнению с форматом BF16 именно на микроархитектуре Blackwell. ▪️Внедрение механизма предсказания нескольких токенов за один прямой проход максимизирует скорость авторегрессионной генерации при выдаче длинных ответов и обработке многошаговых рабочих процессов. Особое внимание инженеры уделили качеству обучающих данных для предметно-ориентированных задач. Базовый датасет объемом 10 триллионов токенов был аугментирован 212 миллиардами узкоспециализированных токенов. Алгоритм LatentMoE обеспечивает более эффективную маршрутизацию токенов к внутренним экспертам нейросети. Для комплексного развертывания экосистему гармонично дополняют два вспомогательных продукта. Мультимодальную модерацию запросов и результатов обеспечивает 4-миллиардная ИИ-модель Nemotron 3.5 Content Safety. За точное потоковое распознавание аудиоданных с задержкой инференса менее 100 миллисекунд отвечает архитектура Nemotron 3.5 ASR. Все исходные веса вместе с обучающими наборами распространяются на условиях лицензии OpenMDW-1.1 от профильной организации Linux Foundation. 🌎 https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 ✋ @Russian_OSINT