Nemotron-4 340B: особенности и результаты обучения модели от NVIDIA
Nemotron-4 340B: особенности и результаты обучения модели от NVIDIA NVIDIA представила одну из крупнейших open source моделей — Nemotron-4 340B. При её разработке компания использовала классические методы для создания качественного корпуса данных, основу которого составили тексты на английском и других языках. В архитектуре модели применены нестандартные решения: функция активации squared ReLU без гейта и особая параметризация layer-norm с инициализацией нулями и добавлением единицы на каждом форварде. Для обучения использовались два SFT-датасета и методы DPO и RPO (Reward-aware Preference Optimization). Модель продемонстрировала хорошие результаты на бенчмарках, например, в Arena Hard она показала результат 54,2, опередив Claude 3 Sonnet (46,8) и Qwen2 72b (48,1). В сравнении с GPT-4 у Nemotron практически паритет по большинству задач, кроме переписывания текста, где модель справилась лишь в 3,03% случаев (на основе 136 примеров).