RAG | Нейросети | ИИ | AI | Агенты | Gemini 4 Carbon | Kimi K3.1 | Claude Opus 5.5 | GPT-6.1 Terra | Claude Duet | Mistral Large 4 | MiniMax M3.1 | DeepSeek V4.1 | Grok Voice 3.0 | World Models
IT и технологии · 30 октября 2026 г.
MTP-голову доучивают вместе с моделью, но в градиент попадает лишнее. Около 80% нормы —...
MTP-голову доучивают вместе с моделью, но в градиент попадает лишнее. Около 80% нормы — шумный остаток. Он не балласт: тянет против обновления обычного NTP-градиента и держит полезный сигнал в тени. Soft-MTP (arXiv 2610.38331) отрезает этому остатку путь через detach. Ноль новых параметров, память и скорость те же, 49 748 против 49 783 ток/с. Отдача относительная, и это против обычного MTP, а не модели без него: +1,8–2,2% к длине принятия в спекулятивном декодинге, +1,4–1,5% к скорости. Собственные прогоны одного автора на моделях 167M–1,2B.