R
RAG | Нейросети | ИИ | AI | Агенты | GPT-6.1 Terra | Gemini 4 Carbon | Mistral Large 4 | Claude Opus 5.5 | Kimi K3.1 Pro | LongCat-2.5 | DeepSeek V4 | Genie 4 | Claude Duet | FLUX 3 Max | Hydrogen-1.0
IT и технологии · 4 ноября 2026 г.
30 июля в Transformers включили SDPA для T5 — и декодер UMT5 стал видеть будущие токены...
30 июля в Transformers включили SDPA для T5 — и декодер UMT5 стал видеть будущие токены. Тесты зелёные, баг дожил в main до 28 сентября. Ловит такое сжатая копия чекпоинта, 66 МБ вместо 1 227: шаг на CPU 13,4 с, расхождение с эталоном 1,22 по log-prob и 0,2 по loss на каждом коммите. Рецепт общий — уменьшить чекпоинт, записать эталон, гонять на CPU.
2 просмотров