30 июля 2026 года в Transformers включили новый механизм внимания PyTorch для T5. Из-за...
30 июля 2026 года в Transformers включили новый механизм внимания PyTorch для T5. Из-за этого декодер UMT5 мог заглядывать в будущие токены и видеть ответ во время обучения. Ничего не падало, и ошибка почти два месяца оставалась в основной версии. 📊 Позже маленькая модель UMT5 на CPU обнаружила её при каждом воспроизведении изменений — до исправления 28 сентября. Она занимала 66 МБ против 1 227 МБ у исходной модели, а проверка занимала 13,4 секунды. Такой тест проверяет не только запуск, но и генерацию, обучение, градиенты и обновление весов; он не заменяет полные интеграционные проверки. 🔹 Первый Нейронный · Ещё у нас: 📱 Технологии и гаджеты
1 просмотров