✨ TinyCeNN-LM: безопасная замена внимания в SmolLM2 и Qwen3.5
✨ TinyCeNN-LM: безопасная замена внимания в SmolLM2 и Qwen3.5 Исследователи представили TinyCeNN-LM — метод постобученной конвертации языковых моделей, заменяющий механизмы внимания на клеточно-рекуррентные слои (CeNN). Подход использует строгий контроль качества: слой принимается только при прохождении тестов на сохранность представлений и снижение перплексии. 📊 На модели SmolLM2-135M успешно конвертированы слои 0-2 с минимальным ростом NLL (+0.012), тогда как слой 3 отклонен из-за потери точности. Для Qwen3.5-0.8B приняты слои 3,7 и 11 с итоговым ΔNLL +0.02073. Метод Integrated Memory снижает объем кэша до 6.01%, сохраняя перплексия в пределах ±1%. Тесты на 200 задачах показали точность 28.5%-32.0% для конвертированных версий Qwen. Результаты подтверждают эффективность консервативной структурной конвертации вместо полного отказа от внимания. 🔹 Первый Нейронный