Перейти к содержимому
Максиметер

Длинный контекст не спасает от ошибки: модель помнит последнее значение переменной, но ...

Длинный контекст не спасает от ошибки: модель помнит последнее значение переменной, но не цепочку изменений. StateBench от Ai2 — четыре уровня с одинаковыми присваиваниями, разница в типе операции: x = 4 против ссылки x = y (набор переменных фиксирован). Фронтир проходит два уровня, дальше обвал до 13% и ниже. Дело не в размере: трансформеры четвёртый уровень не выучивают, а 275M-модель с рекуррентной памятью держит три уровня до 64 000, четвёртый — вдесятеро дольше обучения. Состояние надёжнее копить снаружи, чем в голове модели.

2 просмотров

Канал в каталоге Максиметера

13 подписчиков · IT и технологии

Другие публикации канала

Популярные публикации канала

Ещё по теме «IT и технологии»

Читать дальше

Два раза в неделю свежие посты этого канала — на почту и в личную ленту. Без повторного поиска канала вручную.