StateBench: где ломается отслеживание состояния в длинном контексте
StateBench: где ломается отслеживание состояния в длинном контексте Гоняешь агента на весь репозиторий одним промптом? На длинной цепочке вроде x = y одно пропущенное переприсвоение — и финальный ответ уже мимо, даже если «последнее значение» модель назвала верно. Ai2 собрала StateBench под этот класс: не размер окна, а удержание состояния от начала текста до конца. Четыре уровня — от простого let до перестановок; на самом тяжёлом у длинных входов точность топ-моделей падает до 13% и ниже. Огромное окно в Cursor проблему не снимает. Если задача длиннее пары экранов diff, режь её на куски с явным state в каждом и проверяй цепочки переприсвоений отдельно — не одним прогоном через весь проект.
Канал в каталоге Максиметера
189 подписчиков · IT и технологии