14 подсказок оказались полезнее сотни — если ждать от агента стабильного результата. IB...
14 подсказок оказались полезнее сотни — если ждать от агента стабильного результата. IBM показала, почему память нейронки не стоит пополнять по принципу «запишем вообще всё». В разборе ALTK-Evolve агент изучает свои прошлые попытки и делает из них короткие правила: сначала проверить клиента, явно согласовать изменения, дождаться ответа инструмента. Эту памятку добавляют к следующим заданиям. Саму GPT-4.1 не переобучают. Дальше интереснее. На 20 задачах с авиабилетами агент с 14 устойчивыми правилами решил 45% задач без единой ошибки во всех четырёх попытках. Со 101 правилом — 40%. Без памятки — 35%. Клиентов здесь изображала другая модель: это исследовательские сценарии, не отчёт живой службы поддержки. При этом длинная памятка чаще давала правильный ответ в отдельной попытке. Но короткая лучше удерживала результат во всех четырёх. Для агента, которому поручают менять бронирования, разница существенная. В магазинных задачах вышло наоборот: полный набор правил оказался полезнее короткого. Поэтому вопрос к памяти агента — не только «что он запомнил». Ещё и «какие из этих заметок помогают именно этой работе».