Агенты, которые думают и действуют как люди: новый бенчмарк
Агенты, которые думают и действуют как люди: новый бенчмарк Исследователи разработали бенчмарк для оценки больших языковых моделей (LLM) в сценариях, где важно не только давать ответы, но и уметь задавать правильные вопросы, а также своевременно переходить к действиям. Для этого они использовали вариацию игры «Морской бой» — Collaborative Battleship. В игре участвуют два агента: Captain, который не видит поле и должен решать, задавать вопрос или делать выстрел, и Spotter, который видит всё поле и отвечает на вопросы Captain'а. Бенчмарк состоит из двух частей: SpotterQA оценивает качество ответов Spotter, а CaptainQA — стратегию Captain, включая то, как и когда он задаёт вопросы и совершает действия. В эксперименте использовали 18 раскладок игровых досок 8×8 с четырьмя кораблями. Для каждой игры были установлены ограничения: максимум 15 вопросов и 40 ходов. Исследователи оценили 15 LLM и предложили методы улучшения их работы, например, добавление вероятностной модели мира для Captain. В результате полезность вопросов увеличилась до +0,227 бита Expected information gain (EIG), а качество выстрелов — примерно на +0,303–0,374 F1. Модель Llama-4-Scout оказалась эффективнее людей в 82% случаев и GPT-5 — в 67%, при этом её стоимость составляет около 1% от стоимости GPT-5.
Канал в каталоге Максиметера
2 подписчиков · IT и технологии