Агент сказал «готово», а база — нет: бенчмарк ThinkingBox на Hugging Face
Агент сказал «готово», а база — нет: бенчмарк ThinkingBox на Hugging Face Подключаешь агента к тикетам или заказам? Перед продом загляни в базу после прогона: в логе всё чисто, тикет закрыт как решённый, а по сценарию статус на удержании, исключение у курьера не снято, клиент без ответа. Сверка только по вызовам инструментов такой провал не поймает. ThinkingBox от Microsoft и Hugging Face гоняет такие кейсы в изолированных MCP-сессиях — 507 сценариев, оценка по тому, что записалось в системе, а не по финальной реплике в чате. Каждый сценарий — двадцать прогонов с чистой базы. У лидера почти 94% задач сработали хотя бы раз, но стабильно на всех двадцати — лишь 13%. Если отдаёшь агента в прод, смотри на метрику полных 20/20, а не на разовый успех в лидерборде.