Cowork Bench: зачем Сбербанк сделал бенчмарк для ИИ-агентов
Cowork Bench: зачем Сбербанк сделал бенчмарк для ИИ-агентов ▫️ Сбербанк представил Cowork Bench - первый российский открытый русскоязычный бенчмарк для оценки ИИ-агентов на офисных задачах. Его ключевое отличие в том, что он проверяет не «умность» модели сама по себе, а способность агента самостоятельно довести рабочую задачу от начала до конца. И по словам старшего вице-президента, руководителя блока «Технологическое развитие» Сбербанка Андрея Белевцева, российских бенчмарков-аналогов, которые оценивали бы способность ИИ-агентов выполнять офисные задачи от начала до конца с учётом специфики российских компаний, пока нет. ▫️ А как рассказал гендиректор «Салют для бизнеса» Владимир Толмачёв, современные бенчмарки в основном оценивают возможности языковых моделей: знания, рассуждения, решение математических задач и т. д. Но в реальной офисной работе мало «правильно ответить». Что показали тесты ▫️ Чтобы оценить, как окружение влияет на выполнение офисных задач, разработчики GigaCowork сравнили девять решений на одной открытой модели с одинаковыми задачами, данными и процедурой проверки. В сравнении участвовали восемь зарубежных инструментов - Goose, Claude Code, DeepSeek, Pi, Codex CLI, OpenHands, OpenCode. Результаты показали, что выбор harness напрямую влияет на успешность ИИ-агентов: доля выполненных заданий составила от 62% до 80% в зависимости от обвязки, а в отдельных случаях разница на одной и той же большой языковой модели достигала 20%. GigaCowork справился с 75,2% задач и вошёл в число лидеров сравнения. Подписывайтесь на AI для бизнеса