Сломался ИИ-агент? Скорее всего, дело не в модели
Сломался ИИ-агент? Скорее всего, дело не в модели Если вы делаете ИИ-агентов для продакшена, эта работа пригодится. Авторы собрали 41 типичный сценарий отказа и разложили ошибки по компонентам: модель, обвязка, пользователь, инструменты, память, окружение. Видно, где именно и на чьей стороне возникла проблема. Главный вывод: большинство сбоев агентов происходит не внутри модели, а на стыке с обвязкой. Авторы предлагают автоматически разбирать инциденты — их ИИ-судья на четырех передовых моделях показал согласие с ручной разметкой 0.76 по коэффициенту Коэна. Общего языка для разделения ошибок модели и инфраструктуры до сих пор не было. Эта работа предлагает такую систему. Подробности — в статье.
37 просмотров