R
RAG | Нейросети | ИИ | AI | Агенты | Gemini 4 Argon | Mistral Large 4 | Muse Wonder | Claude Haiku 5.5 | GPT-6 Sol | Claude Opus 5.5
IT и технологии · 14 августа 2026 г.
«Канарейки» в пуле тулов. Посадили сломанные инструменты с обманчивым описанием и прогн...
«Канарейки» в пуле тулов. Посадили сломанные инструменты с обманчивым описанием и прогнали 8 моделей 8640 раз. Шанс взять не тот тул различается в 36 раз. Llama 3.1 8B (Meta*) промахивается в каждом втором прогоне, Claude Opus 4.8 ошибается в паре процентов случаев. Хуже всего capability mirage, когда тул выглядит умелым, а не умеет. На нём падает даже GPT-5.2 (31%), GPT-4.1 — 58%. Топ-тир не страхует от неверного выбора тула. * Meta Platforms Inc. признана экстремистской организацией, её деятельность в РФ запрещена.
49 просмотров