LLM Бенчмарк Claude Sonnet 5 на бизнес задачах - скачок качества — 30 июня 2026 г. в 20:01:05.535
LLM Бенчмарк Claude Sonnet 5 на бизнес задачах - скачок качества прогнал все вариации Sonnet 5 на нашем бенчмарке, собранном из эвалов успешных AI проектов в стартапах и корпорациях (про бенчмарк) Sonnet 5 сильно прокачали по сравнению с прошлыми версиями Sonnet. Модели подобрались достаточно близко к уровню Claude Opus 4.8 по качеству и цене. Общий паттерн ошибок - модель часто понимает задачу, но ломается на точности выполнения. Еще у Claude есть типичная болячка, что они переносят состояние из примеров в текущий запрос (это причина типично низких ошибок Anthropic/Mistral в колонке integrate). А еще забавно, что более высокий reasoning effort - не всегда значит, что качество будет лучше. Скажем, xhigh & high лучше справляются с задачками integrate (не путают примеры и текущий контекст), но начинают без спроса рассуждать в ответах, форматировать markdown, даже спорить с формулировкой задачи. В общем, Sonnet 5 - это значительный скачок качества в семействе моделей Sonnet. Но при использовании в бизнес задачах, где требуется интеграция LLM в текущие процессы нужно тестировать разные reasoning режимы на болтливость и следование инструкциям. Ваш, 🤗