LLM Бенчмарк Claude Sonnet 5 на бизнес задачах - скачок качества — 1 июля 2026 г. в 13:31:04.542

LLM Бенчмарк Claude Sonnet 5 на бизнес задачах - скачок качества @AigizK прогнал все вариации Sonnet 5 на нашем бенчмарке, собранном из эвалов успешных AI проектов в стартапах и корпорациях (про бенчмарк) Sonnet 5 сильно прокачали по сравнению с прошлыми версиями Sonnet. Модели подобрались достаточно близко к уровню Claude Opus 4.8 по качеству и цене. Общий паттерн ошибок - модель часто понимает задачу, но ломается на точности выполнения. Еще у Claude есть типичная болячка, что они переносят состояние из примеров в текущий запрос (это причина типично низких ошибок Anthropic/Mistral в колонке integrate). А еще забавно, что более высокий reasoning effort - не всегда значит, что качество будет лучше. Скажем, xhigh & high лучше справляются с задачками integrate (не путают примеры и текущий контекст), но начинают без спроса рассуждать в ответах, форматировать markdown, даже спорить с формулировкой задачи. В общем, Sonnet 5 - это значительный скачок качества в семействе моделей Sonnet. Но при использовании в бизнес задачах, где требуется интеграция LLM в текущие процессы нужно тестировать разные reasoning режимы на болтливость и следование инструкциям. Ваш, @llm_under_hood 🤗