RAG | Нейросети | ИИ | AI | Агенты | Claude Duet | Muse Wonder | Gemini 4 Argon | Claude Haiku 5.5 | DeepSeek V4.1 | Qwen3.6 | Muse Spark Open | Nemotron 3.5 | MiniMax M3.1 | Kimi K3 | GLM 5.3
IT и технологии · 4 августа 2026 г.
MirrorCode — бенчмарк, где модель переписывает программу с нуля по «чёрному ящику»: даю...
MirrorCode — бенчмарк, где модель переписывает программу с нуля по «чёрному ящику»: дают только исполняемый файл, документацию и тесты. 15 настоящих программ — от sed до криптобиблиотек. Claude Fable 5 закрыл 64% задач. GPT-5.6 Sol — 20%. Разрыв втрое, но не потому, что Sol не умеет. Тепловая карта Epoch AI показывает другое: Sol многие задачи решает, только нестабильно — то пройдёт, то нет. А на дистанции в дни работы единственный проваленный тест обнуляет всё. Fable просто доводит до конца почти всегда. Лучшая проверка — язык Ada: реализации на нём почти не встречаются в обучающих данных. Fable теряет 3 процентных пункта, Sol — пять. Контаминацию нашли в 17 из 25 программ, но она не объясняет весь разрыв.