R
RAG | Нейросети | ИИ | AI | Агенты | Gemini 4 Carbon | Kimi K3.1 | Claude Opus 5.5 | GPT-6.1 Terra | Claude Duet | Mistral Large 4 | MiniMax M3.1 | DeepSeek V4.1 | Grok Voice 3.0 | World Models
IT и технологии · 30 октября 2026 г.
«Обогнали конкурента» — это про выборку не меньше, чем про модель. Тест из задач одного...
«Обогнали конкурента» — это про выборку не меньше, чем про модель. Тест из задач одного уровня мерит совпадение с сильными местами, а не способность. NeurIPS 2026 (arXiv, 21.10): две проверки — DDM, насколько неровно распределена трудность, и Max Gap, самый широкий пустой участок. У AMC23 разброс ровный, дыра 0,217; у ScienceQA перекос 0,178 при меньшей дыре. Лечат BenchFill: задачи переписывают под нужный уровень. Код выложен публично.
4 просмотров