Осенние модели ИИ: почему цена задачи не равна цене токена
Осенние модели ИИ: почему цена задачи не равна цене токена Осенью 2026 года вышла волна новых моделей: 1 сентября Anthropic выпустила Claude Fable 5.1, 3 сентября OpenAI показала GPT-6 Astra, следом отчитались остальные. Автор разбирает, как в этом потоке считать не цену токена — кусочка текста, которым модель измеряет объём, — а реальную стоимость решённой задачи. Первое правило: цифры производителей и независимые замеры — разные вещи. Таблицы компаний настраиваются под нужный результат: выбор тестов, уровень рассуждения, своя обвязка — программа подачи задач и проверки ответов. Один и тот же тест даёт разные числа: Terminal-Bench 4.0 для Grok 4.7 — 37,6% по данным xAI и 33% у независимого Artificial Analysis. По таблицам компаний можно сравнивать только грубо. Независимый индекс Artificial Analysis держит одинаковые условия для всех: десять тестов, сведённых в одно число, плюс замеры скорости и цены задачи. Его слабость — усреднение: модель, сильная в узкой нише, в общем индексе проигрывает. Прямые сравнения изданий на одном задании ближе к реальной работе, но выборка из двух-трёх заданий — иллюстрация, а не статистика. За сутки на агрегаторах появляются десятки пересказов с расхождениями до 15 баллов, поэтому сверяться нужно с первоисточниками. Второе правило: сравнивать модели можно только на одном уровне рассуждения — ступени от low до max, и одна модель на разных ступенях ведёт себя как разные. Opus 5.5 на low против max — разница в 16 баллов индекса и цена задачи в 11 раз выше. Третье правило: прейскурант — цена слова, а платёж идёт за решённую задачу. Модели расходуют разное количество слов: Sonnet 5.5 выдала 420 млн выходных токенов на прогон против медианы класса 81 млн, поэтому при вдвое более дешёвом токене её задача стоит $7,67 — дороже всех. У Opus 5.5 — $5,98, у Fable 5.1 — $7,63. GPT-6 Astra при дорогом токене даёт $3,26 за задачу, вдвое дешевле Opus. Лучшее соотношение качества и цены среди моделей выше 50 баллов — у GPT-6.1 Sol: 52 балла индекса при 72 центах за задачу. Дешёвый сегмент: GPT-6 Luna — 38 баллов за 7 центов, DeepSeek V4.1 Flash — 39 баллов за 27 центов, DeepSeek V4 Pro — 36 баллов за 67 центов; старшая DeepSeek после летнего подорожания дороже Flash при худшем результате. Grok 4.7 по прейскуранту в пять раз дешевле Astra, но задача стоит $3,74 из-за многословия. По индексу на 3 октября лидирует Claude Opus 5.5 — 58 баллов из 224 моделей, далее Sonnet 5.5 (56), Fable 5.1 и GPT-6 Astra (по 53), GPT-6.1 Sol (52), Grok 4.7 (46). Разрыв между лидерами — шесть баллов, меньше, чем между ступенями рассуждения одной модели. В отраслевых тестах ниши расходятся: Terminal-Bench 4.0, проверяющий агентов в терминале, выигрывает Sonnet 5.5 (70,6%), в научной версии лидирует Astra, в Harvey — Grok 4.7 (19,6% против 6,7% у Fable 5.1). Вывод источников: длинные агентные задачи в программировании — за Claude, DeepSeek — лучший среди открытых моделей, но независимые замеры ниже отчётов компании. Итог автора: считать цену задачи по расходу токенов, проверять уровень рассуждения и сверяться с первоисточниками. Ограничения: индекс усредняет нишевые модели, прямые сравнения опираются на одно-два задания, а по части моделей независимых замеров на нужном уровне просто нет. В полной версии разобраны скорость печати, время до первого слова и работа из России. Источник: https://habr.com/ru/articles/1089836/