Вышла одна из самых быстрых языковых моделей
Вышла одна из самых быстрых языковых моделей Американская компания Inception выпустила Mercury 3, новую диффузионную языковую модель. Она, в отличие от условного ChatGPT, генерирует ответ не по одному токену, а сразу целыми фрагментами, постепенно их уточняя и дорабатывая. Благодаря этому, по заявлению компании, Mercury 3 способна генерировать более тысячи токенов в секунду, сохраняя качество на уровне OpenAI и Anthropic при скорости генерации в 4-8 раз выше. Правда, речь о самых простых и дешёвых моделях упомянутых компаний – Luna и Haiku. Контекстное окно составляет миллион токенов. Inception утверждает, что смогла сделать Mercury 3 в десятки раз крупнее первого поколения, сохранив прежнюю скорость работы. Это может быть интересно для ИИ-агентов и оркестрации простых задач. Среди первых пользователей Mercury 3 уже есть разработчики голосовых помощников, образовательных сервисов и поисковых агентов. Впрочем, заявления Inception пока подтвердились лишь частично. По данным OpenRouter, фактическая скорость генерации в несколько раз ниже обещанной, а первые независимые тесты показывают, что на сложных задачах Mercury 3 тратит больше времени, чем Luna и Haiku. Ведь быстро генерировать текст – не то же самое, что быстро решать поставленные задачи. Меж тем состоялся ещё один шаг на пути превращения диффузионных LLM из эксперимента в коммерческий продукт и альтернативу обычным LLM.