Сбер разместил на Hugging Face веса экспериментальной диффузионной языковой модели GFus...
Сбер разместил на Hugging Face веса экспериментальной диффузионной языковой модели GFusion — версии GFusion‑10B‑A1.8B‑base и GFusion‑10B‑A1.8B. Ключевая особенность подхода заключается в изменении схемы генерации текста: вместо последовательного формирования токенов слева направо модель сначала создает структурный набросок ответа, а затем подставляет подходящие слова в сформированную рамку. На текущем этапе GFusion генерирует за один шаг блок из 32 токенов, что соответствует примерно одному предложению до 15 слов. В тестах модель Сбера демонстрирует прирост скорости до 45 % по сравнению с GigaChat 3, на базе которой она разработана, при снижении качества на 2–4 процентных пункта. Подход к использованию диффузии в языковых моделях развивается и в других организациях. Стартап Inception Labs ведет разработку диффузионных языковых моделей. Китайские исследователи представили проект LLaDA (Large Language Diffusion with mAsking). Google опубликовала версию Diffusion Gemma — она генерирует 256 токенов за шаг и, по данным компании, ускоряет создание текста и простого кода в четыре раза, хотя по большинству бенчмарков первая версия модели уступает Gemma 26B. Ссылки: КББ в TG| КББ в ВК | КББ в Дзене | Блог автора