Сбер открывает коды
Сбер открывает коды Нет-нет, никаких личных данных, не волнуйтесь. Сбер сделал неожиданный и крутой шаг: опубликовал в открытом доступе экспериментальную диффузионную языковую модель GFusion, созданную на базе GigaChat, а также набор инструментов для её обучения. Что это за зверь? Классические языковые модели генерируют текст последовательно — слово за словом. Если модель ошиблась в начале, ей приходится переписывать всё заново. GFusion работает иначе: сначала создаёт черновик ответа, а потом постепенно его уточняет — примерно как современные нейросети генерируют изображения и видео. Плюсы: текст создаётся быстрее — производительность GFusion до 45% выше по сравнению с GigaChat 3, на котором она обучалась. Кроме того, модель эффективнее использует обучающие данные и может генерировать блоки текста параллельно, а не по одному слову. Автор проекта — Даниил Тихонов, инженер машинного обучения Сбера. Он начал работу над моделью во время стажировки, будучи студентом четвёртого курса ФКН ВШЭ. Проект лёг в основу его диплома, а потом Тихонов стал штатным специалистом. Это первая российская диффузионная языковая модель такого масштаба, выпущенная в опенсорс. Направление пока во многом исследовательское, но Сбер решил поделиться наработками, чтобы другие команды могли развивать технологию быстрее.
Канал в каталоге Максиметера
6 506 подписчиков · IT и технологии