🤖 ЭТО КАК LLM, НОdLLM
🤖 ЭТО КАК LLM, НОdLLM ㅤ Объяснение исчерпывающее, но нам захотелось глубже понять, как оценивать альтернативные архитектуры языковых моделейㅤ Заручились помощью учёных из SberAI и команды AIRI . Теперь можно отправляться в путь! ㅤ ВЫДАЁМ БАЗУ В отличие от привычных LLM, которые генерируют текст токен за токеном слева направо, dLLM могут восстанавливать несколько токенов параллельно и заполнять пропуски внутри текста. Теоретически это даёт кратное ускорениеㅤ ЗАДАЁМ ВОПРОСЫ Обещания эффективности хороши, но можно ли доверять красивым цифрам? Учёные решили выяснить это на практике: воспроизвели несколько существующих подходов и обнаружили, что опубликованные результаты не всегда удаётся достоверно повторитьㅤ НАХОДИМ ОТВЕТЫ На общий итог влияют гиперпараметры обучения, данные, детали реализации, sampler и даже численная точность вычислений. Некоторые метрики могут создавать иллюзию хорошего результата: например, генеративная перплексия (GenPPL) снижается, когда модель начинает повторять слова и фразы. Вывод: для оценки dLLM недостаточно одних только цифр. Необходимо комплексно смотреть на перплексию, разнообразие и энтропию, а в задачах с однозначным ответом проверять и фактическую точностьㅤ СОЗДАЁМ РЕШЕНИЯ Коллеги протестировали собственный метод IDLM — дистилляцию диффузионной модели в короткую траекторию, которая задействует для обучения три модели: учитель, ученик и fake model. Вместо сотен или тысяч шагов генерации модель-ученик учится получать сопоставимый результат за гораздо меньшее число шагов. Эксперименты на моделях с 169 млн параметров, обученных на OpenWebText с помощью IDLM, показали кратное сокращение шагов: 🤩 SEDD — в 4 раза 🤩 MDLM — в 64 раза 🤩 Duo + DCD — в 128 / 256 раз Адаптация GigaChat 3B по другому подходу — ReFusion — дала ещё один результат: ускорение реального времени генерации в 2,7 раза и более чем двукратный рост качества на GSM8Kㅤ Параллельная генерация действительно открывает новые возможности. Но каждое преимущество необходимо отдельно превращать в работающую технологию. ㅤ Подробное расследование коллег — в статье ↖️
Канал в каталоге Максиметера
2 859 подписчиков · IT и технологии