Диффузионные модели в языковом моделировании: знакомство с LLaDA
Диффузионные модели в языковом моделировании: знакомство с LLaDA Мы рассмотрим новую диффузионную модель от китайских исследователей — LLaDA. Она относится к классу дискретных диффузий и напоминает BERT в режиме Masked Language Modelling. На графике модель сравнивают с LLaMA 3 8B и LLaMA 2 7B. Однако есть сомнения в репрезентативности графика: там, где LLaDA демонстрирует преимущества, разница кажется значительной, а в случаях, когда модель уступает конкурентам, различия выглядят незначительными. В языковом моделировании традиционно используется авторегрессия, но у этого подхода есть недостаток — если первый сгенерированный токен ошибочен, модель продолжит генерировать текст с учётом этой ошибки, ухудшая итоговый результат. Существует несколько способов решения этой проблемы, в том числе диффузионный подход с некаузальной маской аттеншна. Подробнее об этом — в следующей части.