Как работает китайская модель LLaDA: принцип обучения и генерации

Как работает китайская модель LLaDA: принцип обучения и генерации Продолжаем разбираться в работе китайской модели LLaDA. В процессе обучения модель генерирует определённую долю токенов, которые затем маскирует. После этого LLaDA учится восстанавливать замаскированные токены. В стадии SFT зашумляется только ответ, а не запрос. Чтобы модель могла работать с текстами разной длины, в обучение включают 1% текстов длиной от 1 до 4096 токенов. При генерации ответа модель начинает с полностью замаскированного ответа и постепенно восстанавливает токены. На каждом шаге часть предсказанных токенов снова маскируется с определённой вероятностью. Этот процесс повторяется до тех пор, пока вероятность маскирования не достигнет нуля. Авторы модели также отмечают эффективность подхода, при котором маскируются токены, в которых модель наименее уверена. Такой метод совместим с classifier-free guidance. Хотя LLaDA не предлагает радикально нового подхода, её простота и изящность позволили ей конкурировать с сильными моделями, такими как LLaMA 2 и 3.