[Перевод] Как сделать модель, которая умеет думать: дообучение через GRPO
[Перевод] Как сделать модель, которая умеет думать: дообучение через GRPO DeepSeek наглядно показал: способность рассуждать по шагам реально прокачивается на этапе дообучения. Хочешь такое же поведение от локальной LLM — есть вариант: Group Relative Policy Optimization, он же GRPO. SFT — это когда модель по сути заучивает шаблоны из примеров. GRPO работает иначе: reinforcement learning. Модель получает фидбек о качестве своих ответов и потихоньку начинает генерить удачные варианты чаще. Дальше раскладываем, как GRPO стыкуется с современными подходами RLHF и что вообще происходит внутри такого обучения. Читать далее 👉 Telegram | Max
36 просмотров