Reasoning From Scratch: RLVR, часть 2
Reasoning From Scratch: RLVR, часть 2 Себастьян Рашка (@rasbt) выкатил вторую порцию разбора «Reasoning From Scratch: RLVR» — это про обучение с подкреплением, где награду можно проверить. Внутри: зачем вообще ограничивать отношения вероятностей политик, какую роль играет KL-слагаемое в лоссе, что дают награды за формат ответа и какие ещё трюки крутят вокруг GRPO. Видео: youtu.be/VxfUrUrrczs 00:00 Вступление и повтор того, что уже было 01:52 Как читать основные метрики обучения GRPO 06:34 Что собираются доработать в GRPO 08:58 Запуск долгого обучения через Python-скрипты 13:39 Старт базового скрипта для обучения GRPO 17:29 Подтягиваем логи обучения и рисуем графики 19:29 Разбираемся, почему обучение пошло вразнос 23:55 Прогон контрольных точек модели на MATH-500 26:26 Качаем уже готовые контрольные точки модели 30:09 Следим за статистикой преимущества 34:53 Что за зверь такая энтропия 40:32 Считаем энтропию в PyTorch 44:17 Как трактовать значения энтропии 48:58 Прикручиваем трекинг энтропии к GRPO 53:36 Разбор метрик преимущества и энтропии 56:18 Стабилизируем GRPO через ограничение отношений вероятностей политик 1:03:27 Пишем функцию потерь политики с ограничением 1:09:39 Смотрим результаты обучения с ограничением отношений вероятностей политик 1:11:25 KL-дивергенция и как обойти систему наград 1:15:12 Вставляем KL-слагаемое в функцию потерь 1:20:34 Где спотыкается упрощённая функция потерь с KL 1:23:04 Награды за формат ответа и теги think 1:25:47 Закидываем специальные токены в токенизатор 1:30:29 Реализуем награду за формат ответа 1:35:56 Разбор обучения с наградой за формат ответа 1:38:25 Награда за формат — только если ответ верный 1:40:48 Дальнейшие улучшения GRPO из исследований 1:45:43 Куда дальше и дистилляция 👉 Telegram | Max