Давно здесь не было обзоров статей. Но несмотря на вайбкодинг я не разучился читать.
Давно здесь не было обзоров статей. Но несмотря на вайбкодинг я не разучился читать. Сегодня у нас впервые за долгое время заявка на смену парадигмы в генеративном DL! Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation Авторы предлагают учить генеративные модели другим лоссом который имеет теоретические основания и одновременно улучшает эффективность использования компьюта, качество и скейлинг с параметрами. Ключевая идея: мы учим генеративные модели одним образом, а инферим их совсем иначе. Например, авторегрессионные модели генерируют один токен за раз, но при инференсе мы требуем от них тысяч токенов на выходе. Диффузионные модели в трейне денойзят один шаг, а при инференсе должны делать готовую картинку. При этом, например, у диффузионной модели часто нет возможности по вектору шума понять в какую именно сторону его надо денойзить, но мы её штрафуем как будто это однозначно определено. Предлагают простое решение: во время обучения делать несколько попыток генерации, а бекпропать только самую близкую к данным. Утверждается, что такая постановка позволяет модели поисследовать разные моды распределения, а не натягивать любую сову на один глобус. На примере диффузии работает так. Для каждого примера: 1. Семплируем K разных способов его зашумить. 2. Для каждого из K делаем предикт моделью, чтобы уменьшить шум и считаем обычный диффузионный лосс. 3. Бекпропаем только наименьший из полученных лоссов. Так же предлагают процедуру как учить такую Exploration Model с нуля. Если всё как авторы утверждают, то это имеет потенциал улучшить весь генеративный DL повсеместно, от LLM до генераторов порно до VLA которыми мы занимаемся в Steelman Источник: https://explorative-modeling.github.io/