Вот это поворот: оказывается, учить языковую модель складывать белки — это не сумасшест...
Вот это поворот: оказывается, учить языковую модель складывать белки — это не сумасшествие, а нормальный способ прокачать её мышление. 🧬 Исследователи Yong Liu и Zhanpeng Shi взяли данные о геометрии белков — как они сворачиваются в пространстве — и скормили всё это языковой модели. Логика такая: обычной разметки для обучения уже не хватает, надо искать новые источники. А геометрия белков — это чистая структурированная задача на пространственное рассуждение, никакого языкового шума. И знаете что? Сработало. Модель, которую дообучили на этих данных, реально лучше справляется с общими задачами на рассуждение — не только с теми, что про белки. Это к вопросу о переносе навыков. Оказывается, у нейросетей он работает примерно как у людей: качаешь одно, а прокачивается что-то смежное. Как если бы вы учили японский, а потом вдруг стали лучше запоминать маршруты — потому что мозг натренировал нужные паттерны. Практический вывод: если вы работаете с промтами и хотите, чтобы модель лучше рассуждала — давайте ей задачи из разных областей, не только из вашей. Структурированные, с чёткой логикой. Математика, пространственные задачи, формальные рассуждения — всё это, судя по всему, реально влияет на качество ответов в других доменах. Ну и глобально: данные для обучения моделей заканчиваются, и индустрия начинает смотреть в совсем неожиданные стороны. Белки сегодня, что завтра — кристаллография? Музыкальная теория? Интересно живём. 📻 Подписывайся на В эфире радио Свеклана