🤖 Очень любопытная работа от UC Berkeley + FB + Google.
🤖 Очень любопытная работа от UC Berkeley + FB + Google. Поразительно, но трансформеры, предобученные на языковых задачах, неплохо обобщаются и на другие модальности. После обучения на текстовых данных, у трансофрмера файнтюнится только линейный входной слой, выходной слой, positional embeddings и параметры layer norm слоев (см. картинку выше). В итоге после файнтюнинга всего лишь 0.1% всех параметров на новом датасете такой трансофрмер может хорошо решать задачи в других модальностях, таких как предсказание структуры белка, математические вычисления или классификация изображений. Выглядит так, что наш мир состоит из неких информационных структур, имеющих что-то общее даже если рассмотреть совсем разные задачи. Это довольно интересная гипотеза, и судя по всему, мы движемся к какой-то универсальной "нейронной сети", которая сможет решать много ра I̷T̷ В̷П̷И̷С̷К̷А · t.me/itvpi/561 #it #вписка #itvpiska #слой #решать #задачи #других