109 млн параметров против 72 млрд: в эксперименте Рэндалла Балестриеро и Яна ЛеКуна мен...
109 млн параметров против 72 млрд: в эксперименте Рэндалла Балестриеро и Яна ЛеКуна меньшая модель оказалась ближе к модели, обученной на изображениях, по внутреннему представлению мира. Речь не об общем превосходстве маленькой модели над большой. Исследователи проверяли, что помогает моделям, обученным на разных видах данных, формировать сходные внутренние представления — то, как они кодируют информацию об окружающем мире. ЛеКун несколько лет утверждает: одного увеличения масштаба недостаточно для понимания мира. В исходном материале этот подход противопоставляют ставке Meta; там же говорится, что в ноябре ЛеКун покинул компанию и основал собственную лабораторию в Париже. Работу, опубликованную в прошлый четверг, автор материала трактует как подтверждение его позиции. С 2024 года в индустрии популярна гипотеза: если обучать всё более крупные модели на текстах, изображениях и звуках, их внутренние представления мира в итоге сблизятся. Но, как отмечает источник, доказанной эта гипотеза не стала. Балестриеро и ЛеКун проверили её и связали результат прежде всего с тем, какие данные модель получает вместе. Фотография и её описание — два способа передать информацию об одном объекте. Обучаясь на таких парах, модели значительно быстрее приходят к сходным представлениям. Два абзаца одного документа — уже не два представления одного объекта. При таком обучении аналогичный результат достигается медленнее и требует гораздо больше вычислений. К этому второму типу в материале относят предсказание следующего токена — небольшого фрагмента текста, который модель выбирает следующим. На этом принципе работают практически все современные чат-боты. В описанных экспериментах первому методу хватило 21,6 млн примеров для достижения сопоставимого уровня представлений. Обучению с предсказанием следующего токена потребовалось 900 млн. А текстовая модель со 109 млн параметров — настраиваемых величин, определяющих её работу, — сформировала представления, более близкие к представлениям модели, обученной на изображениях, чем языковая модель с 72 млрд параметров. Примерно в 660 раз меньше параметров — и более близкие представления в этом сравнении. Методы и результаты — в работе Балестриеро и ЛеКуна. Материалы: — https://www.alphaxiv.org/pdf/2610.39302 Источник: https://t.me/vibecoding_tg/4241 #RealVibe #AI #AI_Новости Meta Platforms Inc. признана экстремистской организацией, её деятельность запрещена в РФ.