Модели видят мир одинаково
Модели видят мир одинаково Нейросети, обученные на разном, приходят к одной картине мира Если показывать модели два взгляда на одну и ту же сцену, она схватывает не картинку, а устройство мира: что где стоит, что с чем связано. Так же устроены и другие модальности, поэтому их представления совпадают почти один в один. LLM учат иначе: им дают куски одного текста, а не два взгляда на одно явление. Поэтому связь с реальностью у них нащупывается только на огромных размерах и объемах данных. Вывод: маленькая модель на хороших данных обгоняет гигантскую на плохих. А если правильно повернуть пространство, два отдельных энкодера сами начинают подписывать фотографии, хотя пары «фото плюс подпись» им не показывали. Есть демо: загружаете свое фото или видео, получаете подпись. #research