Почему LLM-пеликаны выглядят именно так: разбор визуальных артефактов
Почему LLM-пеликаны выглядят именно так: разбор визуальных артефактов Пользователи больших языковых моделей (LLM) всё чаще замечают странный визуальный феномен: при генерации изображений птиц, особенно пеликанов, модели воспроизводят один и тот же искажённый образ — с непропорционально большим клювом и неестественной формой головы. Это не случайная ошибка, а закономерный артефакт обучения, который объясняется особенностями работы нейросетей. Ключевая причина — в том, как модели обрабатывают текст и изображения. Во время обучения LLM анализируют миллионы пар «текст-картинка», но они не «видят» изображение целиком, а разбивают его на патчи — небольшие фрагменты. Пеликан с его характерным клювом легко распознаётся по отдельным фрагментам, но при сборке целого модель переоценивает значимость клюва, так как именно он чаще всего упоминается в подписях к изображениям. В результате получается гипертрофированный образ, где клюв доминирует над остальной анатомией. Дополнительный фактор — разреженность данных. Пеликаны встречаются в обучающих выборках реже, чем, например, воробьи или голуби. При недостатке примеров модель вынуждена экстраполировать, опираясь на наиболее яркие признаки. Это приводит к тому, что все пеликаны «усредняются» в один стереотипный образ, который и воспроизводится при генерации. Аналогичные эффекты наблюдаются и с другими редкими животными, но у пеликанов они особенно заметны из-за их выразительной внешности. Понимание этих механизмов важно не только для забавных наблюдений. Оно помогает разработчикам улучшать архитектуры моделей, добавляя механизмы внимания к целостным объектам, а не только к их частям. Также это подчёркивает необходимость более сбалансированных обучающих наборов данных, чтобы избежать систематических искажений при генерации изображений. Главное: • LLM разбивают изображения на патчи, что ведёт к переоценке ключевых деталей • Редкие объекты в обучающих данных усредняются в стереотипные образы • Гипертрофированный клюв — следствие частого упоминания в подписях • Исправление требует улучшения механизмов внимания и баланса данных #ИИ #LLM #ГенерацияИзображений #Нейросети