📌 Ai2: Гибридные модели и трансформеры по-разному работают с текстом — 26 июня 2026 г. в 15:02:26.297
📌 Ai2: Гибридные модели и трансформеры по-разному работают с текстом Институт Аллена опубликовал (https://allenai.org/blog/hybrid-token-prediction) работу, в которой выяснили, как архитектура моделей влияет на понимание текста. Спойлер: гибридные модели лучше улавливают смысл, а классические трансформеры точнее копируют данные. Для эксперимента взяли (https://arxiv.org/pdf/2606.20936) 2 собственные языковые модели - Olmo 3 и Olmo Hybrid. Обе обучались абсолютно одинаково, отличалось лишь их внутреннее устройство. 🟢Olmo 3: классический decoder-only трансформер 🟠Olmo Hybrid: гибрид c чередованием слоев RNN и трансформеров в пропорции 3:1 Трансформеры используют механизм внимания на каждом слое. Модель может напрямую обращаться к любому из предыдущих токенов. Это требует вычислительных мощностей, зато позволяет идеально цитировать прочитанное. Гибрид сохраняет несколько слоёв внимания, а остальные заменяет рекуррентными. Они читают текст строго слева направо и сохраняют его в виде сжатой памяти. Такая память не даёт точно обратиться к конкретному предыдущему токену, зато затраты на обработку остаются постоянными независимо от длины текста. Чтобы измерить разницу, обеим моделям подавали статьи, страницы Wikipedia, книги, научные работы, а также код на Python, HTML и LaTeX. На выходе фиксировали, насколько точно каждая модель предсказывает следующий токен. 🟡Результат Гибрид лучше предсказывает смысловые слова (существительные, глаголы и прилагательные). Он также превосходит чистый трансформер там, где нужно глубокое понимание контекста. Но его преимущество почти исчезало в случаях, когда дело доходит до точного цитирования. Чем длиннее был повтор, тем меньше становился разрыв. Здесь точнее оказывался трансформер. В дополнительном прогоне с 3-мя моделями на 1В параметров (трансформером, гибридом и чистой рекуррентной моделью без внимания), выяснилось, что гибрид пасует перед точным повторением текста и закрывающими скобками в коде. 🟡Выводы Первый: единый усреднённый показатель ошибки слишком груб для сравнения архитектур - различия видны только при разборе отдельных типов токенов. Второй: преимущество гибрида на смысловых словах связано со способностью RNN-слоёв отслеживать меняющееся состояние текста. #AI #ML #LLM #Research #Ai2