Рекурсивные модели: решение проблемы длинного контекста
Рекурсивные модели: решение проблемы длинного контекста Проблема длинного контекста в языковых моделях становится всё более актуальной: большой объём данных не помещается в модель, а качество обработки снижается. Авторы статьи предлагают решение — использовать рекурсивные языковые модели (RLM). Модель получает промпт с описанием задачи и двумя инструментами: Python REPL для исполнения кода и вызов языковой модели на глубине 1 с фрагментом длинного промпта. RLM может запускать себя рекурсивно в той же программной среде, встраивая вызовы в циклы, условия и другие конструкции. Эксперименты с Qwen3 и GPT-5 показали эффективность RLM на бенчмарках BrowseComp+ и OOLONG. На BrowseComp+ базовые модели не справляются с контекстом в 6–11 миллионов токенов, а RLM успешно находят релевантные документы. На OOLONG-Pairs RLM с самовызовами решают задачу сравнения пар фрагментов, которая недоступна другим подходам. По стоимости RLM с самовызовами часто сопоставима с базовой моделью, но стоимость растёт с усложнением задачи.
Канал в каталоге Максиметера
2 подписчиков · IT и технологии