Infini-attention: эффективное масштабирование трансформеров для бесконечных контекстов
Infini-attention: эффективное масштабирование трансформеров для бесконечных контекстов Исследователи предложили новый метод Infini-attention для эффективного масштабирования GPT моделей, позволяющий обрабатывать бесконечно длинные входные данные с минимальными затратами ресурсов. Эта техника объединяет в одном блоке трансформера сжатую память, маскированное локальное внимание и линейное внимание. Метод успешно протестирован на задачах с контекстами длиной до 1 миллиона последовательностей и обобщении книг до 500 тысяч последовательностей, используя модели с 1 до 8 миллиардами параметров. Infini-attention минимизирует ограничения по памяти и обеспечивает быструю потоковую обработку для языковых моделей. Ссылки из исходного поста: Infini-attention: эффективное масштабирование трансформеров на бесконечные контексты | https://arxiv.org/abs/2404.07143 Материалы по ссылкам: 1. Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention В работе представлен эффективный метод масштабирования трансформерных больших языковых моделей (LLM) для работы с бесконечно длинными входными данными при ограниченных ресурсах памяти и вычислений. Ключевым компонентом является новая техника внимания — Infini-attention, которая включает в себя механизм компрессивной памяти и объединяет локальное маскированное и долгосрочное линейное внимание в одном блоке трансформера. Эффективность подхода продемонстрирована на задачах моделирования языка с длинными контекстами, извлечения контекста и суммирования книг. https://arxiv.org/abs/2404.07143 Источник: оригинальный пост