Как REST ускоряет генерацию токенов
Как REST ускоряет генерацию токенов Метод Retrieval-Based Speculative Decoding (REST) позволяет ускорить генерацию токенов более чем в два раза. В его основе лежит спекулятивное декодирование: используется дополнительная модель, которая предлагает варианты продолжения цепочек токенов. Основная модель затем проверяет эти варианты. Если предсказания совпадают, токены принимаются, иначе — отбрасываются. Авторы предлагают вместо меньшей модели использовать базу данных на суффиксном массиве с корпусами кодов и текстов. Из базы извлекаются контексты и продолжения, которые организуются в Trie-структуру. Кандидаты проверяются с помощью маски Tree Attention за один проход трансформера. Тесты на CodeLlama и Vicuna показали прирост скорости генерации в 1,62–2,36 раза. Однако метод зависит от качества базы данных и сталкивается с трудностями при понимании контекста, например, при генерации персонализированных названий переменных.