Hogwild! Inference: как ускорить работу LLM с помощью параллельной генерации
Hogwild! Inference: как ускорить работу LLM с помощью параллельной генерации Инженеры Yandex Research, HSE и IST Austria представили движок Hogwild! Inference для параллельного инференса в LLM. Цель разработки — ускорить выполнение задач за счёт параллельной генерации, сохранив при этом простоту инференса и гибкость фреймворка. Метод использует несколько экземпляров LLM («рабочих»), которые выполняют задачу параллельно и синхронизируются через общий KV-кэш. Каждый «рабочий» добавляет свои токены в кэш, который организован как чат: завершённые абзацы перемещаются в «историю», а текущие остаются в отдельном сегменте. Это позволяет моделям координировать свои действия в реальном времени без заранее заданных правил взаимодействия. Для снижения вычислительных издержек авторы предлагают использовать свойства RoPE: блоки KV-кэша упорядочиваются по-разному для каждого «рабочего». Кроме того, применяются zero-shot prompting и специальные интервенции, чтобы избежать дублирования работы. Эксперименты на моделях Qwen3, QwQ, Deepseek R1, Phi4-R показали, что метод позволяет решать задачи за меньшее число последовательных шагов. Например, QwQ-32B в LIMO (817 задач на математику) с Hogwild! даёт прирост точности до 0,6 при 4000 токенах (у бейзлайна — 0,4). При двух «рабочих» генерация ускоряется в 1,8 раза, при четырёх — в 3,4.