Speculative Sampling
Speculative Sampling Способ сделать интерактивными двунаправленные видеомодели без обучения. Обычно за скорость платят маленьким окном внимания и теряют качество. Здесь окно остается большим, а отклик ускоряется. Идея в том, что размер окна превращается из ограничения в ручку настройки. Привязки к конкретной модели нет • Генерация крупного куска вперед в расчете, что условие не поменяется • Предсказания копятся в кэше и выдаются по мере проигрывания • Поменялся ввод: неизменяемый префикс остается, хвост пересчитывается • Два состояния: раздача из кэша и досчет нового • MiniMax H3 стала интерактивной примерно с 1,4 секунды до первого отклика • Кусок на пять секунд за раз, без пост-обучения в духе Self-Forcing • Ожидание больше не упирается в половину длительности куска • Увеличение куска почти не бьет по времени шага, ядра недогружены github.com/Yubo-Shankui/SpeculativeSampling #optimization