Kimi 3: внимание, которое не растет
Kimi 3: внимание, которое не растет Разработчики Kimi представили третью версию модели с механизмом delta attention. Вместо растущего KV-кеша — одна матрица фиксированного размера. Как это работает? Обычный attention хранит пары ключ-значение для каждого токена. С ростом контекста это квадратично дорожает. Delta attention сжимает всю историю в матрицу и использует правило дельты: сначала читает текущую оценку по ключу, затем записывает только разницу между ней и истинным значением. Так память корректируется, а не переполняется. Цена — небольшая потеря точности, поэтому в модели комбинируют оба подхода. Подробнее — в блоге Kimi.
31 просмотров