40% разброс в точности: ByteDance раскрыла причину «капризов» DeepSeek-V4
40% разброс в точности: ByteDance раскрыла причину «капризов» DeepSeek-V4 💡 Исследователи из команды ByteDance Seed обнаружили, что производительность модели DeepSeek-V4 критически зависит от позиции входных данных. При тестировании на код-комплитации добавление даже нескольких бессмысленных символов (например, знаков равенства) перед кодом меняло ответ модели. При этом сам код и правильный ответ оставались неизменными. Оказалось, что точность предсказания колеблется с периодом в 4 токена: в одних позициях модель уверенно выдавала ошибку (вероятность 71,3%), а в других — правильный ответ (вероятность 91,5%). ⚡ Масштаб проблемы подтвердился в тестах «Игла в стоге сена» (Needle in a Haystack) с контекстом 128K токенов. При поиске конкретных значений среди 16 000 пар ключ-значение разброс в точности достигал 40,2 процентного пункта для DeepSeek-V4-Flash-Base и 34,8 п.п. для DeepSeek-V4-Pro-Base. После дообучения (post-training) ситуация улучшилась: в версиях DeepSeek-V4.1-Flash-0910 разброс сократился до 6,1 п.п., однако периодическая зависимость от позиции сохранилась. 🤔 Корнем проблемы стала технология сжатия KV Cache (Key-Value Cache), используемая для оптимизации работы с длинным контекстом. DeepSeek-V4 применяет блочное сжатие, где токены группируются в окна. Исследователи ввели термин «Phase Sensitivity» (чувствительность к фазе): информация, попадающая в разные позиции внутри сжимаемого блока, обрабатывается моделью неравномерно. Период колебаний (4 токена для V4, 2 для V4.1) точно совпадает с шагом сжатия (compression step) в архитектуре модели. 📌 Что это значит на практике: Стандартные бенчмарки, усредняющие результаты, могут скрывать эту системную уязвимость. Разработчикам, использующим модели с блочным сжатием KV Cache, необходимо тестировать точность извлечения информации при разных фазах (позициях) относительно границ сжатия. Хотя сжатие критически важно для экономии памяти, оно вносит предсказуемые искажения в качество внимания модели. 🚀 Для верификации гипотезы команда Seed обучила собственные модели на базе архитектуры Qwen3-0.6B, варьируя параметры сжатия. Все модели с блочным сжатием продемонстрировали периодические провалы в точности, соответствующие шагу сжатия (4, 6 или 8 токенов), тогда как контрольная модель с полным вниманием (full attention) таких артефактов не показала. Анализ внимания выявил «Phase Specialization» — специализацию различных attention heads на определенных позициях внутри блока. Это подтверждает, что проблема заложена в самой механике сжатия, а не в конкретных модулях позиционного кодирования. Перевод и адаптация: AI Lab. Источник: QbitAI (量子位), https://www.qbitai.com/2026/10/502364.html #AI #LLM #DeepSeek #ByteDance #KVCache #LongContext