RAG | Нейросети | ИИ | AI | Агенты | Mistral Large 4 | DeepSeek | Qwen 27B | GLM-5.3 | Kimi K3 | GPT-6 Astra

IT и технологии · 10 августа 2026 г.

Открыть канал в MAX

SAKI сжимает KV-кэш без обучения — 512 токенов калибровки, и индекс готов. Вместо PCA к...

SAKI сжимает KV-кэш без обучения — 512 токенов калибровки, и индекс готов. Вместо PCA ключей метод оптимизирует attention scores напрямую. На LLaMA-3.1 (разработчик — Meta*), Qwen 2.5 и Mistral: 13–30% ошибки PCA убрано, 77% голов точнее. Pearson r = 0,997. arXiv 2608.03228. Публичного репозитория нет, но описан добротно — ждём реализацию в llama.cpp. * Meta Platforms Inc. признана экстремистской организацией, её деятельность в РФ запрещена