🔬 AKV снижает стоимость запросов LLM-агентов на 27,7%
🔬 AKV снижает стоимость запросов LLM-агентов на 27,7% Исследователи Tsinghua University и CUHK открыли код AKV — системы на базе SGLang, которая даёт агентам управлять кэшем вычислений (KV): ненужные фрагменты отбрасываются, остальные переиспользуются без пересчёта. На 3 моделях и 4 бенчмарках средняя стоимость задачи падает на 27,7%, средний балл растёт на 1,7 пункта относительно суммаризации. На GPT-OSS-120B в SWE-bench Verified — 20,0→9,7 цента, балл 40,0→43,2. На MiniMax-M2.7 в BrowseComp-Plus 58,9 против 62,3 у Text Engineering: эффект не универсален. Все цифры — самоотчёт авторов на 8 GPU A800. 🔹 Первый Нейронный
1 просмотров