RAG | Нейросети | ИИ | AI | Агенты | GPT-6 Sol | Muse Wonder | Claude Haiku 5.5 | Claude Opus 5.5 | DeepSeek V4 | Kimi K3
IT и технологии · 14 августа 2026 г.
LLM-роутер экономит деньги: дешёвую модель на простые запросы, дорогую — на сложные. Оц...
LLM-роутер экономит деньги: дешёвую модель на простые запросы, дорогую — на сложные. Оценивают его так: берут траекторию сильной модели и подменяют на ней ответы слабой, будто остальное не изменится. CMU проверили на ~900 запусках: смена модели переписывает 61–94% следующих действий, валидными остаются лишь 3% состояний. Бенчмарк меряет мир, которого нет. Это и есть «replay gap» — оценка засчитывает не тот сценарий.
50 просмотров