Звать большую LLM, чтобы решить «нажимать кнопку или спросить пользователя», — дорогая ... — 3 октября 2026 г. в 10:35:14.753
Звать большую LLM, чтобы решить «нажимать кнопку или спросить пользователя», — дорогая привычка. AWS сделала для этой скучной работы отдельную 2B-модель. Decider не болтает и не пишет посты: он выбирает вариант из списка, отвечает «да/нет» или ставит оценку. Его можно посадить перед вызовом инструмента: проверить, сказал ли пользователь нужный город, есть ли основания лезть в CRM, не пора ли просто задать уточняющий вопрос. Авторы показывают около 115 мс на RTX 3090 — это их замер. Правила и пороги всё равно задаёт разработчик, но маленький фильтр перед дорогой моделью выглядит разумнее, чем экскаватор ради скрепки. Запуск — pip install strands-decider; код с примером и веса открыты.
1 просмотров