Цели автoscaling для TTS на SageMaker выводят из Q_max и T_total, а не с потолка
Цели автoscaling для TTS на SageMaker выводят из Q_max и T_total, а не с потолка Сколько одновременных запросов держит один инстанс с синтезом речи, пока задержка ещё в норме — и сколько минут уходит на подъём следующей машины? Пока на это нет ответа, цель в консоли SageMaker остаётся догадкой: политика не падает в алертах, а в пик очередь бьёт по слушателям. В разборе Kokoro-82M AWS заменили эти два числа снимают с живого сервиса и из них же считают пороги масштабирования и паузы — без метрик «как у чат-моделей». Если крутите кастомный контейнер с речью и автоскейл уже в инфраструктурном коде, такой план отделяет измеренный конфиг от «разумных» цифр, которые в прод могут уехать без единого прогона.
5 просмотров