#FAQ_itelon — 20 июля 2026 г. в 11:45:02.046
#FAQ_itelon 🎙 Сегодня решили дать GPU выходной — и проверить, как Whisper Large v3 справится на Intel Xeon 5-го и 6-го поколений. Распознавание речи часто мысленно комплектуют графическими ускорителями еще до того, как посчитали реальную нагрузку. Не стоит торопиться, уже подоспели тесты модели на двух процессорных платформах — с OpenVINO и vLLM, в форматах FP16, INT4, BF16 и W8A8. Оценивали ключевые метрики: точность распознавания, пропускную способность, задержки и количество одновременно обрабатываемых аудиопотоков. 🔮 Что получили: • OpenVINO FP16 увеличил пропускную способность на 159%, а время до первого результата сократил на 85%; • OpenVINO INT4 дал +187% к пропускной способности и уменьшил время формирования последующих токенов на 48%; • Сервер с двумя Intel Xeon 6980P обработал около 13 000 часов аудио за сутки — архив на 100 000 часов можно расшифровать примерно за 8 дней; • Конфигурация с двумя Intel Xeon 8568Y+ и W8A8 выдержала 96 одновременных аудиопотоков — вдвое больше, чем BF16 на той же платформе. И главное: во всех протестированных сценариях графические ускорители не понадобились. Значит ли это, что GPU теперь можно торжественно вынести из серверной? 🤡 Нет Но для корпоративного ASR процессорная инфраструктура оказалась вполне рабочим и предсказуемым вариантом. Маленький нюанс все же есть: тесты проводились на англоязычных LibriSpeech и TED-LIUM, поэтому перед внедрением качество обязательно нужно проверить их наличие на своих аудиоданных. А полный разбор и красивую инфографику можно найти на нашем сайте 🙃 💙 Vkontakte | 📝 Дзен