🧠 ИИ
🧠 ИИ Локальный инференс LLM: опыт развёртывания на NVIDIA DGX Spark Автор публикации на Habr AI описал процесс развёртывания двух больших языковых моделей (LLM) на NVIDIA DGX Spark, а также отдельной модели для распознавания речи (ASR) на AMD GPU. Цель — создание мультиагентной платформы. Оказалось, что просто наличие файлов модели не гарантирует готовый сервис. В ходе работы были выявлены ограничения, связанные с длинным контекстом, KV-кэшем и параллелизмом. Показано, что метрика tokens/sec не всегда отражает реальную задержку для пользователя. В некоторых случаях более быстрая модель может быть заменена на менее быструю из-за качества генерируемого текста. Процесс развёртывания требует инженерного подхода и учета множества факторов, выходящих за рамки простой установки и запуска. По данным Habr AI, для работы потребовалась платформа NVIDIA DGX Spark. Источник: Habr AI