Foundation Models Catalog от Selectel: разворачивайте LLM на своей инфраструктуре
Foundation Models Catalog от Selectel: разворачивайте LLM на своей инфраструктуре Если вы хотите запустить собственный LLM-сервис, но не готовы отдавать данные в общий пул AWS Bedrock или Azure OpenAI — Selectel открыл публичный доступ к Foundation Models Catalog. Инструмент разворачивает языковые модели на выделенных серверах: никакого соседства с чужими запросами, оплата за фактически использованные ресурсы. Движок — vLLM, REST API и observability из коробки (логи и метрики инференса). Автомасштабирование подстраивается под нагрузку без ручного вмешательства. В каталоге уже есть модели IBM Granite, Alibaba Qwen, DeepSeek, Microsoft Phi и Mistral AI. Подойдёт командам, которым важны compliance, предсказуемые расходы и изоляция данных. Подробнее о каталоге и новом AI-сервере читайте на Tproger. @prog_tools (теперь и в Max)