Длинный контекст тормозит инференс (вывод). Обязательно ли решать эту проблему с помощью дополнительных графических процессоров (GPU)? Компании Supermicro, IBM и NVIDIA представили архитектуру, в которой кэш ключей и значений (KV cache) можно хранить вне памяти графического процессора и повторно использовать между запросами. В совместном тесте на модели со 120 миллиардами параметров и запросе (prompt) длиной 130 тысяч токенов постоянный кэш ключей и значений (persistent KV cache) позволил модели начать отвечать до 56 раз быстрее (Time-to-First-Token, TTFT), чем при повторной обработке всего контекста. При росте запроса с 30 тысяч до 130 тысяч токенов время до первого токена выросло всего на 0,377 секунды (без постоянного кэша оно составляло 29,55 секунды). И здесь важно отметить, что это…
Читать целикомСтоимость размещения
Канал не принимает рекламу.
Это мой каналПригласить на рекламу
Каналы с рекламой →Реклама в похожих каналах
Описание
HOSTKEY — международный хостинг-провайдер. HOSTKEY предлагает выделенные и виртуальные серверы, в том числе с графическими картами (GPU), в России, Европе, США и Турции.
Активность канала
- За 7 дней
- 6
- публикаций
- За 30 дней
- 26
- публикаций
- Просмотров за 90 дней
- 2 572
- Ср. просмотров на пост
- 41
Динамика по дням
Подписчики, публикации и просмотры по дням — после входа.
ВойтиЭто ваш канал? Продавайте в нём рекламу
Получать заявки: подтвердите права через Чатератор
- 1
Откройте Чатератор
Нажмите «Старт»: без этого MAX не найдёт бота среди администраторов.
- 2
Сделайте бота админом
«Администраторы» → «Добавить» → наберите в поиске «Чатератор» → права «Писать посты» и «Закреплять посты». Пост удаляется после срока — ещё «Удалять чужие посты». По @-имени и через «Добавить участника» бот не находится.
- 3
Перешлите боту любой пост
В ответе нажмите «Привязать в MAXimeter» — канал подтвердится сам.
Бота в канал добавить нельзя? Добавьте в описание канала ссылку на свою витрину MAXimeter и перешлите Чатератору любой пост из канала. Рекламу в таком канале вы будете публиковать сами.
Публикации канала
- 6
LiteLLM или OmniRoute: какой шлюз для больших языковых моделей (LLM) поставить на свой сервер? И LiteLLM, и OmniRoute дают одну конечную точку (endpoint), совместимую с интерфейсом OpenAI, для разных моделей. Но рассчитаны они на разные сценарии. В нашем тесте платформа LiteLLM с двумя рабочими процессами показала 130 обычных запросов в секунду и 38,5 — потоковых. Платформа OmniRoute — 36 и 25 соответственно; с поправкой на разницу в оборудовании — порядка 56 и 37. Однако скорость здесь не самый важный параметр. Платформа LiteLLM лучше подходит для команд: у нее есть отдельные ключи, бюджеты, учет расходов в базе данных Postgres, резервные модели и масштабирование через несколько рабочих процессов (workers). Платформа OmniRoute — это скорее вариант для отдельного разработчика, который …
Читать целиком2663 миллиарда долларов США на вычислительные мощности для ИИ: ставка не только на графические процессоры (GPU) Для Anthropic готовят инфраструктуру на базе специализированных ИИ-ускорителей (XPU) и сетевых решений Broadcom. Финансирование сделки оценивается в 63 миллиарда долларов США, а поставки оборудования должны начаться в 2027 году. Среди прочего в рамках сделки планируют создать специальную проектную компанию, которая займется закупкой специализированных ускорителей XPU и сетевых решений Broadcom, а затем передаст их в лизинг Anthropic. Наш вывод: рынок ИИ-вычислений становится разнообразнее. Для крупных нагрузок все важнее становятся специализированные ускорители, сетевые решения и архитектуры, спроектированные под конкретные задачи. Меняется и сама модель финансирования инфрастру…
Читать целиком29В Open WebUI уже есть дополненная генерация на основе поиска (RAG) и инструменты. Зачем тогда писать пайп (pipe)? Если коротко, то потому, что «включить инструменты» не равно «получить предсказуемого ИИ-бота». В новой статье в нашем блоге разбираемся, почему так вышло и как пайп помогает решить эту проблему. В HOSTKEY начинали со стандартных настроек платформы OpenWebUI: собственная модель, база знаний, инструменты, подключенные по протоколу вызова внешних инструментов моделями ИИ (MCP). На практике модель могла проигнорировать вызов инструмента (tool call), смешать данные из дополненной генерации на основе поиска (RAG) с актуальными данными из системы или вернуть голый вызов инструмента без готового ответа. В новой статье показываем, как пайп превращает это в управляемый конвейер: • о…
Читать целиком33Один локальный ИИ-шлюз вместо множества отдельных подключений В каталоге HOSTKEY появилась платформа OmniRoute — бесплатный шлюз с открытым исходным кодом для работы с моделями искусственного интеллекта (ИИ), который можно развернуть локально на своем сервере. Платформа OmniRoute дает единую конечную точку (endpoint), совместимую с интерфейсом OpenAI, и может маршрутизировать запросы между разными поставщиками и моделями искусственного интеллекта. Она также поддерживает переключение на резервные модели (fallback), управление квотами и локальную работу через собственную инфраструктуру. OmniRoute прежде всего подойдет тем командам, которые используют несколько сервисов на основе искусственного интеллекта, ведь она снижает количество отдельных интеграций и дает больше контроля над тем, как…
Читать целиком25Максимальная производительность или легкость внедрения? Компания Dell сравнила два сервера на ускорителях AMD Instinct в тесте MLPerf Inference 6.1. Как показали тесты, ускоритель MI350P в сервере PowerEdge XE7745 показывает примерно 40–50% от производительности ускорителя MI355X. При этом MI350P выпускается в формате карты расширения (PCIe) и не требует специализированного жидкостного охлаждения. Ну а сервер с ним можно встроить в более привычную инфраструктуру центра обработки данных (ЦОД). Это позволяет получить большую часть вычислительной мощности топового ИИ-ускорителя без необходимости строить дата-центр под него. Наш вывод: если нужна максимальная плотность и производительность, стоит присмотреться к MI355X, а если важнее достаточно простое внедрение, то лучше выбирать MI350P, с…
Читать целиком21
Похожие ресурсы в категории «IT и технологии»
Все каналы категории →Популярные публикации канала
- 💎 Несмотря на огромный дефицит, нам удалось достать несколько карт NVIDIA GeForce RTX ...
- После часового созвона часто остается странное чувство: вроде говорили много, а «что ре...
- Reuters Breakingviews: у Китая заметные преимущества в экономике «вывода моделей»
- Подобрали самые выгодные предложения этой недели по серверам в России
- В маркетплейсе HOSTKEY доступен Nginx — веб-сервер и обратный прокси-сервер, который сл...
- Документация почти всегда отстает от кода. Особенно когда у вас десятки панелей, устано...