Перейти к содержимому
Максиметер

vLLM 0.26: KV-оффлодинг вышел из беты — кеш уезжает на диск, экономя VRAM. fp32 lm_head...

vLLM 0.26: KV-оффлодинг вышел из беты — кеш уезжает на диск, экономя VRAM. fp32 lm_head без допрасхода памяти — качество выше. Rust-фронтенд с видео/аудио. DeepSeek-V4 ускорили. Обновляйтесь! #vLLM #инференс

39 просмотров

Канал в каталоге Максиметера

14 подписчиков · IT и технологии

Другие публикации канала

Популярные публикации канала

Ещё по теме «IT и технологии»

Читать дальше

Два раза в неделю свежие посты этого канала — на почту и в личную ленту. Без повторного поиска канала вручную.