🤖 AirLLM: большие языковые модели на видеокартах с малым объёмом памяти
🤖 AirLLM: большие языковые модели на видеокартах с малым объёмом памяти Библиотека AirLLM запускает крупные LLM на GPU с небольшим VRAM. Без квантования, дистилляции и обрезки весов: модель загружается в память послойно, а у MoE-моделей в VRAM передаются только нужные эксперты. Требования к памяти в итоге зависят от размера одного слоя, а не всей модели. Поддерживаются Llama, Qwen, DeepSeek, Mistral и Gemma. Блочное сжатие ускоряет инференс до 3 раз. Подойдёт тем, кто хочет гонять большие модели локально на Linux или Apple Silicon без мощной видеокарты. Полная статья: https://clck.su/HWJqE 🔗 Полная версия: https://belskii.com/news/airllm-bolshie-yazykovye-modeli-na-videokartakh-s-malym-obem/ 🗓 2026-08-30 · #ИИ #LLM #OpenSource
21 просмотров