R
RAG | Нейросети | ИИ | AI | Агенты | GPT-6 Luna | Gemini 4 Argon | Claude Haiku 5.5 | Mistral Large 4 | Muse Wonder | Claude Fable 5.5
IT и технологии · 6 августа 2026 г.
Загрузил 7B на GPU — влезла. Десять сообщений спустя OOM. Виноват KV-кэш: модель помнит...
Загрузил 7B на GPU — влезла. Десять сообщений спустя OOM. Виноват KV-кэш: модель помнит ключи и значения всех токенов. На 128K контекста Llama 3 8B (разработчик — Meta*) съедает под кэш 16 ГБ — больше самой модели. Квантизация (Q8 вдвое почти без потерь), лимит контекста, GQA-модели. И не верьте «supports 128K» на карточке — на вашей GPU оно не взлетит. * Meta Platforms Inc. признана экстремистской организацией, её деятельность в РФ запрещена.
40 просмотров