Новые модели с открытым кодом фокусируются на эффективности длинного контекста. Gemma 4...
Новые модели с открытым кодом фокусируются на эффективности длинного контекста. Gemma 4 применяет кросс-слойное разделение KV-кэша: последующие слои переиспользуют тензоры ключей и значений из предыдущих слоев, экономя память. Laguna XS.2 использует бюджетирование внимания по слоям. ZAYA1-8B внедряет сжатое сверточное внимание. DeepSeek V4 комбинирует метод mHC (multi-head caching) со сжатием внимания. Эти изменения снижают затраты на вычисления и трафик памяти, что критично для reasoning-моделей и агентов. 🔹 Первый Нейронный
14 просмотров
Канал в каталоге Максиметера
5 подписчиков · IT и технологии