🧠 Гибридный ИИ обещал дешёвый контекст. Тест показал нюансы
🧠 Гибридный ИИ обещал дешёвый контекст. Тест показал нюансы Что произошло. 31 июля на Хабре вышло практическое исследование: автор арендовал две RTX 3090 и устроил очную ставку двум языковым моделям (LLM — нейросетям, которые читают и пишут текст как человек): классической Qwen3 и гибридной Qwen3.5. В чём суть. Обычные трансформеры помнят диалог «блокнотом»: на каждый токен (кусочек текста) — отдельная запись, память растёт вместе с контекстом. Гибрид заменил 24 из 32 слоёв на «доску, которую частично стирают» — рекуррентное состояние фиксированного размера (Gated DeltaNet). Идея: память перестаёт расти с длиной диалога → длинный контекст дешевеет. Что показал тест. На токен гибрид тратит 36 КБ против 144 КБ у классики, ёмкость кеша выше в 3.2 раза. Но на самом частом сценарии — короткий диалог с общим системным промптом — гибрид проигрывает: 84% попаданий в кеш против 94%, первый ответ медленнее (99–109 мс против 58–61 мс). Виновник — блок кеша: движок поднял его с 16 до 528 токенов, совпадения считаются в 33 раза грубее. Вывод. Гибрид окупается на длинных контекстах и множестве одновременных сессий. Для коротких чатов классика пока быстрее. Технология молодая — но такие замеры показывают, куда движется индустрия. А вы уже тестировали модели с длинным контекстом? На чём споткнулись? 👇 #ИИ #LLM #МашинноеОбучение