NaiveAI открыла 309B-модель без полного внимания
NaiveAI открыла 309B-модель без полного внимания NaiveAI 27 сентября выложила веса Naive-N0.5-Flash: открытая MoE-модель (смешение экспертов — на шаг работает часть сети) на 309 млрд параметров, активны 15,5 млрд. Контекст — 1 млн токенов. Лицензия — MIT. Обычные модели смотрят на весь текст сразу. Здесь полного внимания нет: короткое окно и отбор важных фрагментов. База — открытая MiMo-V2.5 от Xiaomi, затем ещё 3,25 трлн токенов. Авторы пишут, что модель собирали сами нейросети. Движок NaiveRT, по их данным, даёт до 2 000 токенов в секунду. Веса — около 315 ГБ. Независимых замеров нет, API не запущен. Ставка — на длинный контекст и открытый код. Источники: https://naive.ai/en/research/ https://huggingface.co/NaiveAI/Naive-N0.5-Flash-FP8 #AI #NaiveAI #OpenSource #MoE #LLM #Xiaomi