R
RAG | Нейросети | ИИ | AI | Агенты | Muse Spark Open | Muse Wonder | Claude Haiku 5.5 | Mistral Large 4 | Gemini 4 Argon | Nemotron 3.5
IT и технологии · 15 сентября 2026 г.
Обычная LLM читает текст токенами и гадает следующий токен. Shanghai AI Lab и LUMIA Lab...
Обычная LLM читает текст токенами и гадает следующий токен. Shanghai AI Lab и LUMIA Lab SJTU предлагают смотреть выше: предсказывать и следующее «понятие» в латентном пространстве, где смысл уже сжат. NCP-ArchPreview на 8,9B учит обе задачи сразу. По заявлению авторов, до финального лосса OLMo-3-7B хватает 51% токенов, вдвое дешевле по бюджету обучения. Веса Apache-2.0, обучающий код пока не выложен. Это превью архитектуры, а не релиз. На HumanEval и ARC вторая стадия даже просела. Но идея предугадывать понятия, а не только слова, из тех, за которыми стоит последить.
25 просмотров