R

RAG | Нейросети | ИИ | AI | Агенты | Mistral Large 4 | GPT-6.1 Terra | Gemini 4 Carbon | Kimi K3.1 Pro | LFM3 | Flint | Claude Haiku 5.5 | DeepSeek V4.1 | Grok Voice 3.0 | GLM-5.3 | Muse Wonder

IT и технологии · 31 июля 2026 г.

Открыть канал в MAX

Запихали 1700 токенов в один эмбеддинг — текст восстанавливается, а модель тупеет до ну...

Запихали 1700 токенов в один эмбеддинг — текст восстанавливается, а модель тупеет до нуля. AIRI (ICML 2026) нашли причину: crammed-эмбеддинг глушит смысл в первых слоях трансформера. Progressive Cramming решает это иначе. Наращиваешь токены по одному до предела сжатия. Llama-3.1-8B (Meta*) держит 1438 токенов. Плата — инференс вдвое медленнее. * Meta Platforms Inc. признана экстремистской организацией, её деятельность в РФ запрещена. Facebook и Instagram принадлежат Meta.