R

RAG | Нейросети | ИИ | AI | Агенты | GPT-6.1 Terra | Gemini 4 Carbon | Mistral Large 4 | Claude Opus 5.5 | Kimi K3.1 Pro | LongCat-2.5 | DeepSeek V4 | Genie 4 | Claude Duet | FLUX 3 Max | Hydrogen-1.0

IT и технологии · 29 июля 2026 г.

Открыть канал в MAX

Разным слоям — разное внимание. Корейцы из VIDRAFT проверили гипотезу в Aether-7B-5Attn...

Разным слоям — разное внимание. Корейцы из VIDRAFT проверили гипотезу в Aether-7B-5Attn: 49 слоёв, пять механизмов внимания на латинском квадрате 7×7 — NSA, Sliding Window, полное внимание. 6.6B параметров (MoE), 144B токенов. Но интереснее другое: это первая полностью открытая корейская LLM — веса, код, рецепт данных, 162K шагов логов, все чекпоинты. Препарируй от и до. #Aether #OpenSource #LLM