RAG | Нейросети | ИИ | AI | Агенты | Gemini 4 Argon | DeepSeek V4.1 | Claude Opus 5.5 | GPT-6 Astra | Kimi K3.1 | Muse Wonder | Nemotron 3.5 | Qwen 4 | DeepInfer | GLM-5.3 | Grok 4.7 | llm-d 1.0
IT и технологии · 24 октября 2026 г.
В разделе «Из песочницы» на Хабре — русская GPT на 112 млн параметров, целиком на PyTor...
В разделе «Из песочницы» на Хабре — русская GPT на 112 млн параметров, целиком на PyTorch: свой байтовый BPE на 16 384 токена, контекст 768, претрейн, SFT с лоссом только по ответам, KV-cache, Telegram-бот. BPC на отложенных 600 000 знаках против ruGPT3-small: веб 1,18 против 1,07, статьи 1,02 против 0,93, диалоги 0,92 против 0,98. Перевес только на диалогах. После SFT диалоги 0,91, а веб и статьи ухудшились до 1,22 и 1,07. Автор сам оговаривает: токенизаторы и контексты разные, это не лидерборд. Код и веса — Apache-2.0. habr.com/ru/articles/1098612/