ERNIE 5.5 Flash Base
ERNIE 5.5 Flash Base Открытая базовая модель Baidu: чекпоинт сразу после предобучения, без посттренировки. Разреженная MoE на 280 млрд параметров, из которых 14 млрд активны на токен. • Обучена с нуля на 33,5 трлн токенов • Контекст 128 тысяч при обучении и до миллиона при дообучении и инференсе • Никакой инструкт-тюнинг не навязан: стартовая точка для своих методов • Гибридное внимание: один слой из семи держит полный контекст, остальные сжимают историю в 128 раз • В этих полносвязных слоях еще и разреженное внимание по top-k, чтобы цена не росла с длиной • MoE с несколькими роутерами: 512 экспертов, выбираются десять плюс один общий • Ошибки одного роутера больше не решают выбор, маршрутизация устойчивее к шуму • Узкие головы в дорогих слоях, широкие в дешевых hf.co/baidu/ERNIE-5.5-Flash-Base #flagship
Канал в каталоге Максиметера
214 подписчиков · IT и технологии