R

RAG | Нейросети | ИИ | AI | Агенты | Gemini 4 Argon | Mistral Large 4 | Muse Wonder | Claude Haiku 5.5 | GPT-6 Sol | Claude Opus 5.5

IT и технологии · 14 октября 2026 г.

Открыть канал в MAX

Классификация и поиск обычно требуют двух моделей — классификатор плюс эмбеддер. UltraB...

Классификация и поиск обычно требуют двух моделей — классификатор плюс эмбеддер. UltraBERT (Korea University) закрывает обе одним энкодером: 150M влезает на CPU, есть 380M, контекст 32K, Apache-2.0. Трюк в претрейне: в батче смешаны куски с маскированием 5% и 50%, и у каждого своя голова. Классификации нужен низкий ratio, поиску — высокий. 380M даёт GLUE 91.0 и BEIR 47.7.