RAG | Нейросети | ИИ | AI | Агенты | GPT-6.1 Sol | GPT-6 Astra | Gemini 4 Argon | Claude Haiku 5.5 | Muse Wonder | MiniMax M3.1 Flash | DeepSeek V4.1 | DeepInfer | Mercury 3 | Beam 1.0 | Nemotron 3.5
IT и технологии · 22 октября 2026 г.
Грейдер португальских эссе на Qwen3-4B писал в среднем 350 токенов, после пересборки сл...
Грейдер португальских эссе на Qwen3-4B писал в среднем 350 токенов, после пересборки словаря под один домен — 101. В VocabX те же база, данные и рецепт обучения, меняется только токенизатор. На том же железе стоимость прогона на vLLM упала на 77%, качество выросло с 0,703 до 0,810. Причина в decode: на каждом выходном токене модель заново читает матрицу LM head (почти 10% параметров Qwen3-4B) и KV-кэш. В их замере такой токен стоил 7,4 входного. Цена метода — переобучение под новый словарь. Это один кейс на RTX 5090, статья в подготовке, кода нет.