RAG | Нейросети | ИИ | AI | Агенты | Mistral Large 4 | DeepSeek | Qwen 27B | GLM-5.3 | Kimi K3 | GPT-6 Astra
IT и технологии · 24 сентября 2026 г.
Файнтюны хвастаются семью задачами: ARC-Challenge, ARC-Easy, BoolQ, HellaSwag, OpenBook...
Файнтюны хвастаются семью задачами: ARC-Challenge, ARC-Easy, BoolQ, HellaSwag, OpenBookQA, PIQA, WinoGrande. Все они вышли в 2018–2020, и все это выбор из вариантов. Кода, длинного контекста, работы с инструментами в наборе нет. Контекст «1M» при этом проверяют перплексией с блоком в 512 токенов. tokens/sec в такой таблице — скорость подсчёта метрики, а не генерации. «Без цензуры» при шести отказах из ста в собственной таблице звучит неубедительно. Числа бывают честными. Вывод из них часто шире данных.
6 просмотров