Фантомные приросты: аудит показал, что самообучение LLM часто создаёт иллюзии
Фантомные приросты: аудит показал, что самообучение LLM часто создаёт иллюзии Исследователи из Университетского колледжа Дублина и других вузов проверили популярные методы самообучения больших языковых моделей и обнаружили: многие заявленные «улучшения» — артефакты измерений, а не реальный прогресс. Команда прогнала три раунда LoRA-самообучения (метод дообучения с низким рангом) на Qwen3-8B и сравнила с замороженным контролем, прошедшим тот же пайплайн. Выявили семь типичных ошибок измерений. Без нулевого контроля (measured null) даже необученная модель «приобретала» способности — просто из-за особенностей сэмплирования и батчинга. Статистика expansion, которую часто используют, присваивала такому контролю прирост 0,280. Новый точный тест с контролем ложных открытий на пуле базовых реплик ничего не обнаружил на отложенных выборках. Внешняя дистилляция действительно помогала моделям решать редкие задачи, а три варианта самообучения — нет. Более того, самообучение чаще портило уже решённые задачи. Это важно: переходный аудит (tracking gains and losses по отдельным задачам) требует отдельного измеренного нуля для каждой статистики. Иначе мы рискуем принять шум - за прогресс(!) Источники: https://arxiv.org/abs/2608.20290 #AI #LLM #SelfImprovement #MachineLearning #AIResearch #Qwen