Meta переписала закон масштабирования
Meta переписала закон масштабирования Классические законы масштабирования считают, что размер модели и объём данных влияют на ошибку независимо. В новой работе Meta связывают их через единый параметр взаимодействия. Дополнительный член снижает среднюю абсолютную процентную ошибку в 1,5–3 раза — и при интерполяции, и при экстраполяции. Особенно заметно там, где данных мало или модель переобучают: стандартные Chinchilla и Kaplan тут промахиваются. С разреженной сеткой небольших запусков метод экстраполирует картину примерно в 10 раз дешевле по вычислениям, чем равномерный перебор. Модели часто обучают за пределами классического оптимума. Если закон точен и там, его можно оценить на малых запусках — это меняет планирование бюджета на предобучение. Подробнее — в статье на arXiv.