Калибровка против разделения: как выбрать лучшую модель
Калибровка против разделения: как выбрать лучшую модель В машинном обучении ошибку системы часто раскладывают на bias, variance и noise. Но есть и другой подход: в задачах вероятностной классификации loss можно разложить на калибровку и разделение (refinement). Калибровка показывает, насколько точно модель оценивает вероятности. Например, если модель говорит, что вероятность принадлежности к классу 1 — 80%, то сколько из образцов действительно будут относиться к этому классу? Разделение же отражает способность модели чётко разграничивать классы. Проблема в том, что улучшение loss не всегда означает улучшение разделения. Иногда оно достигается за счёт лучшей калибровки, которую потом можно поправить post-hoc методами. Поэтому остановка обучения по лоссу на валидации может привести к выбору неоптимального чекпойнта. Авторы предлагают решение: сохранять несколько чекпойнтов, калибровать их одинаковым методом и только потом сравнивать по loss. Это позволяет выбрать модель с лучшей разделяющей способностью. Подход проверили на датасетах для компьютерного зрения и 196 табличных датасетах — результаты оказались успешными.