15 способов подготовить данные перед обучением ML. А какой выбрать?
15 способов подготовить данные перед обучением ML. А какой выбрать? Ох, непростой это вопрос для новичка в машинном обучении! Да и опытного специалиста порой может поставить в тупик. Ведь когда долго работаешь с похожими задачами, привыкаешь к определённым инструментам и решениям. А потом появляется новый датасет, и привычная схема уже не работает. Казалось бы, до боли всё знакомо и просто, загрузили данные, обработали пропуски и можно обучать модель. Но один признак измеряется десятками, другой тысячами, а у третьего длинный хвост распределения и выбросы. И что с этим делать? Для проще наглядности Нейроманка, как ботаник, собрала все 15 подходов к масштабированию, нормализации и преобразованию данных, от знакомых StandardScaler и MinMaxScaler до Robust Scaling, Box-Cox, Yeo-Johnson и Whitening. Но сразу хотим заметить, универсального решения здесь - нет. Почему? А чтобы жизнь медом не казалась😇 Хотя если честно, просто невозможно заранее гарантировать, какое преобразование даст наилучшее качество на конкретном датасете. Да и для KNN и SVM масштаб признаков может быть критичен, а вот деревьям решений и многим бустингам стандартное масштабирование зачастую вообще не требуется. В общем именно поэтому важно знать не просто всё математическое добро, но и понимать, когда и зачем применять каждый метод, и не забывать об утечке данных при подготовке обучающей выборки. 📚 Для удобства мы решили дополнить визуализацию практикой и подготовили PDF с объяснениями, примерами на Python и рекомендациями по выбору методов. Никаких подписок, кодовых слов и танцев с ботами. PDF прикрепили прямо к публикации. Скачивайте и пользуйтесь! #MachineLearning #DataScience #Python #ScikitLearn #ПредобработкаДанных #Масштабирование #Нейроманка