В парсинге сайтов есть момент, о котором редко задумываются, пока не приходится собират...
В парсинге сайтов есть момент, о котором редко задумываются, пока не приходится собирать данные в больших объемах. Сам парсер может работать отлично, но сайт в какой-то момент начинает ограничивать запросы с одного IP. И дальше уже неважно, насколько хорошо написан код :) Особенно это заметно при мониторинге цен, сборе информации с маркетплейсов и работе с зарубежными площадками. Там ещё добавляется география: один и тот же сайт может показывать разные цены, товары и даже страницы в зависимости от страны посетителя. Получается, что для парсера важно не только какие данные собирать, но и откуда за ними заходить. Сам скрипт может работать на сервере в России, а запросы отправлять через IP из Германии или США. Такое можно организовать через MangoProxy, не поднимая отдельные серверы в каждой стране. И уже смотреть, какие данные сайт отдаёт для конкретного региона. И тут интересный момент: иногда проблема вообще не в блокировках. Например, если нужно сравнить ассортимент интернет-магазина в США и Бразилии, запросы с одного российского сервера могут просто не показать нужную картину. Сайт определяет регион посетителя и отдает соответствующую версию. При работе с зарубежными сайтами география IP бывает не менее важна, чем сам парсер.