Как обойти бан по IP при парсинге сайтов

Сайт банит IP, когда трафик с одного адреса превышает порог по объему запросов или поведению, который система защиты от ботов считает автоматизированным. Обычный посетитель за минуту открывает несколько страниц, кликает по ссылкам и делает паузы между действиями. Скрипт, который бьет по десяткам URL в секунду, пропускает картинки и стили или запрашивает страницы с подозрительно ровным ритмом, выглядит совсем иначе.

Системы защиты от ботов смотрят сразу на несколько сигналов, а не только на скорость запросов. Пропущенные или несовпадающие заголовки, отсутствие referer при переходах внутри сайта и User-Agent, который не совпадает с реальным поведением клиента, повышают подозрение. Большое число запросов с одного IP вместе с любым из этих сигналов почти всегда приводит к бану.

Сайты банят IP, чтобы защитить мощность сервера и замедлить массовый сбор данных, который могут использовать конкуренты или перепродавцы. Под удар попадает именно IP-адрес, потому что это самый дешевый сигнал, который сервер может проверить на каждом входящем запросе, еще до того, как он посмотрит на более глубокие сигналы вроде cookie или отпечатка устройства.

Если вы только начинаете работать с прокси, сначала разберитесь, что такое прокси-сервер, а уже потом настраивайте тактики против банов: способ борьбы с баном по IP зависит от того, что именно измеряет сайт. Исправить бан по IP значит поменять сам IP, паузу между запросами или и то, и другое, а не просто ждать и надеяться, что старый паттерн снова сработает.

Один подозрительный запрос сам по себе редко приводит к бану. Системы защиты от ботов следят за поведением в скользящем окне времени на каждый IP, поэтому один странный запрос просто теряется среди остальных, а вот устойчивый паттерн странных запросов -- нет. Именно поэтому парсер, который час работал нормально, вдруг начинает падать: заполнилось окно наблюдения, а не сайт внезапно поменял правила посреди работы.

Пул ротируемых прокси обходит бан по IP, назначая новый IP-адрес на каждый исходящий запрос, поэтому целевой сайт видит каждый раз нового посетителя, а не один адрес, который делает тысячи запросов подряд. Это самый эффективный способ борьбы с банами по репутации IP, потому что ни один отдельный адрес не успевает накопить столько запросов, чтобы выглядеть автоматизированным.

Пул резидентных прокси в этом случае работает лучше всего, потому что его IP принадлежат реальным подписчикам интернет-провайдеров и несут более высокий уровень доверия, чем адреса дата-центров. IP дата-центров дешевле и быстрее, но их помечают раньше при устойчивом объеме запросов, потому что системы защиты от ботов и так с подозрением относятся к известным диапазонам хостинг-провайдеров.

Backconnect-шлюз берет ротацию на себя автоматически. Скрипт отправляет каждый запрос на один и тот же адрес шлюза, а шлюз за кулисами меняет исходящий IP по расписанию, которое вы задаете сами: на каждый запрос, раз в несколько запросов или в режиме sticky-сессии на несколько минут, когда странице нужен один и тот же IP на протяжении короткой последовательности шагов, например при входе в аккаунт.

Подбирайте размер пула под задачу. Небольшая ежедневная выгрузка данных требует куда меньше IP, чем непрерывный конвейер на тысячи запросов в час. Чем больше пул за шлюзом, тем дольше не повторится один и тот же IP на одном и том же сайте.

Более медленный и случайный темп запросов предотвращает большинство будущих банов по IP, потому что трафик парсера начинает выглядеть как поведение реального посетителя, а не автоматического скрипта. Всплеск из десятков запросов в секунду на один домен легко заметит любая система защиты от ботов, каким бы большим ни был пул прокси за ним.

Добавьте случайную паузу между запросами: 1-5 секунд для обычных сайтов, 3-10 секунд для сайтов с агрессивной защитой от ботов. Меняйте паузу каждый раз, а не используйте одно фиксированное число, потому что идеально ровный интервал сам по себе выглядит как признак бота. Распределяйте параллельные запросы между несколькими доменами, а не концентрируйте их на одном, чтобы ни один сайт не увидел резкий всплеск трафика с вашего пула IP сразу.

Когда запрос падает, не повторяйте его сразу: сделайте паузу подольше. Подождите 2 секунды, потом 4, потом 8, потом 16, если ошибки продолжаются -- это называется экспоненциальной задержкой. Следите за долей успешных запросов на каждый сайт со временем. Падающая доля успеха -- ранний сигнал замедлиться еще сильнее, прежде чем начнется полный бан.

Посмотрите, как работает шлюз с ротацией прокси от начала до конца, и сравните тарифы на странице цен, прежде чем масштабировать стратегию пауз на больший пул IP. Пауза между запросами и ротация работают вместе -- ни один из способов по отдельности полностью не предотвращает бан.

Проверяйте лог доли успешных запросов каждую неделю, а не только когда парсер падает целиком. Если доля успеха на каком-то сайте тихо снижается несколько дней подряд, это сигнал замедлиться, пока тренд не перерос в полный бан по всему пулу IP.