Как настроить прокси в Python

requests -- самая распространённая HTTP-библиотека в Python, и прокси в ней настраиваются через обычный словарь. Ключи http и https указывают на один и тот же адрес прокси-шлюза, а логин с паролем передаются прямо в URL.

import requests

proxy_url = 'http://USER:PASS@gw.knoxproxy.com:7000'
proxies = {
    'http': proxy_url,
    'https': proxy_url,
}

# Прокси на один запрос
response = requests.get('https://httpbin.org/ip', proxies=proxies, timeout=30)
print(response.json())

# Прокси на уровне сессии -- удобно для многих запросов подряд
session = requests.Session()
session.proxies.update(proxies)
for url in urls:
    r = session.get(url, timeout=30)

Настройка на уровне сессии предпочтительна при обходе десятков или сотен страниц: сессия переиспользует пул TCP-соединений и не заставляет повторять proxies в каждом вызове. Это особенно заметно при парсинге каталогов маркетплейсов вроде Wildberries или Ozon, где скрипт делает сотни запросов подряд.

aiohttp -- самая распространённая асинхронная HTTP-библиотека в Python, её часто используют вместе с asyncio для парсинга на большой скорости. В отличие от httpx, прокси в aiohttp указывается отдельно в каждом запросе, а не один раз на клиента.

import aiohttp
import asyncio

async def fetch(url):
    proxy = 'http://USER:PASS@gw.knoxproxy.com:7000'
    async with aiohttp.ClientSession() as session:
        async with session.get(url, proxy=proxy, timeout=aiohttp.ClientTimeout(total=30)) as resp:
            return await resp.text()

# Параллельные запросы с разными выходными IP
async def scrape(urls):
    proxy = 'http://USER:PASS@gw.knoxproxy.com:7000'
    async with aiohttp.ClientSession() as session:
        tasks = [session.get(url, proxy=proxy) for url in urls]
        responses = await asyncio.gather(*tasks, return_exceptions=True)
        return responses

Чтобы не дублировать строку с прокси в каждом вызове, вынесите её в отдельную функцию или конфигурационный файл. При больших объёмах парсинга это упрощает смену прокси-провайдера в одном месте вместо правки всего кода.

Python -- самый частый выбор для парсинга маркетплейсов (Wildberries, Ozon, Avito) и автоматизации в соцсетях, потому что requests, httpx и aiohttp покрывают весь диапазон задач: от простого GET-запроса до параллельного сбора тысяч страниц. Для таких задач важно не только настроить прокси в коде, но и выбрать правильный тип прокси под нагрузку.

Резидентные прокси -- это IP-адреса, которые интернет-провайдер выдаёт реальным домашним подключениям. Они реже попадают под блокировку антибот-систем маркетплейсов и соцсетей, чем адреса дата-центров, потому что выглядят как обычный трафик живого пользователя. У KnoxProxy резидентные прокси доступны от $2.10/ГБ и покрывают 195+ стран, что даёт геотаргетинг парсинга на нужный регион.

Для задач без строгой антибот-защиты, например мониторинга цен на собственном сайте, дата-центровые прокси от $0.60/ГБ обходятся дешевле при том же коде на Python. Смена типа прокси не требует переписывать код выше -- меняется только адрес шлюза, логин и пароль.