Пик сезона? Пора ускоряться

-25 на резидентские прокси
–15% на резидентские прокси Light

Пик сезона? Пора ускоряться

Запасайтесь трафиком выгоднее! 

-25 на резидентские прокси
–15% на резидентские прокси Light
НАЧАТЬ

HTTP_PROXY, HTTPS_PROXY, ALL_PROXY и NO_PROXY: как работают переменные прокси

HTTP_PROXY, HTTPS_PROXY, ALL_PROXY и NO_PROXY: как работают переменные прокси

Короткий ответ

HTTP_PROXY и HTTPS_PROXY сообщают программе, какой прокси использовать для HTTP- и HTTPS-адресов назначения. ALL_PROXY задает запасной вариант там, где клиент его поддерживает, а NO_PROXY перечисляет адреса, к которым следует обращаться без прокси. Эти переменные действуют через настройки конкретной программы: сами по себе они не перенаправляют весь трафик компьютера.

Запись HTTPS_PROXY=http://proxy.example.com:8080 допустима. Имя HTTPS_PROXY относится к HTTPS-сайту, который вы открываете, а http:// в значении описывает подключение к прокси. Чтобы настройка сработала, программа должна получить переменную, поддерживать ее и применить к нужному запросу.

Главное

  • Начинайте с программы, которая выполняет запрос: curl, Python Requests и встроенные HTTP-клиенты Node.js читают окружение по-разному.
  • Для curl используйте http_proxy в нижнем регистре; в Linux и macOS HTTP_PROXY не заменяет эту переменную.
  • В NO_PROXY лучше начать с необходимых имен и отдельных IP, а поддержку масок и подсетей проверить отдельно.
  • Изменение окружения в терминале не обновляет настройки уже работающего приложения или контейнера.
  • Успешный ответ сервера еще не показывает, был ли выбран прокси. Проверяйте маршрут и выходной IP отдельно.

Что именно настраивают переменные прокси?

Они передают параметры приложению, которое умеет их читать. Например, оболочка запускает curl и передает ему свое окружение – набор строк с именами и значениями. Curl находит подходящую переменную и решает, как установить соединение.

Представьте две команды, запущенные из одного терминала. Первая использует окружение и подключается к прокси. Вторая работает через библиотеку с отдельной конфигурацией и обращается к сайту напрямую. Наличие одинаковых переменных у обоих процессов не исключает такой результат.

Поэтому настройка через окружение отличается от настройки прокси в параметрах операционной системы. Это разные источники конфигурации. Какой из них использует приложение, определяет его реализация, а иногда и выбранная библиотека внутри приложения.

Как различаются HTTP_PROXY и HTTPS_PROXY?

Имя переменной обычно выбирают по схеме целевого URL. Для http://example.com клиент ищет настройку HTTP-прокси, а для https://example.com – настройку HTTPS-прокси. Это не требование использовать два разных сервера: обе переменные могут содержать один адрес.

При чтении значения нужно различать два участка соединения:

Программа → прокси: протокол задается в URL прокси.

Программа → целевой сайт через прокси: протокол задается в URL сайта.

Если HTTPS_PROXY содержит http://proxy.example.com:8080, программа сначала подключается к обычному HTTP-прокси. Для HTTPS-сайта поддерживающий такую схему клиент запрашивает туннель методом CONNECT и затем устанавливает TLS-соединение с сайтом внутри туннеля.

При обычном туннелировании без перехвата TLS содержимое HTTPS-запроса защищено на участке между клиентом и сайтом. Но само соединение с HTTP-прокси не становится HTTPS: например, данные базовой авторизации прокси не получают защиту от TLS сайта.

Значение https://proxy.example.com:8443 означает другой вариант: TLS используется и для соединения с самим прокси. Выбирать такую схему следует только для сервера и порта, которые действительно ее поддерживают. Замена http:// на https:// в строке не добавляет эту возможность серверу.

Зачем нужен ALL_PROXY?

ALL_PROXY позволяет указать резервный прокси для запросов, у которых не выбрана более конкретная настройка. Так работает, например, curl: переменная нужной схемы имеет приоритет над ALL_PROXY.

Допустим, в окружении curl заданы два значения:

text
https_proxy=http://proxy-a.example.com:8080
all_proxy=http://proxy-b.example.com:8080

При обращении к HTTPS-сайту curl выберет proxy-a. Для HTTP-сайта, если http_proxy не задан и других настроек нет, будет использован proxy-b. Оба случая предполагают, что адрес назначения не исключен через no_proxy. Это выбор при отсутствии настройки нужной схемы, а не автоматическое переключение на proxy-b при отказе proxy-a.

ALL_PROXY не означает «любой трафик через прокси». Переменная не заставляет приложение поддерживать новый протокол и не распространяется на программы, которые ее не читают. В частности, встроенный режим прокси из окружения в Node.js документирует HTTP_PROXY, HTTPS_PROXY и NO_PROXY; рассчитывать в нем на ALL_PROXY не следует.

В curl значением all_proxy может быть и SOCKS-адрес, например socks5h://proxy.example.com:1080. Здесь тип подключения задает схема socks5h://, а не имя ALL_PROXY. В curl этот вариант передает поиск IP целевого сайта прокси-серверу. Разница с socks5:// подробнее разобрана в статье «SOCKS5 vs SOCKS5h: где происходит DNS-разрешение?».

Как работает NO_PROXY?

NO_PROXY задает исключения из проксирования, когда клиент применяет настройки окружения. Это полезно, если внешние запросы должны проходить через прокси, а локальный сервер разработки или внутренний API – оставаться доступными напрямую.

Пример списка:

text
localhost,127.0.0.1,::1,internal.example.com,.internal.example.com

В нем отдельно указаны имя localhost, локальные адреса IPv4 и IPv6, внутренний домен и его форма с начальной точкой. Такая запись помогает явно обозначить нужные назначения, но не заменяет проверку правил клиента.

У NO_PROXY нет единого для всех программ синтаксиса сопоставления. Например, curl применяет запись example.com к самому домену и его поддоменам. В документированных правилах .NET HttpClient запись example.com означает точное имя, а .example.com – поддомены без самого домена. Если нужны оба случая, укажите и домен, и форму для поддоменов, затем проверьте результат в своем клиенте.

Символы подстановки также требуют внимания. В curl одиночная звездочка \* означает обход прокси для всех назначений. Запись \*.example.com не является поддерживаемой curl маской для списка исключений, хотя похожая форма есть в других клиентах.

Сетевые диапазоны – еще один отдельный случай. Curl поддерживает CIDR, например 10.0.0.0/8, начиная с версии 7.86.0. Такое правило проверяет IP-адрес назначения в URL: оно не означает, что curl сначала разрешит любое доменное имя и затем сравнит полученный адрес с подсетью. Для внутреннего сервиса, к которому обращаются по имени, добавьте нужное имя явно.

Исключение меняет маршрут соединения, а не права доступа. Если запрос без прокси не может достичь сервера, добавление адреса в NO_PROXY само по себе эту связь не создаст.

Схема выбора curl: совпадение с no_proxy ведет к прямому подключению; иначе проверяются настройка схемы URL и all_proxy, затем используется прямое подключение.

Почему важен регистр и что поддерживают разные клиенты?

В Linux и macOS имена http_proxy и HTTP_PROXY могут существовать как две разные переменные. При несовпадающих значениях результат зависит от клиента. Для совместной работы инструментов проще держать один согласованный набор значений и проверять требуемое написание по их документации.

У curl есть намеренное исключение: для HTTP используется http_proxy в нижнем регистре. Причина связана с CGI – способом запуска серверных программ, при котором заголовки входящего запроса могут превращаться в переменные с префиксом HTTP_. Доверять полученной таким способом HTTP_PROXY было бы небезопасно. Для HTTPS_PROXY и ALL_PROXY curl допускает верхний регистр; поддерживаются и строчные варианты.

На Windows имена переменных окружения нечувствительны к регистру. Поэтому создать независимые HTTP_PROXY и http_proxy с разными значениями по тому же принципу не получится. В командах ниже используется нижний регистр, чтобы запись была узнаваемой и для curl в других ОС.

Краткая памятка по клиентам:

Curl – читает переменные при запуске; поддерживает резервный ALL_PROXY и исключения NO_PROXY. Параметры самой команды могут менять выбор.

Python Requests – по умолчанию использует http_proxy, https_proxy, all_proxy и no_proxy, включая варианты в верхнем регистре. Если настройки переданы самому запросу, выбор нужно оценивать с учетом аргумента proxies. Одного session.proxies недостаточно для изоляции от окружения: значения окружения могут его переопределять.

Встроенные fetch, node:http и node:https в Node.js – для режима окружения требуется включение. Флаг —use-env-proxy доступен в ветке 22.x начиная с 22.21.0 и в ветке 24.x начиная с 24.5.0, а также в последующих поддерживающих версиях. Этот режим использует HTTP_PROXY, HTTPS_PROXY и NO_PROXY. Собственный агент или сторонний пакет может иметь другие правила.

Почему переменная видна в терминале, но программа ее не использует?

Программа должна получить настройку в своем окружении. В обычном сценарии дочерний процесс наследует значения от запускающего процесса, а изменение в другом окне терминала не обновляет его окружение задним числом.

Например, вы запустили редактор, затем изменили https_proxy в отдельном терминале. Задача, которую редактор запускает сам, может продолжать получать прежние значения. Проверять нужно способ запуска этой задачи, а не только текущее окно оболочки.

С контейнерами важно различать окружение приложения внутри контейнера, сборку образа и работу Docker Engine. Настройка одной из этих частей не означает, что остальные получили тот же прокси. Полный разбор Docker – отдельная задача; здесь достаточно проверить, где именно выполняется нужный запрос.

Практические примеры: как задать переменные и проверить запрос?

Для первой проверки используйте действующий HTTP-прокси, его адрес и порт. Если параметры подключения еще не найдены, начните с инструкции «Как узнать адрес прокси-сервера и порт». HOST и PORT в командах ниже – заполнители, которые нужно заменить своими значениями.

Примеры рассчитаны на curl 8.7.0 или новее: в этой версии появился показатель proxy_used. В Windows запускайте именно curl.exe. Начните в отдельном окне терминала, чтобы проверка не меняла привычный рабочий сеанс. Если нужна авторизация, формат учетных данных разобран в ответах на частые вопросы.

Linux и macOS: Bash

Выполните команды в Bash после замены HOST и PORT. Круглые скобки создают отдельное окружение для этого блока: после его завершения настройки родительской оболочки сохранятся.

bash
(
  export http_proxy='http://HOST:PORT'
  export https_proxy="$http_proxy"
  export no_proxy='localhost,127.0.0.1,::1'
  curl -q --silent --show-error --fail --connect-timeout 5 --max-time 20 --write-out '\nproxy_used=%{proxy_used}\n' 'https://api.ipify.org?format=json'
)

Здесь https_proxy выбирает сервер для HTTPS-запроса, а no_proxy оставляет перечисленные локальные назначения вне этого маршрута. Адрес api.ipify.org в список исключений не входит.

Windows: PowerShell

Откройте отдельное окно PowerShell, замените HOST и PORT и выполните блок. Присваивания через $env: относятся к текущему процессу PowerShell и запускаемым им программам. Эти команды не записывают постоянные переменные пользователя или системы.

powershell
$env:http_proxy = 'http://HOST:PORT'
$env:https_proxy = $env:http_proxy
$env:no_proxy = 'localhost,127.0.0.1,::1'
curl.exe -q --silent --show-error --fail --connect-timeout 5 --max-time 20 --write-out '\nproxy_used=%{proxy_used}\n' 'https://api.ipify.org?format=json'

После проверки закройте это окно. Изменения окружения, сделанные только в нем, не перенесутся обратно в родительский процесс.

Как прочитать результат и сравнить его с прямым запросом?

При успешном запросе ipify возвращает JSON с полем ip – публичным IPv4, с которого сервис получил обращение. Дополнительная строка proxy_used=1 означает, что curl использовал прокси для этого переноса данных. Эти наблюдения отвечают на разные вопросы: одно показывает видимый сервису адрес, другое – применение прокси клиентом.

Параметр -q стоит первым, чтобы curl не читал свой пользовательский файл конфигурации. Ограничения времени не дают проверке ждать бесконечно. Если команда завершилась ошибкой, сначала разберите ее: отдельное значение proxy_used без успешного ответа не подтверждает исправный маршрут.

Для контрольного прямого обращения curl может обойти прокси только на время одной команды. В Bash выполните:

bash
curl -q --silent --show-error --fail --connect-timeout 5 --max-time 20 --noproxy '*' --write-out '\nproxy_used=%{proxy_used}\n' 'https://api.ipify.org?format=json'

В PowerShell выполните:

powershell
curl.exe -q --silent --show-error --fail --connect-timeout 5 --max-time 20 --noproxy '*' --write-out '\nproxy_used=%{proxy_used}\n' 'https://api.ipify.org?format=json'

Для успешного прямого обращения ожидается proxy_used=0. Если сеть разрешает выход только через прокси, этот контрольный запрос может завершиться ошибкой – сам по себе такой результат не опровергает успешную проверку прокси.

Сравните IP двух успешных обращений. Разные значения подтверждают различие видимого сервису адреса для этих запросов. Совпадение IP само по себе не доказывает отсутствие прокси: например, локальный прокси может выходить через ту же сеть. Учитывайте и proxy_used. Для прокси с ротацией каждый ответ описывает отдельное обращение, а не постоянный адрес всего сервиса.

Эта проверка относится к curl. Чтобы подтвердить поведение приложения на Python или Node.js, нужно повторить запрос именно в нем. Открытая в браузере страница с IP не проверяет окружение терминального процесса.

Что проверить, если выбран неожиданный маршрут?

Если HTTPS-запрос идет без прокси, проверьте наличие https_proxy: одного http_proxy для curl недостаточно. Затем посмотрите, не подходит ли адрес под no_proxy и не отключена ли работа с окружением в самом клиенте.

Если программа использует другой сервер, проверьте конфликт регистра там, где регистр различается, явные аргументы команды и настройки библиотеки. В curl параметр —proxy задает адрес прокси явно, но исключения все еще могут действовать: наличие —proxy само по себе не отменяет no_proxy.

Если обращение к внутреннему сервису ушло на внешний прокси, сопоставьте точный хост из URL со списком исключений. Особенно внимательно проверьте различие между доменом и поддоменом, IP и именем, а также поддержку CIDR вашей программой.

Если прокси выбран, но запрос не завершился, переходите к адресу сервера, порту, авторизации и доступности назначения. Это уже следующий этап: переменная может быть прочитана правильно, а соединение – завершиться ошибкой.

Примечание к командам

Команды приведены как примеры настройки и диагностики. Перед использованием подставьте собственные параметры и проверьте результат в своей среде. Не публикуйте строки с логином и паролем, содержимое окружения или подробные журналы, которые могут включать данные доступа.

Перейдите к настройке своего приложения

После проверки в curl перенесите только нужные переменные в окружение приложения и проверьте два назначения: внешний ресурс, который должен использовать прокси, и свой адрес из NO_PROXY. Для Python следующий шаг разобран в статье «Как использовать прокси с Python Requests».

Если у вас уже есть подключение MangoProxy, используйте его действующие параметры. Покупать другой прокси ради проверки имен переменных не требуется: сначала убедитесь, что выбранный клиент читает нужную настройку.

Глоссарий

Переменная окружения: именованное строковое значение, доступное процессу и обычно передаваемое запускаемым им дочерним процессам.

HTTP-клиент: программа или библиотека, которая отправляет HTTP-запросы и получает ответы.

URL: адрес ресурса; его схема, например https://, указывает способ обращения.

CONNECT: метод HTTP для создания туннеля через прокси к указанному серверу.

TLS: протокол защиты соединения, используемый HTTPS.

SOCKS5: протокол установления соединений через прокси.

DNS: система, через которую приложения получают IP-адреса по доменным именам.

IP: сетевой адрес; IPv4 и IPv6 – две используемые версии адресации.

CIDR: запись сетевого диапазона с длиной префикса, например 10.0.0.0/8.

CGI: интерфейс запуска серверных программ, в котором данные HTTP-запроса могут передаваться через окружение.

API: программный интерфейс сервиса, к которому приложение обращается по определенным правилам.

JSON: текстовый формат данных, использованный сервисом проверки IP в примерах.

Итоги

Для рабочей конфигурации определите, кто отправляет запрос, какую переменную он читает для нужного URL и какие исключения применяет. Затем выполните короткую проверку из этого же процесса. Так можно отделить ошибку выбора прокси от проблемы подключения к уже выбранному серверу.

Часто задаваемые вопросы

Здесь мы ответили на самые часто задаваемые вопросы. Все равно не можешь найти ответа?

Задать вопрос

Достаточно ли создать файл .env с этими переменными?

Нет. Файл должен быть загружен способом, который поддерживает запускаемая программа или ее окружение. Обычный запуск curl не заставляет его автоматически читать файл .env. Имя файла само по себе не экспортирует значения в процесс.

Как указать логин и пароль, если в них есть специальные символы?

Для клиентов, принимающих авторизацию в URL, используется форма http://USERNAME:PASSWORD@HOST:PORT. Специальные символы внутри имени и пароля нужно кодировать как компоненты URL: например, @ становится %40. Не кодируйте таким образом разделители всей строки. Учтите также правила кавычек своей оболочки и храните настоящие данные доступа локально.

Можно ли перечислить несколько серверов в HTTP_PROXY через запятую?

Не рассчитывайте на это. В рассматриваемых настройках значение прокси – один URL, а список через запятую относится к NO_PROXY. Ротацию или резервирование нескольких серверов нужно настраивать предусмотренным для клиента или провайдера способом.

Можно ли исключить через NO_PROXY только путь /api/private на сайте?

В описанных механизмах исключения сопоставляются с назначением, прежде всего его именем или IP, а не с путем HTTP-запроса. Для маршрутизации отдельных путей нужна логика приложения или другой механизм с поддержкой такого условия.

★ ★ ★ ★ ★

Оставить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *