Таймауты прокси: connect timeout, read timeout и session timeout
Опубликовано: Время чтения: ≈ 12 мин
Краткий ответ
Connect timeout ограничивает ожидание установления соединения. Read timeout ограничивает ожидание данных при чтении ответа; во многих клиентах это допустимая пауза между поступлениями данных, а не время загрузки целиком. Session timeout относится к сроку жизни сессии, но сначала нужно выяснить, что именно программа или провайдер называет сессией: отдельное соединение, закрепление выходного IP или авторизацию на сайте.
При ошибке начните с двух вопросов: какой компонент прекратил ожидание и на каком этапе? Увеличение read timeout в приложении не продлевает лимит соединения на прокси и не меняет срок действия входа в аккаунт.
Главное
- Название таймаута без названия программы не определяет его область действия. Например, curl включает в этап подключения поиск DNS и согласование протоколов.
- Ответ может загружаться дольше read timeout, если данные продолжают поступать с допустимыми интервалами.
- Закрепленный IP, открытое соединение и действующая авторизация – три отдельных состояния.
- Для всей операции нужен общий предел времени. Таймеры отдельных этапов и повторы запроса не заменяют его.
- Ошибка в клиенте показывает, где ожидание прекратилось. Чтобы установить причину, нужны сведения о маршруте, ответе и настройках посредников.
Что именно ограничивают разные таймауты?
Таймаут ограничивает ожидание определенной операции у определенного участника обмена. Для чтения результата важно знать обе части: какой таймер сработал и кто его отсчитывал.
Connect timeout – ожидание установления соединения. Его задает клиент для своего подключения или посредник для подключения к следующему серверу. Перечень включенных этапов зависит от реализации.
Read timeout – ожидание данных при чтении. Клиент может ждать ответ через прокси, а прокси – данные следующего сервера. Во многих реализациях ограничивается отдельный период ожидания, поэтому полная передача может продолжаться дольше.
Session timeout – предел жизни объекта, который система называет сессией. Без уточнения этого объекта нельзя понять, закончится ли соединение, изменится ли привязка IP или потребуется новый вход на сайт.
Idle timeout – допустимый период бездействия. Его могут применять к сетевому соединению или к пользовательской сессии, причем активность для этих случаев определяется по-разному.
Общий таймаут – ограничение продолжительности запроса или задания целиком. Его область тоже нужно проверить: одна попытка, цепочка перенаправлений и задание с повторами могут иметь разные пределы.
Эти значения не складываются в обязательную продолжительность запроса. Если общий предел наступил раньше окончания допустимого ожидания текущего этапа, операция все равно должна завершиться по общему пределу – если выбранный инструмент действительно обеспечивает такой контроль.
Где проходит граница между подключением и чтением?
Граница определяется клиентом. В запросе HTTPS через обычный HTTP-прокси перед загрузкой страницы нужно не только открыть сетевое соединение с адресом прокси.
Если прокси задан именем, клиент сначала находит его адрес через DNS. Затем устанавливает с прокси TCP-соединение и отправляет CONNECT с именем и портом сайта. Если прокси принимает запрос на туннель, клиент выполняет TLS-согласование с сайтом через этот туннель. После этого отправляет запрос к сайту и читает ответ. Здесь описан обычный туннель без перехвата TLS; у HTTPS-прокси дополнительно есть защищенное соединение до самого посредника.
Успех одного этапа еще не показывает, что следующий завершился. Соединение с прокси может уже существовать, пока клиент ждет ответ на CONNECT. После открытия туннеля остается согласовать TLS и дождаться ответа сайта.
Поэтому сообщение об ошибке чтения само по себе не доказывает, что сайт долго формировал страницу: программа могла читать ответ посредника при подготовке маршрута. Сопоставьте сообщение с последним завершенным этапом в журнале.
У curl параметр —connect-timeout охватывает фазу подключения, включая DNS и необходимые протокольные согласования. В Requests таймаут подключения связан с попыткой установить соединение; при последовательном переборе нескольких IP фактическое ожидание может увеличиться. Кроме того, системный поиск DNS в Python может оставаться вне этого ограничения.
Практический вывод: перенос числа из curl в Python-клиент не гарантирует такую же длительность ожидания. Проверьте описание настройки выбранной библиотеки, особенно если запрос завершается заметно позже указанного значения.
Почему read timeout не ограничивает полную загрузку?
Потому что во многих клиентах таймер относится к ожиданию следующей порции данных. Когда данные поступают вовремя, чтение может продолжаться, даже если с начала запроса прошло больше заданного числа секунд.
Представим условную передачу: клиент допускает паузу чтения до пяти секунд, а сервер присылает небольшую порцию каждые две секунды. Ответ может загружаться полминуты без нарушения этого ограничения. Если же после нескольких порций наступит пауза на восемь секунд, таймаут чтения может прервать передачу уже после получения части ответа.
Такое поведение описано в документации Requests и HTTPX. Для потоковых ответов проверяйте отдельно время до первых данных, промежутки между порциями и продолжительность операции целиком.
Есть еще одна граница: посредник и клиент наблюдают разные участки маршрута. Например, обратный прокси NGINX перед сайтом может накапливать ответ в буферах. Если сервер уже присылает ему данные, это не означает, что клиент сразу получает каждую порцию. Таймер чтения на стороне NGINX еще может оставаться в допустимых пределах, пока клиент ждет передачу дальше по цепочке.
Поэтому наличие активности «где-то на сервере» недостаточно. Смотрите, доходили ли данные до того компонента, чей таймаут сработал.

Что может означать session timeout у прокси?
У этого названия нет единого значения для всех сервисов. В документации оно может относиться к максимальной длительности отдельного подключения, а в описании режима ротации речь может идти о сохранении одного выходного IP между запросами.
Срок жизни соединения
Провайдер может ограничивать полную длительность открытого соединения. После достижения такого предела оно закрывается, даже если передача недавно была активной. Это отличается от idle timeout, который отсчитывает период бездействия. Возможность повторного подключения и продолжения операции зависит от приложения и протокола; автоматическое восстановление нельзя предполагать.
Срок закрепления IP
Sticky-сессия связывает последовательные обращения с одним выходным IP на условиях провайдера. Этот режим нужен, когда важна согласованность маршрута между действиями. Он не задает клиенту время ожидания каждого ответа.
Истечение периода закрепления не позволяет без документации предсказать судьбу уже открытого соединения. Сервис может иначе обрабатывать новые подключения и действующий туннель. Уточните, когда начинается отсчет, продлевает ли его активность и что происходит при недоступности выбранного выхода.
Если эти условия важны для задачи, проверьте описание режима на странице резидентских прокси MangoProxy и параметры своего подключения. Наличие sticky-сессии само по себе не подтверждает неограниченную жизнь соединения.
Срок авторизации на сайте
Сайт управляет пользовательской сессией отдельно от прокси. Он может завершать ее после бездействия или по абсолютному сроку с момента создания. Сохранившийся IP и открытое соединение не отменяют это решение.
Cookie может передавать идентификатор сессии, но сохраненный файл cookie не заставляет сервер считать сессию действующей. Если страница входа открывается быстро и без сетевой ошибки, проверьте состояние авторизации, а не только таймауты прокси.
Чем похожие настройки отличаются в разных программах?
Сравнивать их нужно по операции, которую они ограничивают. Одинаковые слова connect, read и session еще не означают одинаковую схему управления временем.
Requests: отдельные значения подключения и чтения передаются настройке timeout. Одно число применяется к обоим видам ожидания. Ни один из этих вариантов не задает гарантированный предел полной продолжительности запроса.
HTTPX: отдельно настраиваются connect, read, write и pool. Последний ограничивает ожидание получения соединения из пула. Ошибка PoolTimeout может возникнуть еще до новой сетевой попытки, если доступные соединения заняты.
Curl: —connect-timeout ограничивает подключение, а —max-time – полную длительность одной попытки передачи. Параметр —max-time не является прямым аналогом read timeout. Для контроля слишком медленной передачи у curl есть отдельные ограничения скорости и времени нахождения ниже порога.
NGINX: proxy_connect_timeout относится к установлению соединения NGINX со следующим сервером. proxy_read_timeout ограничивает интервалы между операциями чтения ответа от него. Это настройки на стороне NGINX, а не параметры Python-клиента и не универсальные поля личного кабинета прокси.
Последний случай особенно важен при поиске по названию proxy_read_timeout. В инструкции по NGINX может обсуждаться обратный прокси перед вашим приложением. Если вы используете сторонний прокси для исходящих запросов, такая директива не дает вам управление его внутренними лимитами.
Можно ли исправить таймаут увеличением числа в клиенте?
Можно, если ожидание прерывает именно клиент, а более долгое выполнение соответствует задаче. Сначала выясните, не заканчивает ли операцию другой участник маршрута.
Допустим, приложение готово ждать ответ полторы минуты, но промежуточный шлюз прекращает ожидание своего сервера через тридцать секунд. Увеличение клиентского лимита до трех минут не заставит шлюз ждать дольше.
HTTP 504 означает, что сервер, действующий как шлюз или прокси, не получил своевременный ответ нужного ему сервера. Такой шлюз может быть как вашим прокси, так и частью инфраструктуры сайта. Сам код не определяет, какой участник цепочки его сформировал. Сохраните контекст ответа и сопоставьте его с журналом; при HTTPS различайте ответ на CONNECT и ответ внутри установленного туннеля.
При обрыве уже начавшейся передачи вместо нового статуса 504 клиент может увидеть незавершенный ответ или сетевую ошибку. Наличие полученных заголовков и объем принятого тела помогут отличить это от ожидания первого ответа.
Для выбора лимита полезнее сведения о нормальном выполнении конкретной операции, чем универсальный совет «поставить 60 секунд». Небольшая проверка доступности и подготовка большого отчета предъявляют разные требования. Если время обычно растет вместе с числом одновременных задач, проверьте очередь и занятость соединений до увеличения ожидания.
Практические примеры: какой таймер изменит результат?
Ниже приведены условные сценарии, а не результаты тестирования прокси. Числа нужны для объяснения области действия ограничений.
Ответ поступает регулярно, но задание длится слишком долго
Клиент поддерживает таймаут чтения и независимый общий таймаут. Подключение заняло секунду. Затем данные приходят каждые две секунды; допустимая пауза чтения составляет пять секунд. Для полного ответа требуется тридцать секунд, но общий предел попытки – восемнадцать.
На восемнадцатой секунде общий предел прервет попытку, хотя паузы чтения оставались допустимыми. Увеличение read timeout ничего не изменит. Нужно решить, может ли задача занимать тридцать секунд, и при положительном ответе пересмотреть общий предел.
Быстрое соединение, затем тишина
Прокси принял туннель, TLS завершился, клиент отправил запрос. После этого десять секунд не поступают данные ответа. Клиентский лимит чтения – десять секунд, а общий лимит еще не наступил.
Здесь есть основание изучать ожидание ответа после отправки запроса. Проверьте, происходит ли это только на одной операции, как она выполняется при меньшей нагрузке и что видно в журнале приложения. Более длинный connect timeout уже завершенному подключению не поможет.
IP изменился между шагами
Последовательная задача рассчитана на двенадцать минут. В ее условном режиме один IP закрепляется на десять минут без продления от активности. После истечения этого периода новое подключение получает другой выходной IP; оба запроса отвечают быстро.
Ни connect timeout, ни read timeout не были нарушены. Причина изменения маршрута связана с условиями закрепления IP. Для задачи нужен подходящий срок этого режима или иная стратегия сохранения адреса. Отдельно проверьте, сохраняется ли авторизация сайта: она управляется собственными правилами.
Что записать перед следующей попыткой?
Зафиксируйте один сбой достаточно подробно, чтобы сравнить его с успешной попыткой: программу и версию, адрес назначения, протокол прокси, время начала с часовым поясом, фактическую длительность и точный текст ошибки. Добавьте активные значения таймаутов и сведения о повторах.
Отметьте последний завершенный этап, наличие HTTP-статуса и полученных данных. Для периодического сбоя укажите, возник он сразу после нового подключения, после паузы или на определенном шаге последовательности. Эти наблюдения помогут выбрать между проверкой подключения, чтения и жизненного цикла сессии.
При обращении в поддержку MangoProxy передайте эти сведения, удалив пароли прокси, токены и cookie. Идентификатор запроса, если его вернул сервис, поможет сопоставить записи участников обмена. Сохраняйте режим IP на время сравнения, если его смена не является проверяемым условием.
Повторы тоже должны укладываться в срок задания. Прежде чем повторять создание заказа или запуск работы, выясните, не успел ли сервер выполнить действие до потери ответа. Для безопасного повторения используйте предусмотренный сервисом механизм предотвращения дублей.
Глоссарий
Connect timeout: ограничение ожидания установления соединения; состав этапов определяется реализацией.
Read timeout: ограничение ожидания данных при чтении, которое во многих реализациях применяется к отдельным паузам.
Session timeout: ограничение срока сессии; объект сессии и правила отсчета нужно уточнять в документации системы.
Idle timeout: ограничение периода бездействия соединения или сессии по правилам применяющего его компонента.
HTTP: протокол обмена запросами и ответами между клиентами и серверами.
HTTPS: обмен HTTP по защищенному соединению с использованием TLS.
DNS: распределенная система доменных имен; в рассматриваемом подключении помогает получить сетевой адрес по имени узла.
TCP: транспортный протокол, предоставляющий приложениям надежный упорядоченный поток байтов.
TLS: протокол защиты обмена данными, обеспечивающий конфиденциальность и целостность соединения.
CONNECT: метод HTTP для запроса туннеля к указанному узлу и порту.
IP-адрес: числовой сетевой адрес, используемый протоколом IP для доставки пакетов.
Выходной IP: IP-адрес, с которого запрос через прокси приходит к целевому серверу.
Sticky-сессия: режим закрепления одного выходного IP для связанных подключений или запросов на условиях провайдера.
Пул соединений: набор соединений, которыми клиент управляет для повторного использования.
Cookie: данные, которые сервер передает клиенту и которые клиент может отправлять в последующих HTTP-запросах согласно правилам их области действия.
Буферизация: временное накопление данных перед их дальнейшей обработкой или передачей.
Обратный прокси: посредник, который принимает обращения со стороны клиентов и передает их обслуживающим серверам.
Итог
Полезная запись о таймауте выглядит конкретно: какой компонент ждал какую операцию, сколько времени и что успело завершиться. С такой записью можно менять нужный параметр и проверить, повлиял ли он на исходный сбой. Одного сообщения «прокси не ответил» для этого недостаточно.
Часто задаваемые вопросы
Здесь мы ответили на самые часто задаваемые вопросы. Все равно не можешь найти ответа?
Есть ли в Requests.Session общий session timeout?
Название Session обозначает объект, который сохраняет настройки, cookie и использует пул соединений. Оно не задает срок выполнения всех запросов или продолжительность авторизации. Таймауты запросов задаются отдельно; общий срок задания нужно контролировать на уровне приложения.
Поможет ли периодическая отправка данных сохранить соединение?
Она может помочь при лимите бездействия, если именно эти данные учитывает компонент, применяющий лимит. Абсолютный срок соединения от такой активности не продлевается. Служебный обмен на одном участке маршрута также не гарантирует поступления данных приложению на другом.
Почему ошибка возникает почти ровно через минуту?
Повторяемый интервал – повод найти настройку с похожим значением у клиента, шлюза или сервера приложения. Он не определяет владельца таймера. Сопоставьте момент обрыва с началом запроса, последними полученными данными и журналами доступных компонентов.
Можно ли отключить таймауты для большого файла?
Это убирает выбранное ограничение клиента, но оставляет лимиты других участников. Обычно полезнее отдельно разрешить достаточную длительность передачи и ограничить паузы без данных. Если нужно продолжение прерванной загрузки, проверьте поддержку возобновления у сервера и клиента.
Устраняет ли статический IP таймауты?
Статический адрес решает задачу сохранения IP между подключениями. Он не отменяет ожидание ответа, перегрузку приложения или лимиты шлюза. Выбирать такой режим имеет смысл по требованиям к постоянству адреса; причину сетевого ожидания все равно нужно установить отдельно.