CAPTCHA при использовании резидентных прокси: как продолжить работу без лишних перезапусков
Опубликовано: Время чтения: ≈ 7 мин
Ваш парсер ожидает страницу товара, а вместо неё получает проверку CAPTCHA.
Соединение установлено, но нужных данных нет. Теперь скрипту нужно решить, что делать дальше: повторить запрос, сменить прокси или обработать CAPTCHA.
Неверное решение может превратить небольшую паузу в цепочку повторных запросов, пропущенных записей и задач, требующих ручного вмешательства.
Если вы используете MangoProxy для веб-скрейпинга или автоматизации браузера, обработку CAPTCHA стоит выделить в отдельный этап. Приложение должно распознать проверку, обработать поддерживаемый тип задания и убедиться, что исходную задачу можно продолжить.
Разберём, как организовать этот процесс.
Почему CAPTCHA не обязательно означает проблему с прокси
Резидентный прокси определяет, через какое соединение ваше приложение обращается к сайту. При этом он не гарантирует, что каждая страница откроется без дополнительной проверки.
Когда появляется CAPTCHA, сначала определите, с какой ситуацией вы столкнулись:
- Проблема с подключением: прокси не может открыть страницу, возникает ошибка авторизации или истекает время ожидания.
- Проверка на сайте: сайт отвечает, но требует пройти CAPTCHA, прежде чем разрешить дальнейшее действие.
Эти ситуации требуют разных решений. Замена прокси может помочь при диагностике подключения. Для поддерживаемой CAPTCHA нужен отдельный процесс обработки.
Прежде чем менять работающие настройки, сохраните ответ сайта, проверьте страницу и выясните, что именно остановило задачу.
Скрытая проблема: страница с CAPTCHA может выглядеть как успешный запрос
Допустим, ваша команда отслеживает публичные карточки товаров из источников, к которым ей разрешён доступ.
Парсер загружает страницу через MangoProxy и ожидает название товара, цену и наличие. Но в одном из ответов вместо карточки приходит CAPTCHA.
Если приложение проверяет только факт получения ответа, оно может передать такую страницу парсеру. В результате вы получите пустое поле цены, пропущенный товар или ошибочную отметку «нет в наличии».
Первое улучшение простое: проверяйте содержимое страницы, прежде чем считать запрос выполненным.
Появились ли ожидаемые элементы карточки? Требует ли страница пройти проверку? Есть ли сообщение об ошибке доступа?
Раздельный учёт этих результатов помогает приложению выбрать следующий шаг, а команде — получить больше информации, чем просто «ошибка сбора данных».
Какую задачу решает CaptchaAI
Когда приложение обнаруживает поддерживаемый тип CAPTCHA, оно может отправить задание в CaptchaAI.
CaptchaAI — сервис решения CAPTCHA на базе искусственного интеллекта. Он поддерживает reCAPTCHA v2 и v3, reCAPTCHA Enterprise, Cloudflare Turnstile, Cloudflare Challenge, GeeTest v3, графические CAPTCHA и другие типы проверок.
Разработчики могут подключить сервис через API. Также доступны расширение Chrome и Emulator для совместимого программного обеспечения.
Прокси и сервис решения CAPTCHA выполняют разные функции: прокси обеспечивает соединение, а CaptchaAI обрабатывает поддерживаемую проверку. Ваше приложение координирует задачу и проверяет конечный результат.
При работе через API вы отправляете необходимые параметры задания, получаете его идентификатор, проверяете статус и забираете результат. Применять результат нужно в соответствии с документацией конкретного метода CAPTCHA.
Проверьте сервис на задаче, которая отнимает ваше время
Прежде чем менять большой рабочий процесс, выберите одну задачу, в которой CAPTCHA уже требует ручного вмешательства.
Это может быть разрешённая проверка страницы товара или другая авторизованная браузерная операция, которая регулярно останавливается на этапе верификации. Выберите задачу с понятным критерием успеха, чтобы оценить пользу интеграции.
Пользователи MangoProxy могут получить 50 бесплатных потоков CaptchaAI на 3 дня с неограниченным количеством решений CAPTCHA в пределах 50 потоков.
Для активации отправьте код MangoProxy50 в Telegram: @AskCaptchaAI.
Начните с одной задачи, убедитесь, что она завершается корректно, а затем проверьте одновременные запросы, если они соответствуют вашей нагрузке. За три дня оцените интеграцию, время ожидания и то, как часто требуется ручное вмешательство.
Практический пример: от страницы с CAPTCHA к корректным данным о товаре
Вернёмся к мониторингу товаров.
Приложение получило страницу проверки вместо ожидаемой карточки. Управляемый процесс восстановления может выглядеть так:
- Отметьте задачу как ожидающую проверки. Сохраните связь с URL товара и контекстом браузера.
- Определите тип CAPTCHA. Убедитесь, что CaptchaAI поддерживает этот метод и у вас есть необходимые параметры.
- Запросите решение. Отправьте задание и сохраните полученный идентификатор.
- Ожидайте результат в пределах заданного времени. Обрабатывайте статус ожидания без немедленного перезапуска всей задачи.
- Примените результат. Следуйте процедуре, предусмотренной для этого метода CAPTCHA и реализации страницы.
- Проверьте карточку товара. Перед сохранением данных убедитесь, что нужный товар и ожидаемые поля действительно появились.
Если проверку пройти не удалось, сохраните задачу как нерешённую. Не превращайте такой результат автоматически в «товар отсутствует» или «цена недоступна».
Так пользу интеграции можно измерить: сравнить количество корректно собранных записей, нерешённых проверок и ручных вмешательств до и после подключения.
Сохраняйте нужную сессию во время проверки
Для некоторых проверок запрос на решение должен использовать IP-адрес, совпадающий с адресом браузерной сессии. Другие методы могут работать без прокси, предоставленного пользователем.
Перед настройкой соединения проверьте требования выбранного метода. Использование прокси в CaptchaAI необходимо активировать через поддержку. Решение reCAPTCHA v3 с прокси не поддерживается.
Если требуется совпадение IP, проверяйте фактический выходной адрес. Использование одного и того же адреса прокси-шлюза ещё не означает, что разные запросы выходят через один IP.
Выберите подходящую конфигурацию сессии и не меняйте её в середине проверки. Если соединение неожиданно изменилось, сначала выясните причину, а затем отправляйте новые запросы на решение.
Доступные настройки и требования отдельных методов описаны в руководстве CaptchaAI по работе с прокси.
Оценивайте завершённые задачи, а не только полученные решения
Получение ответа от сервиса — лишь один этап. Для команды важнее, была ли исходная работа выполнена правильно.
Во время трёхдневного тестирования отслеживайте:
| Что измерять | Что это показывает |
|---|---|
| Задачи, завершённые после проверки | Помогает ли интеграция довести процесс до конца |
| Успешно полученные корректные записи | Удалось ли получить ожидаемые данные после CAPTCHA |
| Время ожидания | Может ли приложение нормально работать с такой задержкой |
| Пиковое число одновременных заданий | Сколько потоков требуется |
| Задачи, отправленные на ручную проверку | Какие случаи требуют дополнительного анализа |
Сохраняйте условия тестирования понятными. Сравнение одной и той же задачи с одинаковыми правилами проверки данных и контролируемыми настройками соединения даст более ясный результат, чем несколько изменений одновременно.
Выбирайте тариф по реальной нагрузке
Стоимость тарифов CaptchaAI начинается от $15 в месяц. Все тарифы включают неограниченное количество решений CAPTCHA в пределах выбранного числа потоков.
Каждый поток обрабатывает одно задание одновременно. Поэтому нужная мощность зависит от количества пересекающихся по времени запросов на решение, а не просто от числа браузерных профилей или запросов за день.
Например, тариф на пять потоков позволяет одновременно обрабатывать до пяти заданий. Дополнительные задачи ваше приложение должно ставить в очередь до освобождения мощности.
Используйте результаты теста при выборе тарифа. Учитывайте и пиковую нагрузку, и допустимое для вашего процесса время ожидания.
Если CaptchaAI подходит для ваших задач, пользователи MangoProxy могут получить скидку до 15% на специальной партнёрской странице.
Посмотреть специальное предложение для пользователей MangoProxy
Сначала проверьте интеграцию, оцените результат и затем выберите подходящее число потоков.
Инструкции по подключению доступны в руководстве по быстрому старту с API CaptchaAI.
Присоединяйтесь к сообществу CaptchaAI
Следите за обновлениями сервиса, объявлениями о поддержке новых типов CAPTCHA и специальными предложениями.
Присоединиться в Telegram · Присоединиться в Discord
Часто задаваемые вопросы
Здесь мы ответили на самые часто задаваемые вопросы. Все равно не можешь найти ответа?
Нужно ли создавать новое задание, если решение ещё не готово?
Ожидание результата отличается от ошибки. Если CaptchaAI возвращает CAPCHA_NOT_READY, продолжайте проверять существующее задание с интервалом, указанным для выбранного метода, в пределах тайм-аута приложения. При явной ошибке сначала разберите её причину и затем решайте, нужна ли повторная отправка.
Один поток CaptchaAI соответствует одному профилю браузера?
Поток — это мощность для одного одновременного задания на решение CAPTCHA. В конкретный момент профиль может не требовать решения, а несколько профилей могут столкнуться с проверкой одновременно. Оценивайте пересекающиеся по времени запросы, а лишние задания ставьте в очередь.
Проверка IP в браузере доказывает, что сервис решения использовал тот же адрес?
Она показывает публичный IP конкретного браузерного запроса. По ней нельзя определить выходной IP сервиса решения или маршрут другого приложения. Если требуется совпадение IP, проверьте соответствующие настройки прокси и фактическое соединение каждого компонента.
Что записывать, если проверку пройти не удалось?
Сохраните идентификатор задания, метод CAPTCHA, полученный статус или ошибку, время ожидания и результат итоговой проверки страницы. Это поможет отличить ошибку решения от проблемы подключения или проверки данных. API-ключи, пароли прокси и токены сессии не должны попадать в обычные журналы.
