Продажи скоро откроются. Цены ниже показывают, сколько мы планируем брать. Инструменты на сайте уже работают.

Как оценить трафик прокси до покупки

Трафик прокси оплачивается по гигабайтам, поэтому объём задачи — это арифметика. Измерить нужно только средний размер ответа.

Шаг 1. Измерьте реальные страницы

Возьмите десять–двадцать страниц, типичных для задачи. Если вы используете HTTP-клиент, эта команда cURL выведет число загруженных байт для одного URL:

curl -s -o /dev/null -w "%{size_download}\n" "$URL"

Если используете браузер, откройте вкладку Network в инструментах разработчика, перезагрузите страницу и посмотрите итог внизу. Берите среднее, а не самую маленькую страницу.

Шаг 2. Умножьте

ГБ = средний размер × запросов за запуск × запусков в день × дней

Допустим, задача загружает 5000 страниц по 200 КБ дважды в день в течение 30 дней. Получается 200 КБ × 5000 × 2 × 30 = 60 000 000 КБ, то есть 60 ГБ в десятичных единицах. Это пример, а не типичные значения. То же самое считает калькулятор трафика.

Шаг 3. Заложите запас

Оценка учитывает только успешные ответы. Повторы, редиректы и заголовки запросов добавляют объём, и сколько именно, зависит от сайта. Запустите задачу на небольшой выборке и сравните расход в кабинете с оценкой. Полученный коэффициент лучше любого общего правила.

Как расходовать меньше

  • Берите HTTP-клиент вместо браузера, когда данные есть в HTML. Браузер загружает ещё скрипты, шрифты и изображения.
  • Блокируйте тяжёлые ресурсы, если браузер всё же нужен. В Playwright отменяйте запросы изображений, видео и шрифтов.
  • Принимайте сжатые ответы. Большинство клиентов это делают, но проверьте, что ваш отправляет Accept-Encoding.
  • Пропускайте то, что не изменилось. Условные запросы с If-None-Match возвращают пустое тело, если страница не менялась и сайт это поддерживает.
  • Запрашивайте реже. Проверьте, что действительно нужно для решения: ежечасные проверки расходуют в 24 раза больше, чем ежедневные.

Покупка под оценку

У неиспользованного трафика нет срока действия, а пополнение добавляется к тому же плану, поэтому покупать на худший случай не нужно. Начните с малого, измерьте и купите то, что подтверждает замер. Текущие цены.