➤ 14. Сколько времени парсятся сайты?
Время, которое необходимо для парсинга легко рассчитать. Мы делаем запросы к сайтам-донорам с частотой 1-3 секунды. Один запрос — это парсинг одной страницы. Ограничение необходимо для того, чтобы не сильно нагружать источник. В среднем к одному сайту мы посылаем порядка 40000 запросов в сутки. Если вам нужно спарсить каталог из 10 тысяч товаров, то мы спарсим его за 5-6 часов. Обычно этого хватает для того, чтобы поддерживать сайт в актуальном состоянии.