Сообщение от laimas
|
|
Если сервер будет анализировать такую ситуацию, а это явно бот, то может и прикрыть выдачу этому IP.
|
Я тоже этого мнения, но если задержку поставить примерно 5 сек между запросами ну или побольше, то думаю никаких проблем не должно возникнуть. Да и повторно проверенные страницы проверятся не будут, надо лишь раз проехаться по ним и найти нужные.