|
Сообщение от Gozar
|
|
То что вы обломались не означает что вопрос не решаем, по поводу фреймов могу сказать что эту идиотскую мысль нужно откинуть сразу как только она придет. И уж тем более не понятно зачем отсылать на свой же по видимому локальный сервер, то что уже получено?
|
Объясню,
написал парсинг некого сайта. Работает сам, абсолютно без моего участия. Парсинг должен работать постоянно, ~ целыми днями. Чтобы не получить бан на ip, сделал запросы к сайту раз в минуту. Парсил с 4 ip адресов. Через 3 дня работы скрипта забанили 3 ip адреса принадлежащих моему VPS серверу. 1 ip адрес моего локального компьютера не забанили, хотя с него шло не меньше запросов. Итого напрашивается вывод, что админы увидели что с тех ip адресов идет парсинг, т.к. запросы повторяются, и ip адрес принадлежит хостеру, а не обычному провайдеру домашнего интернета.
Итого, я захотел релизовать систему, при которой:
- захожу с любого ПК на свой сайт, открывается страница, на которой будет происходить парсинг нужной страницы силами JS(при этом возможность получить бан минимальна)
- после все данные отправляются на мой сайт
... теперь уже ясно, что такую схему реализовать не получится...
|
Сообщение от Gozar
|
|
а при чем здесь динамический ip?
|
есть ПК подключенный по динамическому ip.. придется установить сервак на него, и можно парсить с высокой скоростью, т.к. бан придет не раньше чем через сутки, а сменить ip адрес проще простого. Но при этом способе весь парсинг ложится на 1 ПК.... а хотелось бы большего.
Устанавливать сервера (denwer) на все ПК с которых бы мог парсить нет возможности.
Парсить через прокси, если чесно опыта в этом нет. Причем сайт который парсю, делает разную выдачу в зависимости от региона, поэтому при использовании прокси возможны всякие артефакты...