Цитата:
|
Цитата:
написал парсинг некого сайта. Работает сам, абсолютно без моего участия. Парсинг должен работать постоянно, ~ целыми днями. Чтобы не получить бан на ip, сделал запросы к сайту раз в минуту. Парсил с 4 ip адресов. Через 3 дня работы скрипта забанили 3 ip адреса принадлежащих моему VPS серверу. 1 ip адрес моего локального компьютера не забанили, хотя с него шло не меньше запросов. Итого напрашивается вывод, что админы увидели что с тех ip адресов идет парсинг, т.к. запросы повторяются, и ip адрес принадлежит хостеру, а не обычному провайдеру домашнего интернета. Итого, я захотел релизовать систему, при которой: - захожу с любого ПК на свой сайт, открывается страница, на которой будет происходить парсинг нужной страницы силами JS(при этом возможность получить бан минимальна) - после все данные отправляются на мой сайт ... теперь уже ясно, что такую схему реализовать не получится... Цитата:
Устанавливать сервера (denwer) на все ПК с которых бы мог парсить нет возможности. Парсить через прокси, если чесно опыта в этом нет. Причем сайт который парсю, делает разную выдачу в зависимости от региона, поэтому при использовании прокси возможны всякие артефакты... |
Цитата:
|
B@rmaley.e><e,
Огромное спасибо за UserJS! Вы сами им пользовались, насколько сложен в освоении? PS: если разберусь, то выложу скрипты. |
greatilya, я пишу юзерскрипты под оперу, почитать можно тут: http://operafan.net/content/view/26/2/
В ФФ и хроме они тоже есть, но там они работают по-другому. |
B@rmaley.e><e,
С днем рождения вас! Крепкого здоровья, любви и море счастья! |
greatilya, меня так же интересует отсылка картинки средствами javascript (мой пост). Вы нашли решение своей проблемы?
|
larafyll,
сейчас двигаюсь в двух направлениях: 1 изучаю UserJS (застрял на том, что не могу выдернуть HTML код) 2 пытаюсь реализовать данные задачи на Delphi (не писал на нем уже оч давно, ищу пока) Я эту тему точно добью, вам в личку напишу, раз вам так интересна эта тема, также в этой теме выложу свои исходники, скрипты, программы... |
Если вам надо получить HTML код страницы, можно воспользоватся XMLHttpRequest'ом. Однако, если требуется "живой" HTML, он не поможет.
|
Да уже практически сделал на Delphi, мне там более понравилось это реализовывать, по крайней мере файлы там легче простого отправлять...
Вот пример как допишу свой код, выложу его, а на JS наверно не смогу реализовать... знаний не хватает... |
Часовой пояс GMT +3, время: 09:08. |