Javascript-форум (https://javascript.ru/forum/)
-   Оффтопик (https://javascript.ru/forum/offtopic/)
-   -   Принцип Javascript парсинга (https://javascript.ru/forum/offtopic/10588-princip-javascript-parsinga.html)

Gozar 11.07.2010 18:59

Цитата:

Сообщение от PeaceCoder (Сообщение 63210)
он по ходу хочет перевести адрес картинки в данные этой картинки.

я в этом нисколько не сомневаюсь.

greatilya 12.07.2010 03:56

Цитата:

Сообщение от Gozar
То что вы обломались не означает что вопрос не решаем, по поводу фреймов могу сказать что эту идиотскую мысль нужно откинуть сразу как только она придет. И уж тем более не понятно зачем отсылать на свой же по видимому локальный сервер, то что уже получено?

Объясню,
написал парсинг некого сайта. Работает сам, абсолютно без моего участия. Парсинг должен работать постоянно, ~ целыми днями. Чтобы не получить бан на ip, сделал запросы к сайту раз в минуту. Парсил с 4 ip адресов. Через 3 дня работы скрипта забанили 3 ip адреса принадлежащих моему VPS серверу. 1 ip адрес моего локального компьютера не забанили, хотя с него шло не меньше запросов. Итого напрашивается вывод, что админы увидели что с тех ip адресов идет парсинг, т.к. запросы повторяются, и ip адрес принадлежит хостеру, а не обычному провайдеру домашнего интернета.
Итого, я захотел релизовать систему, при которой:
- захожу с любого ПК на свой сайт, открывается страница, на которой будет происходить парсинг нужной страницы силами JS(при этом возможность получить бан минимальна)
- после все данные отправляются на мой сайт

... теперь уже ясно, что такую схему реализовать не получится...

Цитата:

Сообщение от Gozar
а при чем здесь динамический ip?

есть ПК подключенный по динамическому ip.. придется установить сервак на него, и можно парсить с высокой скоростью, т.к. бан придет не раньше чем через сутки, а сменить ip адрес проще простого. Но при этом способе весь парсинг ложится на 1 ПК.... а хотелось бы большего.

Устанавливать сервера (denwer) на все ПК с которых бы мог парсить нет возможности.

Парсить через прокси, если чесно опыта в этом нет. Причем сайт который парсю, делает разную выдачу в зависимости от региона, поэтому при использовании прокси возможны всякие артефакты...

B@rmaley.e><e 12.07.2010 06:11

Цитата:

Сообщение от greatilya
теперь уже ясно, что такую схему реализовать не получится

Получится, если использовать UserJS.

greatilya 12.07.2010 07:40

B@rmaley.e><e,
Огромное спасибо за UserJS! Вы сами им пользовались, насколько сложен в освоении?

PS: если разберусь, то выложу скрипты.

B@rmaley.e><e 12.07.2010 15:57

greatilya, я пишу юзерскрипты под оперу, почитать можно тут: http://operafan.net/content/view/26/2/
В ФФ и хроме они тоже есть, но там они работают по-другому.

greatilya 12.07.2010 18:03

B@rmaley.e><e,
С днем рождения вас! Крепкого здоровья, любви и море счастья!

larafyll 13.07.2010 14:54

greatilya, меня так же интересует отсылка картинки средствами javascript (мой пост). Вы нашли решение своей проблемы?

greatilya 13.07.2010 18:07

larafyll,
сейчас двигаюсь в двух направлениях:
1 изучаю UserJS (застрял на том, что не могу выдернуть HTML код)
2 пытаюсь реализовать данные задачи на Delphi (не писал на нем уже оч давно, ищу пока)

Я эту тему точно добью, вам в личку напишу, раз вам так интересна эта тема, также в этой теме выложу свои исходники, скрипты, программы...

larafyll 14.07.2010 22:47

Если вам надо получить HTML код страницы, можно воспользоватся XMLHttpRequest'ом. Однако, если требуется "живой" HTML, он не поможет.

greatilya 15.07.2010 04:11

Да уже практически сделал на Delphi, мне там более понравилось это реализовывать, по крайней мере файлы там легче простого отправлять...
Вот пример
как допишу свой код, выложу его, а на JS наверно не смогу реализовать... знаний не хватает...


Часовой пояс GMT +3, время: 09:08.