Javascript-форум (https://javascript.ru/forum/)
-   Оффтопик (https://javascript.ru/forum/offtopic/)
-   -   Разыскивается софт (https://javascript.ru/forum/offtopic/60323-razyskivaetsya-soft.html)

Diablos 22.12.2015 16:57

Разыскивается софт
 
Приветствую.

Существует ли программа или расширение для браузера (желательно), в которой можно задать диапазон страниц определенного сайта (например с suite.com/15/1/ по suite.com/15/9999/ (ну или просто бы брала список ссылок из txt файла)), которая проверяет наличие заданного div id на страницах и если она находит его, то оповещает об этих страницах?

ruslan_mart 22.12.2015 17:41

Сам лично подобных утилит не видел, но можно самому написать, в принципе. :)

Diablos 22.12.2015 17:53

И сколько будет такое удовольствие стоить? )

ruslan_mart 22.12.2015 18:26

Diablos, примерно, около 2000 рублей.

Лично я, на AIR написал бы, но можно и на PHP. :)

Diablos 22.12.2015 20:20

Кхм, ладно, обойдусь. )

a26cf84d 22.12.2015 21:20

Цитата:

Сообщение от Ruslan_xDD
Лично я, на AIR написал бы, но можно и на PHP

Ставим Greasemonkey можно пишется на js, строчек 5-10 кода.

Единственное, что сканирование может ломаться, т.к. сайты не всегда отдают страницы с заданной частотой, типа 1 сек или 100 мс. Придется ставить задержки и в большинстве случаев этот подход неверен.

Сканирование 9999 страниц займет приблизительно 3 часа с частотой 1 сек. на страницу и может в любой момент поломаться.

Хорошие программы для скана за 2 тыра не купишь. Они должны быть умными и скан не должен ломаться если сервер отдает фигу вместо страницы, или заявлена страница, а отдается pdf.

Diablos 22.12.2015 22:36

a26cf84d,
Да мне бы и такой сгодился.
С задержкой, пусть хоть 10 часов сканирует, главное чтобы находил то что нужно.

Кстати, на 99% страницах есть <div id="error_box">, если скрипт будет сперва его наличие проверять, а находя его, переключаться на следующую страницу а не проверять дальше остаток кода, то это должно сэкономить время как я понимаю?

...
Ладно, подойдет и скрипт, в котором я смогу задать диапазон страниц, мол сканировать к примеру с "suite.com/00/1000/" по "suite.com/00/1999/", с условиями, если находит <div id="error_box"> то сразу переходит на следующую страницу, если не находит, то отмечает эту страницу в логе или просто ставится на паузу с всплывающим окном, мол найдена такая-то страница, все.

Если кто такой скрипт напишет для Greasemonkey, рублей 300 на киви или на телефон кину, за ~10 строчек кода сойдет, не? )))

laimas 23.12.2015 11:52

Цитата:

Сообщение от a26cf84d
Сканирование 9999 страниц займет приблизительно 3 часа с частотой 1 сек. на страницу

Если сервер будет анализировать такую ситуацию, а это явно бот, то может и прикрыть выдачу этому IP.

Diablos 23.12.2015 14:05

Цитата:

Сообщение от laimas (Сообщение 401031)
Если сервер будет анализировать такую ситуацию, а это явно бот, то может и прикрыть выдачу этому IP.

Я тоже этого мнения, но если задержку поставить примерно 5 сек между запросами ну или побольше, то думаю никаких проблем не должно возникнуть. Да и повторно проверенные страницы проверятся не будут, надо лишь раз проехаться по ним и найти нужные.

Deff 23.12.2015 14:14

Вы имеете доступ к установке кодов на этот сайт ?
2. Или Сильно затруднит, листая эти страницы, тыкать кнопку вставки закладки браузера ?
Я на счёт вставки скрипта-закладки (bookmarklet)


Часовой пояс GMT +3, время: 13:24.