22.12.2015, 16:57
|
Интересующийся
|
|
Регистрация: 26.09.2011
Сообщений: 28
|
|
Разыскивается софт
Приветствую.
Существует ли программа или расширение для браузера (желательно), в которой можно задать диапазон страниц определенного сайта (например с suite.com/15/1/ по suite.com/15/9999/ (ну или просто бы брала список ссылок из txt файла)), которая проверяет наличие заданного div id на страницах и если она находит его, то оповещает об этих страницах?
Последний раз редактировалось Diablos, 22.12.2015 в 17:17.
|
|
22.12.2015, 17:41
|
|
Профессор
|
|
Регистрация: 30.04.2012
Сообщений: 3,018
|
|
Сам лично подобных утилит не видел, но можно самому написать, в принципе.
|
|
22.12.2015, 17:53
|
Интересующийся
|
|
Регистрация: 26.09.2011
Сообщений: 28
|
|
И сколько будет такое удовольствие стоить? )
|
|
22.12.2015, 18:26
|
|
Профессор
|
|
Регистрация: 30.04.2012
Сообщений: 3,018
|
|
Diablos, примерно, около 2000 рублей.
Лично я, на AIR написал бы, но можно и на PHP.
|
|
22.12.2015, 20:20
|
Интересующийся
|
|
Регистрация: 26.09.2011
Сообщений: 28
|
|
Кхм, ладно, обойдусь. )
|
|
22.12.2015, 21:20
|
Аспирант
|
|
Регистрация: 07.12.2015
Сообщений: 63
|
|
Сообщение от Ruslan_xDD
|
Лично я, на AIR написал бы, но можно и на PHP
|
Ставим Greasemonkey можно пишется на js, строчек 5-10 кода.
Единственное, что сканирование может ломаться, т.к. сайты не всегда отдают страницы с заданной частотой, типа 1 сек или 100 мс. Придется ставить задержки и в большинстве случаев этот подход неверен.
Сканирование 9999 страниц займет приблизительно 3 часа с частотой 1 сек. на страницу и может в любой момент поломаться.
Хорошие программы для скана за 2 тыра не купишь. Они должны быть умными и скан не должен ломаться если сервер отдает фигу вместо страницы, или заявлена страница, а отдается pdf.
|
|
22.12.2015, 22:36
|
Интересующийся
|
|
Регистрация: 26.09.2011
Сообщений: 28
|
|
a26cf84d,
Да мне бы и такой сгодился.
С задержкой, пусть хоть 10 часов сканирует, главное чтобы находил то что нужно.
Кстати, на 99% страницах есть <div id="error_box">, если скрипт будет сперва его наличие проверять, а находя его, переключаться на следующую страницу а не проверять дальше остаток кода, то это должно сэкономить время как я понимаю?
...
Ладно, подойдет и скрипт, в котором я смогу задать диапазон страниц, мол сканировать к примеру с "suite.com/00/1000/" по "suite.com/00/1999/", с условиями, если находит <div id="error_box"> то сразу переходит на следующую страницу, если не находит, то отмечает эту страницу в логе или просто ставится на паузу с всплывающим окном, мол найдена такая-то страница, все.
Если кто такой скрипт напишет для Greasemonkey, рублей 300 на киви или на телефон кину, за ~10 строчек кода сойдет, не? )))
|
|
23.12.2015, 11:52
|
Профессор
|
|
Регистрация: 14.01.2015
Сообщений: 12,989
|
|
Сообщение от a26cf84d
|
Сканирование 9999 страниц займет приблизительно 3 часа с частотой 1 сек. на страницу
|
Если сервер будет анализировать такую ситуацию, а это явно бот, то может и прикрыть выдачу этому IP.
|
|
23.12.2015, 14:05
|
Интересующийся
|
|
Регистрация: 26.09.2011
Сообщений: 28
|
|
Сообщение от laimas
|
Если сервер будет анализировать такую ситуацию, а это явно бот, то может и прикрыть выдачу этому IP.
|
Я тоже этого мнения, но если задержку поставить примерно 5 сек между запросами ну или побольше, то думаю никаких проблем не должно возникнуть. Да и повторно проверенные страницы проверятся не будут, надо лишь раз проехаться по ним и найти нужные.
|
|
23.12.2015, 14:14
|
без статуса
|
|
Регистрация: 25.05.2012
Сообщений: 8,219
|
|
Вы имеете доступ к установке кодов на этот сайт ?
2. Или Сильно затруднит, листая эти страницы, тыкать кнопку вставки закладки браузера ?
Я на счёт вставки скрипта-закладки (bookmarklet)
Последний раз редактировалось Deff, 23.12.2015 в 14:18.
|
|
|
|