Разыскивается софт
 

Приветствую.

Существует ли программа или расширение для браузера (желательно), в которой можно задать диапазон страниц определенного сайта (например с suite.com/15/1/ по suite.com/15/9999/ (ну или просто бы брала список ссылок из txt файла)), которая проверяет наличие заданного div id на страницах и если она находит его, то оповещает об этих страницах?

Сам лично подобных утилит не видел, но можно самому написать, в принципе. :)

И сколько будет такое удовольствие стоить? )

Diablos, примерно, около 2000 рублей.

Лично я, на AIR написал бы, но можно и на PHP. :)

Кхм, ладно, обойдусь. )

Ставим Greasemonkey можно пишется на js, строчек 5-10 кода.

Единственное, что сканирование может ломаться, т.к. сайты не всегда отдают страницы с заданной частотой, типа 1 сек или 100 мс. Придется ставить задержки и в большинстве случаев этот подход неверен.

Сканирование 9999 страниц займет приблизительно 3 часа с частотой 1 сек. на страницу и может в любой момент поломаться.

Хорошие программы для скана за 2 тыра не купишь. Они должны быть умными и скан не должен ломаться если сервер отдает фигу вместо страницы, или заявлена страница, а отдается pdf.

a26cf84d,
Да мне бы и такой сгодился.
С задержкой, пусть хоть 10 часов сканирует, главное чтобы находил то что нужно.

Кстати, на 99% страницах есть <div id="error_box">, если скрипт будет сперва его наличие проверять, а находя его, переключаться на следующую страницу а не проверять дальше остаток кода, то это должно сэкономить время как я понимаю?

...
Ладно, подойдет и скрипт, в котором я смогу задать диапазон страниц, мол сканировать к примеру с "suite.com/00/1000/" по "suite.com/00/1999/", с условиями, если находит <div id="error_box"> то сразу переходит на следующую страницу, если не находит, то отмечает эту страницу в логе или просто ставится на паузу с всплывающим окном, мол найдена такая-то страница, все.

Если кто такой скрипт напишет для Greasemonkey, рублей 300 на киви или на телефон кину, за ~10 строчек кода сойдет, не? )))

Если сервер будет анализировать такую ситуацию, а это явно бот, то может и прикрыть выдачу этому IP.

Я тоже этого мнения, но если задержку поставить примерно 5 сек между запросами ну или побольше, то думаю никаких проблем не должно возникнуть. Да и повторно проверенные страницы проверятся не будут, надо лишь раз проехаться по ним и найти нужные.

Вы имеете доступ к установке кодов на этот сайт ?
2. Или Сильно затруднит, листая эти страницы, тыкать кнопку вставки закладки браузера ?
Я на счёт вставки скрипта-закладки (bookmarklet)

Нет, доступа не имею.
И тыкать кнопку сильно затруднит, ибо этих страниц может быть и более 30к )

Diablos,
Во фрейме эти страницы будут работать ?
Вам просто нун запустить однократную проверку и оттестировать ?
Если их 30к - кто будет их листать - Вы ?
Если Да то мон листать этой же кнопкой, вставки закладки
========================
Т.е помимо поиска нужна и листалка ?

Deff,
1. Нет.
2. Да, запустить раз и найти нужные страницы.
3. Сам скрипт, я надеюсь.

Я вижу это так.
Вставляю в скрипт ссылку такого вида "http://suite.com/15/1/", далее скрипт ищет в коде страницы <div id="error_box">, если находит, переходит на следующую страницу "http://suite.com/15/2/" и снова ищет в коде <div id="error_box">, если не находит такой id, то оповещает об этом меня, ну или просто где-то это отмечает, чтобы потом можно было узнать на какой странице он не нашел этот id. И так далее, пока не проверит заданный мной диапазон страниц.

Листать самому не вариант, можно конечно автокликер поставить, но как-то не надежно это выглядит.

Diablos,
Цена у Вопроса есть ?
Или за интерес ? Задача индивидуальная, мало применимая в дальнейшем, работа и обсуждение - пару дней

Идеи про фреймы и буркмарклеты идиотские.

Жесть какая-то.

Тут обсуждать нечего, такой скрипт пишется максимум за 1 час, главное чтобы урлы были любого вида /1/ /22/ или подобные, как нужно. У меня таких пачка, но за 300 рублей я могу разве что потролить.

Что тут обсуждать?

две переменные

var i = 1;
var iCurrent = getFromStorage();
var iEnd = 999;

... сюда ищем див, шлем аджаксы, пишем в базу или придумай сам что нужно

var url = '/15/'+iCurrent+'/';

location.href = url;

getFromStorage() - надеюсь сами напишете и логику куда пихать найденное.

Можете ещё дней 5 пообсуждать что-нибудь, но тема не стоит 2х дней обсуждения и писанины.

На всю логику ушло 6 минут. 50 мин уйдет ещё на вылизывание кода, кофе, плевание в потолок минут 10 и можно сдавать.

a26cf84d,
Ну если такой быстрый и умный - вперёд,
Вопрос в том, чтобы вставить скрипт на чужой сайт, на Greasemonkey, не пишу(и пока не хочу), могу обычным ява-скрипт, но долго

Deff,
Я выше предлагал 300 руб, ну могу еще 200 накинуть, итого за 500 руб, устроит? Просто не вижу смысла платить больше за скрипт который мне после одного использования не нужен будет, всего то ради нескольких страниц. Понимаю конечно что чужое время и знания стоят денег, но сама цель не стоит ни одной копейки, по этому и спрашивал изначально о существование софта/скрипта с подобным функционалом, никого не хотелось просить писать его для меня.

На гманке никто не пишет, это плагин для FF, он висит на панели и запускает js скрипты после загрузки страницы. Ну напиши на Tampermonkey для хрома :)

Любая обезьяна в нем разберется за 5 минут. Потому и грейсманки. ;)

Ты читать то умеешь?
Я тебе скрипт накидал, даже в чем выполнить сказал. Не ломайся как школоло, накатай за час и получи экспу и бабло на кофе.

Diablos,
А принципе, есть готовые проги, спарсивающие контент всего сайта в папку со страницами, А поиск контента по страницам мон наверно выполнить даже средствами операционки, типо поиск контента в файлах
Пример такой проги => http://www.httrack.com/
Есть русский язык и Справка(В проге). Есть и подробное описание взаимодействия (ищите в инете в Инете)
(Знаю что есть и лучше) Эту скачал лет пять назад

Ну не интересно, и озабочен иным кодом.
Вот ты не школоло, берешься за всё что попросят?
Настроение вроде как помочь, но впрягаться и рыть погреб за кого-то за триста р. ну не в кайф(Тем паче за углом стоит экскаватор(Он об этом просто не знает, или не знал

Diablos,
Посмотрите Прогу и поиском по файлам в проводнике вытащите нужный контент из скачанного. У мну 30 меговый сайт скачивает за полчаса

К сожалению этот вариант не подходит.

Diablos, покажите с какого тэга нужно вытаскивать данные. И в каком формате сохранять? В текстовый файл? Ну и ссылочку на сам сайт.

Diablos,
При скачивании можно авторизоваться на сайте

Ruslan_xDD, Примерно так выглядят страницы которые надо пропускать:

<html>
<head>...</head>
<body>
	<div class="page_content_ctn">
		<div class="page_content">
			<div id="error_box">
			Во время обработки вашего запроса произошла ошибка:
			<span class="error"></span>
		</div>
	</div>
</div>
</body>
</html>

А так которые нужно отмечать:

<html>
<head>...</head>
<body>
	<div id="main" class="page_content">
		<div id="main_content">...</div>
</div>
</body>
</html>

В txt файл или чтобы уведомление выскакивало в браузере, мол найдена такая страница, либо просто скрипт прекращал работу на найденной странице да и все, при условии что она будет открыта в браузере или где либо будет отмечено на какой странице он перестал работать. Как проще написать код, так пусть и будет.

Diablos, а ссылки нет? А то тестировать не на чем.

:) Челу легче денег заплатить, чем раскрывать страшную тайну... (или напрягаться самому...
Я грю, за углом экскаватор и бесплатный, дык он напрягает народ рыть...

Ruslan_xDD,
Ссылки нет, ибо сайт находится в закрытой сети.

Проверить можно, к примеру можно взять рутрекер, кинозал или какой другой торрент-трекер.

Вот нашел нечто подобное, чтобы вам не искать:

Как и в моем случае, ссылки заканчиваются номерами.

Вносим в скрипт первую ссылку или её номер, скрипт начинает проверять наличие <div class="mn_wrap"> в коде страницы, если находит, то пропускает её и переходит к следующей странице прибавляя +1 к её номеру, снова проверяет наличие <div class="mn_wrap">, если не находит, отмечает её любым способом.

В моем случаем <div id="error_box">, в кинозале это <div class="mn_wrap">, все остальное схоже, надеюсь не важно то что там class а не id.

Deff,
Я же написал "К сожалению этот вариант не подходит.", зачем я буду расписывать из-за чего этот вариант мне не подходит, это что-то изменит?

Сам сайт находится в закрытой сети, просто ввести логин и пароль в программу недостаточно, ибо авторизация на сайте происходит с помощью токена, вот и вся "страшная тайна".

И я тут абсолютно никого не напрягаю и даже не прошу что-то делать, изначально я пришел сюда с вопросом о существование "инструментов" с описанным мною функционалом, как выяснилось такого нет, но можно написать, а так-как время - деньги, я поинтересовался о цене, цена меня не устроила, ибо моя цель не стоит и копейки, но я был готов заплатить за потраченное время так-как не владею вашими знаниями по написанию скриптов.

Если бы я обращался с просьбой, то написал бы в соответствующий раздел на форуме или на крайний случай к фрилансерам на всем известном сайте.

Diablos,
Можно было не расписывать. Ну раз так, то и я распишу.

Я потратил 5 лет на изучение js. Потратил 20000 руб в *12 мес. за *5 лет = 1 200 000 рублей на еду. И так каждый на этом форуме. Если брать заказы по 500 руб. в день, а больше тут никто не предлагает, то в мес. будет 15 000 руб. Итого убыток 5000 в месяц + 1200000 долга за еду.

Не надо нам впаривать про ваши цели. Не хотите платить адекватные деньги за ваши прихоти, не изливайте свои истории. Их никто не читает кроме троллей. Вы только ненависть или презрение вызываете.

Либо изучите вопрос сами либо не тролльте людей за смешное вознаграждение.

Diablos,
Не берите в голову... Ну я изначально появился в теме отвлекаясь от своих задач, думал, возможно помочь советом. Ну советы не подошли, ну чож. Звиняйте:) . Попутно прояснил для себя ситуацию, наскок чел действительно нуждается, либо тут та же совокупность (как и у мну) По-быстрому решить задачу, не отвлекаясь от более важных дел(что в предпраздники и окончания года естественно) ... Убежал...
С Наступающим!

a26cf84d,
Можно было и мимо пройти если вас так это до жжения парит.

Мне должно быть не наплевать кто и сколько потратил денег/лет?

Мне казалось форумы существуют для обсуждения определенных тем, где можно что-то спросить и где тебе могут помочь.

Я задал простой вопрос в разделе оффтопик, а не предложение в разделе работа, ибо мне совсем не нужно чтобы кто-то за деньги выполнял мои "прихоти", я получил на свой вопрос ответ с оговоркой и решил поинтересоваться сколько это будет стоить, цена меня не устроила и на этом можно было заканчивать разговор, но тут нарисовались вы, очень голодный и умный, мол что все легко и просто, за один час ковыряния в носу смогли бы написать нужный скрипт, но видите ли вам не хватает на еду и за копейки ковыряться в носу не станете. Сами ведь разжигаете, если что-то не нравится, всегда можно пройти мимо.

Deff,
Все в порядке, просто речь зашла о деньгах и тут началось возгорание у мимо проходившего.

Спасибо что пытались помочь и вас с наступающим.

Мало ли что тебе там кажется. http://phpclub.ru/faq/WhyForum

a78a3af8,
http://javascript.ru/about-project
Ну так и сиди там, кто мешает?

Diablos,
Ты будешь последним, кого я спрошу, что мне делать. Очередь займи.

a78a3af8,
Ну так не надо детский сад устраивать, тогда и не будут говорить что тебе делать и куда идти.

Diablos,
Занял? Молодец, а теперь не лезь вперед очереди.

a78a3af8,
Вот ты жалуешься на недостаточность питания, а ты не задумывался сменить место обитания на более пригодное, где пасутся подобные тебе недотролли?