Javascript-форум (https://javascript.ru/forum/)
-   Оффтопик (https://javascript.ru/forum/offtopic/)
-   -   Парсинг сайта (https://javascript.ru/forum/offtopic/49901-parsing-sajjta.html)

kobezzza 17.09.2014 10:37

Кстати, есть биндинг для ноды, только предварительно установи сам phantomJS, а потом уже модуль

https://github.com/sgentle/phantomjs-node

cyber 17.09.2014 11:34

kobezzza, спасибо

cyber 17.09.2014 20:42

Gozar, пробывал сделать перебор в ручную, но эффекта 0, сейчас буду гонять на phantomjs.

cyber 17.09.2014 21:49

Вопрос из бронепоезда, что я делаю не так?)
Взял пример с сайта, брал код из исходников примера и нефига...

var page = require('webpage').create();


page.onInitialized = function() {
    console.log("page.onInitialized");
};

page.onLoadFinished = function() {
    console.log( document.body.children.length ); //0
};

page.open('https://google.com');


и так тоже 0

var page = require('webpage').create();

page.open('https://google.com', function () {
    console.log( document.body.children.length ); //0
    phantom.exit();
});


стоит версия 1.9.0.. Что не так?

Gozar 17.09.2014 21:54

cyber,
А у гугла точно дети есть в боди? Ты проверил, что там вообще хоть что-нибудь есть?

cyber 17.09.2014 22:20

Gozar,146%

Gozar 17.09.2014 22:48

Цитата:

Сообщение от cyber
146%

Ты проверил это сделав дамп или вывел содержимое body? Гугл хитрый, он в браузер одно выдает, а в сканер может выдавать другое или ты можешь не получить ничего в body. Страница загрузилась? Повесить на body обработчик можешь и вызвать его?

cyber 17.09.2014 22:59

Gozar, А да мне не гугл нужно, гугл я для примера взял для этого на 5 сайтах проверил)

Gozar 17.09.2014 23:23

Цитата:

Сообщение от cyber
на 5 сайтах проверил)

Цитата:

Сообщение от Gozar
Страница загрузилась?

..........

kobezzza 17.09.2014 23:25

var page = require('webpage').create();

page.onInitialized = function() {
	console.log("page.onInitialized");
};

page.onLoadFinished = function() {
	// page.evaluate выполняет код в контексте загруженной страницы
	var children = page.evaluate(function() {
		return document.body.children;
	});
	
	console.log(children.length);
};

page.open('https://google.com');


http://phantomjs.org/quick-start.html


Часовой пояс GMT +3, время: 13:58.