Javascript-форум (https://javascript.ru/forum/)
-   Общие вопросы Javascript (https://javascript.ru/forum/misc/)
-   -   Парсить иcходник страницы после всех манипуляций JS с DOM (https://javascript.ru/forum/misc/32904-parsit-ickhodnik-stranicy-posle-vsekh-manipulyacijj-js-s-dom.html)

psixojoker 03.11.2012 16:58

Парсить иcходник страницы после всех манипуляций JS с DOM
 
В таблицу с помощью js(Ajax) при загрузке страницы сразу подгружаются данные(их и нужно спарсить). Если просмотреть исходный код страницы, то данных там нет. Понятно, что они подгружаются динамически и уже на клиентской стороне.
Вопрос, как парсить?

Я нашел статью, где описывается как написать плагин к хрому на jQuery, который вроде бы может сначала получить исходник, потом выполнить все js скрипты и дать возможность рыться в сформированном документе. Сделал все как там написано - не работает. Данных нет.
К Selenium боюсь прикасаться, потому что чувствую, не разберусь в нем.

Пытался разобраться откуда именно подгружаются данные, нашел обфусцированный js на 26 тыс. строк кода, который очевидно этим и занимается, однако там черт ногу сломит - я не смог разобраться.

Подскажите пожалуйста, как мне лучше(проще) поступить?

dmitriymar 03.11.2012 17:03

инструменты разработчика есть в любом браузере сейчас

psixojoker 03.11.2012 18:27

Спасибо, не помогло.

dmitriymar 03.11.2012 18:32

Цитата:

Сообщение от psixojoker
Спасибо, не помогло.

всем помогают вообщето. стоит изучить их возможности

DjDiablo 03.11.2012 18:55

Если данные подгружаются ajax, то спрашивается на кой хрен их вообще парсить ?

Что мешает получить данные через ajax сразу и обойтись вообще без парсера ???????

psixojoker 03.11.2012 19:36

Я уже не уверен что подгрузка идет именно через ajax. FireBug не отлавливает это. Скорее всего все манипуляции идут в основном скрипте на 26 тыс. строк. Разобраться откуда берутся данные в нем чрезвычайно сложно.

Что касается изучить возможности браузеров и т.д. - к сожалению времени на это сейчас нет. В инете нет норм. примеров. Один правда есть, но автор видимо больше теоретик, чем практик, и впечатление такое что никто такого никогда не делал.

Мне достаточно примера получения исходника (конечного) через расширение любого браузера. Со всем остальным разберусь

melky 03.11.2012 19:53

Цитата:

Сообщение от psixojoker
Подскажите пожалуйста, как мне лучше(проще) поступить?

проследить ajax запрос.
Цитата:

Сообщение от psixojoker
Скорее всего все манипуляции идут в основном скрипте на 26 тыс. строк.

тогда придётся отслеживать все действия скрипта.

если не умеете пользоваться отладчиками, кидайте сюда ссылку на страницу, где этот скрипт находится

DjDiablo 03.11.2012 20:20

кинь адрес сайта, точнее страницы которую надо пропарсить

psixojoker 03.11.2012 20:34

http://www.oddsportal.com/soccer/arm...esults/page/2/

коэффициенты подгружаются именно динамически.

melky 03.11.2012 22:19

Цитата:

Сообщение от psixojoker (Сообщение 213925)
http://www.oddsportal.com/soccer/arm...esults/page/2/

коэффициенты подгружаются именно динамически.

тама web socket - я хз, с ними ещё не работал.

данные забираются отсюда, и они приходят в ввиде шифра.

wss://oppush.livesport.eu/WebSocketConnection-Secure


Часовой пояс GMT +3, время: 11:24.