Javascript.RU

Создать новую тему Ответ
 
Опции темы Искать в теме
  #1 (permalink)  
Старый 03.11.2012, 14:58
Интересующийся
Отправить личное сообщение для psixojoker Посмотреть профиль Найти все сообщения от psixojoker
 
Регистрация: 23.03.2012
Сообщений: 12

Парсить иcходник страницы после всех манипуляций JS с DOM
В таблицу с помощью js(Ajax) при загрузке страницы сразу подгружаются данные(их и нужно спарсить). Если просмотреть исходный код страницы, то данных там нет. Понятно, что они подгружаются динамически и уже на клиентской стороне.
Вопрос, как парсить?

Я нашел статью, где описывается как написать плагин к хрому на jQuery, который вроде бы может сначала получить исходник, потом выполнить все js скрипты и дать возможность рыться в сформированном документе. Сделал все как там написано - не работает. Данных нет.
К Selenium боюсь прикасаться, потому что чувствую, не разберусь в нем.

Пытался разобраться откуда именно подгружаются данные, нашел обфусцированный js на 26 тыс. строк кода, который очевидно этим и занимается, однако там черт ногу сломит - я не смог разобраться.

Подскажите пожалуйста, как мне лучше(проще) поступить?
Ответить с цитированием
  #2 (permalink)  
Старый 03.11.2012, 15:03
х.з
Посмотреть профиль Найти все сообщения от dmitriymar
 
Регистрация: 21.11.2010
Сообщений: 4,589

инструменты разработчика есть в любом браузере сейчас
Ответить с цитированием
  #3 (permalink)  
Старый 03.11.2012, 16:27
Интересующийся
Отправить личное сообщение для psixojoker Посмотреть профиль Найти все сообщения от psixojoker
 
Регистрация: 23.03.2012
Сообщений: 12

Спасибо, не помогло.
Ответить с цитированием
  #4 (permalink)  
Старый 03.11.2012, 16:32
х.з
Посмотреть профиль Найти все сообщения от dmitriymar
 
Регистрация: 21.11.2010
Сообщений: 4,589

Сообщение от psixojoker
Спасибо, не помогло.
всем помогают вообщето. стоит изучить их возможности
Ответить с цитированием
  #5 (permalink)  
Старый 03.11.2012, 16:55
Профессор
Отправить личное сообщение для DjDiablo Посмотреть профиль Найти все сообщения от DjDiablo
 
Регистрация: 04.02.2011
Сообщений: 1,815

Если данные подгружаются ajax, то спрашивается на кой хрен их вообще парсить ?

Что мешает получить данные через ajax сразу и обойтись вообще без парсера ???????
__________________
Лучше калымить в гандурасе чем гандурасить на колыме
Ответить с цитированием
  #6 (permalink)  
Старый 03.11.2012, 17:36
Интересующийся
Отправить личное сообщение для psixojoker Посмотреть профиль Найти все сообщения от psixojoker
 
Регистрация: 23.03.2012
Сообщений: 12

Я уже не уверен что подгрузка идет именно через ajax. FireBug не отлавливает это. Скорее всего все манипуляции идут в основном скрипте на 26 тыс. строк. Разобраться откуда берутся данные в нем чрезвычайно сложно.

Что касается изучить возможности браузеров и т.д. - к сожалению времени на это сейчас нет. В инете нет норм. примеров. Один правда есть, но автор видимо больше теоретик, чем практик, и впечатление такое что никто такого никогда не делал.

Мне достаточно примера получения исходника (конечного) через расширение любого браузера. Со всем остальным разберусь
Ответить с цитированием
  #7 (permalink)  
Старый 03.11.2012, 17:53
sinistral
Посмотреть профиль Найти все сообщения от melky
 
Регистрация: 28.03.2011
Сообщений: 5,418

Сообщение от psixojoker
Подскажите пожалуйста, как мне лучше(проще) поступить?
проследить ajax запрос.
Сообщение от psixojoker
Скорее всего все манипуляции идут в основном скрипте на 26 тыс. строк.
тогда придётся отслеживать все действия скрипта.

если не умеете пользоваться отладчиками, кидайте сюда ссылку на страницу, где этот скрипт находится
Ответить с цитированием
  #8 (permalink)  
Старый 03.11.2012, 18:20
Профессор
Отправить личное сообщение для DjDiablo Посмотреть профиль Найти все сообщения от DjDiablo
 
Регистрация: 04.02.2011
Сообщений: 1,815

кинь адрес сайта, точнее страницы которую надо пропарсить
__________________
Лучше калымить в гандурасе чем гандурасить на колыме
Ответить с цитированием
  #9 (permalink)  
Старый 03.11.2012, 18:34
Интересующийся
Отправить личное сообщение для psixojoker Посмотреть профиль Найти все сообщения от psixojoker
 
Регистрация: 23.03.2012
Сообщений: 12

http://www.oddsportal.com/soccer/arm...esults/page/2/

коэффициенты подгружаются именно динамически.
Ответить с цитированием
  #10 (permalink)  
Старый 03.11.2012, 20:19
sinistral
Посмотреть профиль Найти все сообщения от melky
 
Регистрация: 28.03.2011
Сообщений: 5,418

Сообщение от psixojoker Посмотреть сообщение
http://www.oddsportal.com/soccer/arm...esults/page/2/

коэффициенты подгружаются именно динамически.
тама web socket - я хз, с ними ещё не работал.

данные забираются отсюда, и они приходят в ввиде шифра.

wss://oppush.livesport.eu/WebSocketConnection-Secure
Ответить с цитированием
Ответ



Опции темы Искать в теме
Искать в теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Получить список ВСЕХ элементов DOM Почемучкин Events/DOM/Window 7 16.04.2012 10:33
Выполнение JS-кода после загрузки страницы (НЕ window.onload!) fox Events/DOM/Window 1 13.02.2011 23:59
JS, RDFa, DOM, XML - Help! О_о Djumpen Общие вопросы Javascript 5 18.11.2010 18:37
Событие после обновления страницы ajax'ом kryzhovnik Events/DOM/Window 4 07.10.2009 21:32
firefox зависает после обновления страницы constantant Firefox/Mozilla 4 14.09.2009 11:30