Парсить иcходник страницы после всех манипуляций JS с DOM
В таблицу с помощью js(Ajax) при загрузке страницы сразу подгружаются данные(их и нужно спарсить). Если просмотреть исходный код страницы, то данных там нет. Понятно, что они подгружаются динамически и уже на клиентской стороне.
Вопрос, как парсить? Я нашел статью, где описывается как написать плагин к хрому на jQuery, который вроде бы может сначала получить исходник, потом выполнить все js скрипты и дать возможность рыться в сформированном документе. Сделал все как там написано - не работает. Данных нет. К Selenium боюсь прикасаться, потому что чувствую, не разберусь в нем. Пытался разобраться откуда именно подгружаются данные, нашел обфусцированный js на 26 тыс. строк кода, который очевидно этим и занимается, однако там черт ногу сломит - я не смог разобраться. Подскажите пожалуйста, как мне лучше(проще) поступить? |
инструменты разработчика есть в любом браузере сейчас
|
Спасибо, не помогло.
|
Цитата:
|
Если данные подгружаются ajax, то спрашивается на кой хрен их вообще парсить ?
Что мешает получить данные через ajax сразу и обойтись вообще без парсера ??????? |
Я уже не уверен что подгрузка идет именно через ajax. FireBug не отлавливает это. Скорее всего все манипуляции идут в основном скрипте на 26 тыс. строк. Разобраться откуда берутся данные в нем чрезвычайно сложно.
Что касается изучить возможности браузеров и т.д. - к сожалению времени на это сейчас нет. В инете нет норм. примеров. Один правда есть, но автор видимо больше теоретик, чем практик, и впечатление такое что никто такого никогда не делал. Мне достаточно примера получения исходника (конечного) через расширение любого браузера. Со всем остальным разберусь |
Цитата:
Цитата:
если не умеете пользоваться отладчиками, кидайте сюда ссылку на страницу, где этот скрипт находится |
кинь адрес сайта, точнее страницы которую надо пропарсить
|
|
Цитата:
данные забираются отсюда, и они приходят в ввиде шифра. wss://oppush.livesport.eu/WebSocketConnection-Secure |
Часовой пояс GMT +3, время: 10:36. |