Javascript.RU

Создать новую тему Ответ
 
Опции темы Искать в теме
  #1 (permalink)  
Старый 28.03.2017, 04:36
Gh. Gh. вне форума
Новичок на форуме
Отправить личное сообщение для Gh. Посмотреть профиль Найти все сообщения от Gh.
 
Регистрация: 28.03.2017
Сообщений: 4

Проблема с парсером из-за подгружающегося фильтра
Возникла проблема с парсером.

var request = require('request');
var cheerio = require ('cheerio');
url='https://www.premierleague.com/players/3170/Fraser-Forster/stats?se=54'
request ({url, method: 'GET', encoding: 'binary'},	
function (err,res,body) {
if (err) throw err; 
setTimeout ( function () {
var $=cheerio.load(body);
var name=$("div.name").text();
var team=$("div.info").first().text();
var position=$("div.info").last().text();
var games=$("div.topStatList").text();
console.log(name);
console.log(team);
console.log(position);
console.log(games);
},100)});

Изначально, заходя на страницу со статистикой игрока https://www.premierleague.com/player...-Forster/stats отображается общая статистика за все годы карьеры, если в выпадающем списке выбрать последний сезон, то к ссылке добавляется ?se=54, с которой я граблю. Но если пройти по ссылке, то видно что изначально подгружается общая статистика и только потом за последний сезон, который мне и нужен.
Так и мой код загружает первоначальную ОБЩУЮ статистику за все сезоны, а не за последний.
Пробовал таймер ставить- не помогает.
Хотел перед загрузкой данных передать атрибуту data-option-id значение 54. Но ничего не происходит. Помогите решить проблему.
Ответить с цитированием
  #2 (permalink)  
Старый 28.03.2017, 09:02
Аватар для Alexandroppolus
Профессор
Отправить личное сообщение для Alexandroppolus Посмотреть профиль Найти все сообщения от Alexandroppolus
 
Регистрация: 25.10.2016
Сообщений: 1,005

Сама по себе статистика подгружается аяксовым запросом https://footballapi.pulselive.com/fo...compSeasons=54 , который возвращает json.

но к нему надо прилепить дополнительные заголовки, чтобы сервер не заругался. Собственно твоя задача в том, чтобы выяснить, откуда эти заголовки брать.

Запрос можно увидеть в тех же дебажных тулзах, на вкладке Network (тип запроса - XHR).

Последний раз редактировалось Alexandroppolus, 28.03.2017 в 09:11.
Ответить с цитированием
Ответ



Опции темы Искать в теме
Искать в теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Активация динамического фильтра в галереи Clodan Events/DOM/Window 5 05.03.2016 20:42
Проблема с радио кнопками px379 Общие вопросы Javascript 8 29.07.2013 09:30
Проблема с Popup окном vovuslik jQuery 5 12.06.2010 16:12
Проблема с дизайном после отправки xmlhttprequest, Проблема с дизайном после отправки cyberx AJAX и COMET 3 01.05.2010 17:07
Проблема, в менюшке Большой джо Элементы интерфейса 0 12.07.2009 17:12