проблема с запросом XMLHTTPRequest

[Vostokkk]

Написал запросчик методом GET:

Sub HD_TimeFrame_()
Dim XMLHTTP As Variant, URL As String, HD_TimeFrame As String

URL = "http://ru.investing.com/common/modules/js_instrument_chart/api/data.php?symbol=S%2526P%2B500&pair_id=166&pair_id_for_news=166&chart_type=area&pair_interval=86400&candle_count=120&events=yes&volume_series=yes"

Set XMLHTTP = CreateObject("MSXML2.XMLHTTP")
  With XMLHTTP
    .Open "GET", URL, False
    .setRequestHeader "Accept", "application/json, text/javascript, */*; q=0.01"
    .setRequestHeader "Accept-Encoding", "gzip, deflate, sdch"
    .setRequestHeader "Accept-Language", "ru-RU,ru;q=0.8,en-US;q=0.6,en;q=0.4"
    .setRequestHeader "Connection", "keep-alive"
    .setRequestHeader "Host", "ru.investing.com"
    .setRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36"
    .setRequestHeader "X-Requested-With", "XMLHttpRequest"
    .setRequestHeader "Referer", "http://ru.investing.com/indices/us-spx-500"
    .setRequestHeader "Content-Type", "application/json"
    .send
  End With

  HD_TimeFrame = XMLHTTP.responseText
'  Debug.Print HD_TimeFrame
  Set XMLHTTP = Nothing
End Sub

По идее он должен возвратить JSON, но увы - возвращает какой-то невостребованный HTML. "Сижу" на этой проблеме уже неделю, весь гугл и яндекс обшарил - ответов нет. Думал, может комп глючит где-то. Сегодня написал такой же запросчик, но на сайт Yahoo (на страницу где есть JSON). Результат положительный - JSON вернул корретно. Помогите найти причину ошибки.
.

[krasovsky]

С чего ради он таки должен тебе json? Потому что ты указал аpplication/json?

[Vostokkk]

С чего ради он таки должен тебе json? Потому что ты указал аpplication/json?

Потому что данные, на которые делается запрос представлены на странице в JSON.

[krasovsky]

Потому что данные, на которые делается запрос представлены на странице в JSON.

Судя по редиректу на главную страницу хтмл которой ты получаешь, либо url не верный, либо параметры не верны, либо доступ к этим api только для авторизированных пользователей, либо эти api ныне закрыты. Выбирай
Вероятно теперь доступно только это http://www.investing.com/webmaster-tools/

[Vostokkk]

Судя по редиректу на главную страницу хтмл которой ты получаешь, либо url не верный, либо параметры не верны, либо доступ к этим api только для авторизированных пользователей, либо эти api ныне закрыты. Выбирай
Вероятно теперь доступно только это http://www.investing.com/webmaster-tools/

Вот. Тот же сайт, но запрос методом POST.

Sub HistoricalData()
Dim XMLHTTP As Variant, URL As String, Data As String

URL = "http://ru.investing.com/instruments/HistoricalDataAjax"
Set XMLHTTP = CreateObject("MSXML2.XMLHTTP")
With XMLHTTP
  .Open "POST", URL, False
  .setRequestHeader "Accept", "text/plain, */*; q=0.01"
  .setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
  .setRequestHeader "Host", "ru.investing.com"
  .setRequestHeader "Accept-Encoding", "gzip,deflate"
  .setRequestHeader "X-Requested-With", "XMLHttpRequest"
  .setRequestHeader "Referer", "http://ru.investing.com/indices/us-spx-500-historical-data"
  .setRequestHeader "Accept-Language", "uk-UA,uk;q=0.8,ru;q=0.6,en-US;q=0.4,en;q=0.2,de;q=0.2"
  .setRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2062.103 Safari/537.36"
  .send "action=historical_data&curr_id=166&st_date=01%2F11%2F2014&end_date=15%2F12%2F2014&interval_sec=Daily"
End With

Data = XMLHTTP.responseText
Debug.Print Data

Set XMLHTTP = Nothing
End Sub

Если ты возьмёшь URL - тоже будет редирект, но в процедуре запрос идёт туда куда надо. URL верный. (Google Chrome-F12-Network-Headers). Параметры тоже верные. Про закрытые api - не знаю, но мне мой знакомый по другому форуму демонстрирует удачный процесс соединения, а у меня - тупик. Вот где собака зарыта, все мозги стёр уже.

[krasovsky]

Как я вижу, у него другой урл и другие параметры.
Повторил запрос этого твоего знакомого с помощью этого инструмента(онлайн создание запросов) https://www.hurl.it/ - получил не json а хтмл, таблицу с результатами. Постом конечно. Гетом - дырка от бублика, как и по твоему запросу, как его не верти. Твой и так и так возвращает НИЧЕГО.

Я кстати не нашел на сайте никакой доки, так что смею предположить что все знания о запросах и получении из них результатов почерпнуты путем сидения в консолях и анализа запросов,так что повторюсь - вполне возможно что сайт уже не отдает json, или поменялись параметры, или урл. Так что либо ищи доку,если она вообще существует, либо сиди в консоли и анализируй это.

[Vostokkk]

с помощью этого инструмента(онлайн создание запросов) https://www.hurl.it/

Интересный инструмент :-)

вполне возможно что сайт уже не отдает json, или поменялись параметры, или урл

Как урл поменялся? Его же видно (Google Chrome-F12-Network-Headers) Или я что-то не понял?

Так что либо ищи доку,если она вообще существует

Да знать бы где искать :-)

[Vostokkk]

Кстати пытался регистрироваться на сайте и в код добавил пароль и имя - не помогло. Была ещё идея - зайти через прокси. Но как в коде выставить прокси - не нашёл нигде синтаксиса.
.setProxy = "54.244.126.1:80" - как ни крутил - не работает

[krasovsky]

Как урл поменялся? Его же видно (Google Chrome-F12-Network-Headers) Или я что-то не понял?

Не у тебя поменялся, а у них. К примеру: сервер отдавал некие данные по урлу www.mysite.com/myurl/, а завтра разработчики решили отдавать эти данные по другому урлу www.mysite.com/myurl2/ и никому об этом не сказали.

[krasovsky]

Кстати пытался регистрироваться на сайте и в код добавил пароль и имя - не помогло. Была ещё идея - зайти через прокси. Но как в коде выставить прокси - не нашёл нигде синтаксиса.
.setProxy = "54.244.126.1:80" - как ни крутил - не работает

Судя по всему не нужно ни реги ни прокси. Нужно знать на какой урл отправлять и какие параметры. И все. Методом тыка ты ничего не дебьешься