28.10.2018, 22:16
|
|
Профессор
|
|
Регистрация: 20.01.2014
Сообщений: 150
|
|
|
Запрос страницы сайта с php
Всем привет! На https://www.bloomberg.com/profiles/c...th-america-inc
нужно отправить запрос и получить ВСЮ страницу, аналог этого:
file_get_contents('https://www.bloomberg.com/profiles/companies/0003530D:US-united-grinding-north-america-inc');
У кого получиться заплачу, не обижу. Нужно на php.
Последний раз редактировалось wadim, 29.10.2018 в 11:45.
|
|
29.10.2018, 09:34
|
 |
Профессор
|
|
Регистрация: 08.11.2017
Сообщений: 641
|
|
|
|
|
29.10.2018, 10:03
|
|
Профессор
|
|
Регистрация: 14.01.2015
Сообщений: 12,989
|
|
|
SuperZen,
причем тут картинки, нужен код страницы для последующего граббера, а данный сайт имеет хорошую защиту, надо полагать с привлечением JS.
|
|
29.10.2018, 10:16
|
|
Профессор
|
|
Регистрация: 04.12.2012
Сообщений: 3,799
|
|
|
Сообщение от laimas
|
|
надо полагать с привлечением JS
|
Что-то я не вижу для чего тут может понадобится js...
Со страницы же просто нужно получить информацию о компании (Название, описание, адрес, etc.)?
Думаю обычного curl, который будет косить под браузер должно хватить. |
|
29.10.2018, 10:33
|
|
Профессор
|
|
Регистрация: 14.01.2015
Сообщений: 12,989
|
|
|
Сообщение от Nexus
|
|
Думаю обычного curl, который будет косить под браузер должно хватить.
|
Ну и в чем проблема, сложно попробовать? 
В чем суть JS? А в том, что с CURL с сохранением кук легко обмануть атакуемого, а вот ответ от клиента с выполнением js сценария, это посложнее будет, хотя уже есть решения с выполнением такого на сервере. |
|
29.10.2018, 11:22
|
|
Профессор
|
|
Регистрация: 04.12.2012
Сообщений: 3,799
|
|
|
Сообщение от laimas
|
|
Ну и в чем проблема, сложно попробовать?
|
Лень) После работы, может быть, попробую. На домашнем пк есть класс, имитирующий браузер.
|
Сообщение от laimas
|
|
ответ от клиента с выполнением js
|
Сервер на запрос отдает все данные в виде html, даже если js есть, то нафига он нам нужен, если данные уже получены? |
|
29.10.2018, 12:11
|
|
Профессор
|
|
Регистрация: 08.11.2017
Сообщений: 641
|
|
Сообщение от laimas
|
SuperZen,
причем тут картинки, нужен код страницы для последующего граббера, а данный сайт имеет хорошую защиту, надо полагать с привлечением JS.
|
Потому что phantomjs это headless-browser, открываешь ссылку, там исполняется html+js, по таймауту берешь DOM, и парсишь его, я предполагал вот это... Да, берешь CEF, тоже самое... |
|
29.10.2018, 14:02
|
|
Профессор
|
|
Регистрация: 14.01.2015
Сообщений: 12,989
|
|
|
SuperZen,
я так думаю, что нужен граббер чужого, то есть не это.
|
|
29.10.2018, 14:03
|
|
Профессор
|
|
Регистрация: 14.01.2015
Сообщений: 12,989
|
|
|
Сообщение от Nexus
|
|
Сервер на запрос отдает все данные в виде html
|
Сервер еще подумает, что отдать. Ищите на хабре, есть там о "борьбе" подобной, не помню точно с каким доменом, есть и на хакер.ру, было по крайней мере. |
|
30.10.2018, 13:02
|
|
Профессор
|
|
Регистрация: 08.11.2017
Сообщений: 641
|
|
|
Сообщение от laimas
|
SuperZen,
я так думаю, что нужен граббер чужого, то есть не это.
|
Это оно и есть |
|
|
|
