24.12.2013, 21:35
|
 |
I am Student
|
|
Регистрация: 17.12.2011
Сообщений: 4,415
|
|
|
Gozar, т.е по сути они "гуляют" по ссылкам которые находят на странице?
__________________
|
Цитата:
|
|
Если ограничения и условия описываются как "коробка", то хитрость в том что бы найти именно коробку... Не думайте о чем то глобальном - найдите коробку.
|
|
|
24.12.2013, 21:36
|
 |
猫
|
|
Регистрация: 07.06.2007
Сообщений: 7,504
|
|
|
Сообщение от cyber
|
|
Gozar, т.е по сути они "гуляют" по ссылкам которые находят на странице?
|
Они выкачивают страницу, кормят ее парсеру, затем посылают HEAD по всем ссылкам и если оттуда прилетает что-то внятное, то выкачивают ... и так по кругу.
__________________
Последний раз редактировалось Gozar, Сегодня в 24:14.
|
|
24.12.2013, 21:41
|
 |
Быдлокодер;)
|
|
Регистрация: 19.11.2010
Сообщений: 4,338
|
|
Сообщение от cyber
|
|
Gozar, т.е по сути они "гуляют" по ссылкам которые находят на странице?
|
Робот видит сайт в виде исходного кода и считывает часть текста (если текста не очень много, то всю страницу целиком), поэтому даже трюк такой есть, что всю важную инфу нужно размещать как можно выше, а с помощью CSS уже ставить куда её надо.
Упрощёно да, он находит ссылки на странице и ходит по ним. Ему также можно написать sitemap.xml, где описать что и как индексировать и т.д. В случае AJAX ссылок с #, гугл (насчёт других не знаю) позволяют задать куда идти за статичным файлом, если таковой есть.
Т.е. JavaScript роботы не понимают, но если делать деградацию, то можно скармливать им статичную инфу. |
|
24.12.2013, 21:47
|
|
猫
|
|
Регистрация: 07.06.2007
Сообщений: 7,504
|
|
|
Сообщение от kobezzza
|
|
Робот видит сайт в виде
|
Робот видит сайт в виде чего угодно, в зависимости от робота.
__________________
Последний раз редактировалось Gozar, Сегодня в 24:14.
|
|
24.12.2013, 21:50
|
|
I am Student
|
|
Регистрация: 17.12.2011
Сообщений: 4,415
|
|
|
Сообщение от kobezzza
|
|
JavaScript роботы не понимают
|
вроде гугловские боты понимают.
За описание спасибо, т.е по сути если негде нет ссылки на страницу то ее не получишь!!?
__________________
|
Цитата:
|
|
Если ограничения и условия описываются как "коробка", то хитрость в том что бы найти именно коробку... Не думайте о чем то глобальном - найдите коробку.
|
|
|
24.12.2013, 21:54
|
|
Быдлокодер;)
|
|
Регистрация: 19.11.2010
Сообщений: 4,338
|
|
|
Сообщение от cyber
|
|
вроде гугловские боты понимают.
|
Нет. Гугл (хотя я думаю не только гугл) для хеш ссылок (которые использовались до внедрения history api) имеет специальное АПИ, что урлы вида #! ссылаются на статичный файл, который поисковик может прочитать. С history api это стало ненужно, т.е. нужно лишь иметь статичный файлик для них и всё.
|
Сообщение от cyber
|
|
За описание спасибо, т.е по сути если негде нет ссылки на страницу то ее не получишь!!?
|
Это уже к СЕОшникам |
|
24.12.2013, 21:54
|
|
猫
|
|
Регистрация: 07.06.2007
Сообщений: 7,504
|
|
|
Сообщение от cyber
|
|
т.е по сути если негде нет ссылки на страницу то ее не получишь!!?
|
По сути. Если нигде нет ссылки на страницу, то по ней не перейти, чтобы пропинговать ее, а затем узнав, что это страница, а не например jpeg скачать ее и распарсить.
__________________
Последний раз редактировалось Gozar, Сегодня в 24:14.
|
|
24.12.2013, 21:58
|
|
I am Student
|
|
Регистрация: 17.12.2011
Сообщений: 4,415
|
|
Жаль, а я думал есть какой то способ о котором я не знаю 
__________________
|
Цитата:
|
|
Если ограничения и условия описываются как "коробка", то хитрость в том что бы найти именно коробку... Не думайте о чем то глобальном - найдите коробку.
|
|
|
24.12.2013, 22:00
|
|
猫
|
|
Регистрация: 07.06.2007
Сообщений: 7,504
|
|
|
Сообщение от cyber
|
|
Жаль, а я думал есть какой то способ о котором я не знаю
|
а еще есть
onclick="document.location.href ='/tuda'"
__________________
Последний раз редактировалось Gozar, Сегодня в 24:14.
|
|
24.12.2013, 22:01
|
|
猫
|
|
Регистрация: 07.06.2007
Сообщений: 7,504
|
|
|
а еще webmaster.yandex.ru можно запостить ссылку напрямую, у гугла также
__________________
Последний раз редактировалось Gozar, Сегодня в 24:14.
|
|
|
|
