Gozar, т.е по сути они "гуляют" по ссылкам которые находят на странице?

Они выкачивают страницу, кормят ее парсеру, затем посылают HEAD по всем ссылкам и если оттуда прилетает что-то внятное, то выкачивают ... и так по кругу.

Робот видит сайт в виде исходного кода и считывает часть текста (если текста не очень много, то всю страницу целиком), поэтому даже трюк такой есть, что всю важную инфу нужно размещать как можно выше, а с помощью CSS уже ставить куда её надо.

Упрощёно да, он находит ссылки на странице и ходит по ним. Ему также можно написать sitemap.xml, где описать что и как индексировать и т.д. В случае AJAX ссылок с #, гугл (насчёт других не знаю) позволяют задать куда идти за статичным файлом, если таковой есть.

Т.е. JavaScript роботы не понимают, но если делать деградацию, то можно скармливать им статичную инфу.

Робот видит сайт в виде чего угодно, в зависимости от робота.

вроде гугловские боты понимают.
За описание спасибо, т.е по сути если негде нет ссылки на страницу то ее не получишь!!?

Нет. Гугл (хотя я думаю не только гугл) для хеш ссылок (которые использовались до внедрения history api) имеет специальное АПИ, что урлы вида #! ссылаются на статичный файл, который поисковик может прочитать. С history api это стало ненужно, т.е. нужно лишь иметь статичный файлик для них и всё.

Это уже к СЕОшникам

По сути. Если нигде нет ссылки на страницу, то по ней не перейти, чтобы пропинговать ее, а затем узнав, что это страница, а не например jpeg скачать ее и распарсить.

Жаль, а я думал есть какой то способ о котором я не знаю:)

а еще есть

onclick="document.location.href ='/tuda'"

а еще webmaster.yandex.ru можно запостить ссылку напрямую, у гугла также