[Маэстро]

Роботы обходят все ссылки, которые присутствуют у Вас на сайте в тегах <A>, <IMG>, <IFRAME> и др. Есть одно исключение: роботы не обходят каталоги сайта (или конкретные файлы), указанные в файле robots.txt