ну а причем здесь роботы?
|
на сколько мне говорили, robots.txt нужен для поисковиков. чтобы не индескировали не нужное.. не?? я не прав??
|
skrudjmakdak,
Тут просто нун реально поработать с живым примером, траблы всплывают, Типично на первых страницах бирж и магазинов, таблиц спецификаций: какие-то ссылки или селекторы, или формы, которые либо уведут в никуда, либо не вызовут никаких действий |
skrudjmakdak,
например этому http://developer.yahoo.com/ сервису откажут |
т.е. ты хочешь сказать, что они могут закрыть сервис? именно для него
|
skrudjmakdak,
это ответ если запросить как обычный файл c сервиса яхо Цитата:
Цитата:
|
а как ты посм. http://www.otcmarkets.com/robots.tst не открывает.. или подругому?
|
skrudjmakdak,
непонял ваш сокр. |
как посмотрел?
|
|
Часовой пояс GMT +3, время: 04:59. |