Googlebot + location.replace
 

Я в шоке, долго думал почему Googlebot не индексирует сайт как положено...
оказалось Googlebot умеет обрабатывать javascript, и скрипты такого типа
location.replace(url) воспринимает как редирект.

Кто с таким сталкивался, может есть какие интересные соображения по этому поводу? и как запретить боту исполнять скрипты?

уже давно известно
зачем?
если они ведут в пределах сайта, и их не надо индексирвоать
если они ведут вовне, то гугл их распознает как доры, и не зря
не вижу ни одной честной причины перенаправлять на чужой сайт таким способом

так вопрос не про редирект на чужой сайт, тут проблема в том что на сайт пускаю только с определенным юзерагентом, иначе в другое место редирекчу в пределах этого же сайта, вот и бот туда постоянно редиректится. Понятно, что можно добавить юзерагент бота, но интересно какие еще есть варианты.