|
Сайт полигон для веб-паука
Добрый день. не могу найти информацию в интернете, может есть у кого)
Так вот, сделать сайт-полигон для веб-паука.
Вставить: 1)ловушка из всех типов ошибок(300-500)
2) ловушка из перенаравлений(301-302)
3) разделение когда зашел на сайт робот, а когда человек
4) несколько страниц в неправильной кодировке(кодировка должна указываться в заголовке)
5) ссылки, которые не может увидеть пользователь, но робот их видит
6) страницу, раздающую контент медленно
7) разделение по web-агенту(то есть могли заходить конкретные веб-браузеры)
Мне бы инфу по этому, хочу попробовать сам сделать
|