Исправить ошибку в HTML

[clecar]

Они существуют, но адреса изменились, интересно что alt к картинкам прописывал после изменения, взявшись устранять якобы ошибки. Сейчас понятно, что именно эти alt несут 404, а как остановить этих роботов. И почему они, раньше такого не делали. Может со временем сами заглохнут. Или пройти сново по сайту и уничтожить alt.

[laimas]

Они существуют, но адреса изменились

Сообщайте роботам, меняя адреса. Не забывайте править файл robots.txt при изменениях структуры каталогов.

[clecar]

Да я как раз об этом у меня до начала работы робот txt вообще был пуст а файла sitemap вообще не было. Сейчас robots.txt
Host:clecar.ru
Sitemap: http://clecar.ru/sitemap.txt

sitemap.txt
1. http://clecar.ru/
2. http://clecar.ru/dvigalki/naste/naste.html
3. http://clecar.ru/dvigalki/p1/pazl_mylt.html
4. http://clecar.ru/dvigalki/skolko/martiska.html
5. http://clecar.ru/dvigalki/samodelrin/pomogi.html
6. http://clecar.ru/dvigalki/modnica/primerka4.html
7. http://clecar.ru/dvigalki/aplik/vesel-apl.html
8. http://clecar.ru/risovalki/css/kartinkia.html
9. http://clecar.ru/risovalki/raskraska/ris.html
10. http://clecar.ru/risovalki/canva/piksel.html
11. http://clecar.ru/risovalki/risovalka/risy.html
12. http://clecar.ru/raznoe/PLEER.html
13. http://clecar.ru/raznoe/diaf/diafilm.html
14. http://clecar.ru/raznoe/masha/balyem.html
15. http://clecar.ru/raznoe/krosvord/krosvord.html
16. http://clecar.ru/raznoe/veskartin/azbyka.html
17. http://clecar.ru/raznoe/veskartin/1956_09.html
18. http://clecar.ru/animas/tabyret/bolt-t.html
19. http://clecar.ru/animas/nepruha/mylt.html
20. http://clecar.ru/animas/tranzistor/tranz.html
21. http://clecar.ru/animas/dvigatel/dvig.html
22. http://clecar.ru/animas/poser/poser.html

Где ошибся других у меня не было.

[clecar]

И это продолжается
[Wed Mar 08 04:12:24 2017] [error] [client 217.69.143.64] File does not exist: /home/users/i/id190382234-0/domains/clecar.ru/vesel-apl, referer: http://go.mail.ru/search_images

[laimas]

sitemap.txt

В гости к Яшке и читать что такое robots.txt , а что такое sitemap.

И это продолжается

Оно и будет продолжаться до тех пор, пока в .htaccess не будет сообщено роботам, что данный путь изменился. Есть целый ресурс в сети посвященный .htaccess, на него, и почитать, что это такое, есть у них и форум, если что, разжуют.

[clecar]

Спасибо, займусь. Вопрос откуда они этот то путь ошибочный взяли, у меня до изменения пути HTML допуск почти нигде не стоял, титлы не везде были прописаны, alt на картинках не было robots пустой sitemap не было, может как раз их появление и вызвало интерес у роботов. Пока ощущение что как раз прописывание alt и есть моя главная ошибка идёт то от search_images.

[laimas]

Вопрос откуда они этот то путь ошибочный взяли

Они существуют, но адреса изменились - а значит к ним ранее были обращения роботов, а свои опросы они хранят в кеше, по которым и опрашивают. Сам робот путей не выдумывает. До каких пор будут уже говорилось.

Кроме того, настройку подобных каталог делают не только ради роботов, но и чтобы отсечь лишнюю нагрузку на сайт. Если изображений много, если они "востребованы", то любой ушлый ресурс может сосать их с сайта. А если у него посещаемость не хилая, то это может создать для сайта приличную нагрузку.

В сети по данному вопросу написано и переписано, найти, прочесть и навести подобным образом у себя порядок.

[clecar]

laimas Спасибо почитал проверил на яндексе свою карту и нашёл ошибку. Карта не читалась, потому что в каждой строке поставил номер, лентяй сразу не сделал этого посмотрел где то пронумерованный пример.
Посмотрю какова будет теперь реакция робота.

[laimas]

Карта сайта, это xml, а не текстовый файл.

[clecar]

В яндексе сказано, xml или текстовый файл, только что проверял ошибок сейчас sitemap.txt нет. А так действительно если вводить на определённые страницы ограничения или какие либо приоритеты необходим xml. Вероятно скоро доросту и до xml, а пока сойдёт и так.