Gozar, да я понимаю, что поисковики ищут ссылки на страницах, и уже по ним находят страницы.
|
Дело в том что твой сервер может принимать uri которые не являются ссылками на страницы а просто служебные например
/api.php /fdsfg.554f.fff....dd.d.d.dd по этому ты должен сказать поисковику по каким uri расположены ресурсы твоего сайта. это можно сделать либо указав карту сайта либо он сделает это автоматически как сможет. |
Maxmaxmaximus6,
да знаю я) Просто хотел узнать может есть какой то способ) |
Цитата:
Потому как можно просто сканить базу nic.ru или еще какую-нибудь и брать адреса оттуда или просто по словарю подставлять мышка.рф, mouse.com и простукивать на наличие text/html в / index.html index.htm index.php ..., а далее парсить на наличие ссылок. |
Способ внешнему чему-то узнать список файлов на севрере.
Он не знал что тут система запрос ответ а не файлы и списки файлов, а теперь до него дошло что сервер просто отвечает на буквы так, как захочет), а файлы со страничками это абстракция. |
Цитата:
Пишем робота, который обойдет все страницы и соберет все ссылки, попутно копирую страницу на HDD для дальнейших манипуляций. В основном сайты на HDD занимают места от 4 до 300 Мегабайт в чисто текстовом виде. Далее если первичный парсинг не устраивает, то перепарсиваем сохраненные страницы и редактируем полученную базу. Не вручную конечно. :) Страницы для удобства можно грузить в дом, запускать скрипты и т.д. Я знаю у меня есть свой поисковик. |
таким способом ты не узнаешь файлы на сервере валера ты тока составишь карту сайта
|
кто здесь?
|
Цитата:
|
Цитата:
|
Часовой пояс GMT +3, время: 17:36. |