Gozar, да я понимаю, что поисковики ищут ссылки на страницах, и уже по ним находят страницы.

Дело в том что твой сервер может принимать uri которые не являются ссылками на страницы а просто служебные например

/api.php
/fdsfg.554f.fff....dd.d.d.dd

по этому ты должен сказать поисковику по каким uri расположены ресурсы твоего сайта. это можно сделать либо указав карту сайта либо он сделает это автоматически как сможет.

Maxmaxmaximus6,
да знаю я) Просто хотел узнать может есть какой то способ)

Способ для чего?

Потому как можно просто сканить базу nic.ru или еще какую-нибудь и брать адреса оттуда или просто по словарю подставлять мышка.рф, mouse.com и простукивать на наличие text/html в / index.html index.htm index.php ..., а далее парсить на наличие ссылок.

Способ внешнему чему-то узнать список файлов на севрере.
Он не знал что тут система запрос ответ а не файлы и списки файлов, а теперь до него дошло что сервер просто отвечает на буквы так, как захочет), а файлы со страничками это абстракция.

Это не так уж и сложно, как кажется.

Пишем робота, который обойдет все страницы и соберет все ссылки, попутно копирую страницу на HDD для дальнейших манипуляций.

В основном сайты на HDD занимают места от 4 до 300 Мегабайт в чисто текстовом виде.

Далее если первичный парсинг не устраивает, то перепарсиваем сохраненные страницы и редактируем полученную базу. Не вручную конечно. :)

Страницы для удобства можно грузить в дом, запускать скрипты и т.д.

Я знаю у меня есть свой поисковик.

таким способом ты не узнаешь файлы на сервере валера ты тока составишь карту сайта

кто здесь?

где?)

здесь)