Смишных картинок тред

[cyber]

Gozar, да я понимаю, что поисковики ищут ссылки на страницах, и уже по ним находят страницы.

[Maxmaxmaximus6]

Дело в том что твой сервер может принимать uri которые не являются ссылками на страницы а просто служебные например

/api.php
/fdsfg.554f.fff....dd.d.d.dd

по этому ты должен сказать поисковику по каким uri расположены ресурсы твоего сайта. это можно сделать либо указав карту сайта либо он сделает это автоматически как сможет.

[cyber]

Maxmaxmaximus6,
да знаю я) Просто хотел узнать может есть какой то способ)

[Gozar]

Просто хотел узнать может есть какой то способ)

Способ для чего?

Потому как можно просто сканить базу nic.ru или еще какую-нибудь и брать адреса оттуда или просто по словарю подставлять мышка.рф, mouse.com и простукивать на наличие text/html в / index.html index.htm index.php ..., а далее парсить на наличие ссылок.

[Maxmaxmaximus6]

Способ внешнему чему-то узнать список файлов на севрере.
Он не знал что тут система запрос ответ а не файлы и списки файлов, а теперь до него дошло что сервер просто отвечает на буквы так, как захочет), а файлы со страничками это абстракция.

[Gozar]

пособ внешнему чему-то узнать список файлов на севрере.

Это не так уж и сложно, как кажется.

Пишем робота, который обойдет все страницы и соберет все ссылки, попутно копирую страницу на HDD для дальнейших манипуляций.

В основном сайты на HDD занимают места от 4 до 300 Мегабайт в чисто текстовом виде.

Далее если первичный парсинг не устраивает, то перепарсиваем сохраненные страницы и редактируем полученную базу. Не вручную конечно.

Страницы для удобства можно грузить в дом, запускать скрипты и т.д.

Я знаю у меня есть свой поисковик.

[Maxmaxmaximus6]

таким способом ты не узнаешь файлы на сервере валера ты тока составишь карту сайта

[Gozar]

кто здесь?

[cyber]

кто здесь?

где?)

[Maxmaxmaximus6]

где?)

здесь)