Javascript-форум (https://javascript.ru/forum/)
-   Оффтопик (https://javascript.ru/forum/offtopic/)
-   -   Смишных картинок тред (https://javascript.ru/forum/offtopic/35821-smishnykh-kartinok-tred.html)

cyber 24.12.2013 22:03

Gozar, да я понимаю, что поисковики ищут ссылки на страницах, и уже по ним находят страницы.

Maxmaxmaximus6 24.12.2013 22:39

Дело в том что твой сервер может принимать uri которые не являются ссылками на страницы а просто служебные например

/api.php
/fdsfg.554f.fff....dd.d.d.dd

по этому ты должен сказать поисковику по каким uri расположены ресурсы твоего сайта. это можно сделать либо указав карту сайта либо он сделает это автоматически как сможет.

cyber 24.12.2013 22:57

Maxmaxmaximus6,
да знаю я) Просто хотел узнать может есть какой то способ)

Gozar 24.12.2013 23:26

Цитата:

Сообщение от cyber
Просто хотел узнать может есть какой то способ)

Способ для чего?

Потому как можно просто сканить базу nic.ru или еще какую-нибудь и брать адреса оттуда или просто по словарю подставлять мышка.рф, mouse.com и простукивать на наличие text/html в / index.html index.htm index.php ..., а далее парсить на наличие ссылок.

Maxmaxmaximus6 24.12.2013 23:28

Способ внешнему чему-то узнать список файлов на севрере.
Он не знал что тут система запрос ответ а не файлы и списки файлов, а теперь до него дошло что сервер просто отвечает на буквы так, как захочет), а файлы со страничками это абстракция.

Gozar 24.12.2013 23:51

Цитата:

Сообщение от Maxmaxmaximus6
пособ внешнему чему-то узнать список файлов на севрере.

Это не так уж и сложно, как кажется.

Пишем робота, который обойдет все страницы и соберет все ссылки, попутно копирую страницу на HDD для дальнейших манипуляций.

В основном сайты на HDD занимают места от 4 до 300 Мегабайт в чисто текстовом виде.

Далее если первичный парсинг не устраивает, то перепарсиваем сохраненные страницы и редактируем полученную базу. Не вручную конечно. :)

Страницы для удобства можно грузить в дом, запускать скрипты и т.д.

Я знаю у меня есть свой поисковик.

Maxmaxmaximus6 25.12.2013 01:06

таким способом ты не узнаешь файлы на сервере валера ты тока составишь карту сайта

Gozar 25.12.2013 01:40

кто здесь?

cyber 25.12.2013 02:01

Цитата:

Сообщение от Gozar
кто здесь?

где?)

Maxmaxmaximus6 25.12.2013 02:05

Цитата:

Сообщение от cyber
где?)

здесь)


Часовой пояс GMT +3, время: 17:36.