Показать сообщение отдельно
  #1326 (permalink)  
Старый 24.12.2013, 23:51
Аватар для Gozar
Отправить личное сообщение для Gozar Посмотреть профиль Найти все сообщения от Gozar
 
Регистрация: 07.06.2007
Сообщений: 7,504

Сообщение от Maxmaxmaximus6
пособ внешнему чему-то узнать список файлов на севрере.
Это не так уж и сложно, как кажется.

Пишем робота, который обойдет все страницы и соберет все ссылки, попутно копирую страницу на HDD для дальнейших манипуляций.

В основном сайты на HDD занимают места от 4 до 300 Мегабайт в чисто текстовом виде.

Далее если первичный парсинг не устраивает, то перепарсиваем сохраненные страницы и редактируем полученную базу. Не вручную конечно.

Страницы для удобства можно грузить в дом, запускать скрипты и т.д.

Я знаю у меня есть свой поисковик.
__________________
Последний раз редактировалось Gozar, Сегодня в 24:14.
Ответить с цитированием