Тут задержку в основном и будут давать соединения, ведь и сама страница может иметь запросы. Ну собственно вам же ничего не стоит запросить file_get_contents('http://javascript.ru/forum/') и увидеть результат отклика, и если будет отвечать так как у меня, иногда просто ждать не охота и обрываю соединение, то не сложно догадаться о результатах работы. )
Если ищется что-то, что не меняется во времени, то такие вещи делают разово, и планировщиком, после чего складывается в индекс.
|