[Gozar]

Gozar, т.е по сути они "гуляют" по ссылкам которые находят на странице?

Они выкачивают страницу, кормят ее парсеру, затем посылают HEAD по всем ссылкам и если оттуда прилетает что-то внятное, то выкачивают ... и так по кругу.