Паук на JavaScript

[juser367]

https://github.com/hacker1999/asdfgh...ter/crawler.js
Я использую для поиска адресов email на сайтах-каталогах. На маленьких сайтах работает как часы. На больших падает.

[juser367]

console.log('--start');
crawler.run({
    // startUrl: '/posts',
    // filterUrlRegex: /$/,
    onMatch: function (url, content) { 
        var match = content.match(/<title>(.*)<\/title>/i);
        var title = match ? match[1] : '';
        console.log(title + ' => ' + url); 
    }, 
    onEnd: function() { 
        console.log('--end'); 
    }
});