|
nodejs parser url возвращает не все данные
доброго времени суток
И так суть проблемы есть список страниц сайта с которых нужно забрать контент (неважно картинки или текст)
скрипт запускается локально через консоль (linux)
так вот при 1 запуске возвращаются все записи их около 5000 то есть
все контент получил при последущих запусках количество резко уменьшается до 2000 при этом никаких ошибок не возникает
+ если запустить параллельно еще хром и скайп то вернется еще меньше записей
+ использую модуль request для получения контента
хотел бы услышать рекомендации по выявлению таких багов
+ если ошибка связана с нехваткой памяти что бы выдовал ошибку
и т.д.
|