Показать сообщение отдельно
  #1 (permalink)  
Старый 17.08.2018, 16:52
Аспирант
Отправить личное сообщение для Tipylja Посмотреть профиль Найти все сообщения от Tipylja
 
Регистрация: 17.04.2017
Сообщений: 64

Как избежать ошибки по ограничению открытых файлов?
Здравствуйте. Подскажите пожалуйста. Недавно я писал на этом форуме с вопросом, о том, как создать структуру файлов и попок из исходного каталога в другом каталоге
https://javascript.ru/forum/node-js-...j-sisteme.html
Для копирование структуры я нашел и доработал под себя вот такую функцию:
function walkSync (dir, filelist = []) {
    fs.readdirSync(dir).forEach(file => {
        const dirFile = path.join(dir, file);        
        replaceDirPath = dir.replace("sources\\products\\", replaceDir + value + "/");
         if(!fs.existsSync(replaceDirPath)){
                fs.mkdirSync(replaceDirPath);
         }

    try {
        filelist = walkSync(dirFile, filelist);

    }
    catch (err) {
        if (err.code === 'ENOTDIR' || err.code === 'EBUSY') filelist = [...filelist, dirFile];
    else throw err;
    }
});


В цикле получаем пути папок в переменной dir, далее меняем в ней путь на нужный (что бы создать данную структуру в другом каталоге) и записываем в replaceDirPath, тут же и создаем каталоги по пути replaceDirPath.
Второй момент - мне необходимо кроме того, что создать структуру в другом каталоге, так еще и вложить всю эту структуру в несколько каталогов - у меня это разные размеры фотографий. Что бы было понятнее, я объясню задачу вообще, что именно я хочу:
Есть папка с исходными фотографиями, со своей структурой, из это папки нужно сделать несколько папок-копий, но фотографии в каждой из папок будут иметь разный размер, то есть выходит такая структура:
Цитата:
-ИСХОДНИКИ
--Категория 1
---Подкатегория 1
----Изображение 1
----Изображение 2
----Изображение 3
----Изображение 4
---Подкатегория 2
--Категория 2
---Подкатегория 1
----Изображение 1
----Изображение 2
----Изображение 3
Из этой структуры мне нужно получить
Цитата:
-ОБРАБОТАННЫЕ
--400х400
--Категория 1
---Подкатегория 1
----Изображение 1
----Изображение 2
----Изображение 3
----Изображение 4
---Подкатегория 2
--Категория 2
---Подкатегория 1
----Изображение 1
----Изображение 2
----Изображение 3
--200х200
--Категория 1
---Подкатегория 1
----Изображение 1
----Изображение 2
----Изображение 3
----Изображение 4
---Подкатегория 2
--Категория 2
---Подкатегория 1
----Изображение 1
----Изображение 2
----Изображение 3
--80х80
--Категория 1
---Подкатегория 1
----Изображение 1
----Изображение 2
----Изображение 3
----Изображение 4
---Подкатегория 2
--Категория 2
---Подкатегория 1
----Изображение 1
----Изображение 2
----Изображение 3
Для начала я делаю объект, который состоит из названия папок-размеров(те что выделены жирным в структуре) и настроек (на данном этапе это размер самих фотографий, который я буду передавать в модуль обработки фото):
// Размеры картинок
var settings = {
    '400x400':'400, 400' //КАРТОЧКА ТОВАРА: Основная фотография
    ,'80x80':'80, 80' //КАРТОЧКА ТОВАРА: сопутсвующий товар
    ,'200x200':'200, 200' //КАРТОЧКА ТОВАРА: хит продаж
    ,'120x120':'120, 120' //КАТЕГОРИИ: может пригодиться
    ,'265x265':'265, 265' //КАТЕГОРИИ: Фото позици
    ,'190x190':'190, 190' //КАТЕГОРИИ: хит продаж
    ,'175x175':'175, 175' //ОБЩИЕ: просмотренные

};

Далее я переделал первую функцию, walkSync() так, что бы она в структуре сразу же создала и папки 400x400, 80x80, 200x200 и т.д. Для этого в функцию я добавил цикл для объекта settings:

function walkSync (dir, filelist = []) {
    fs.readdirSync(dir).forEach(file => {
        const dirFile = path.join(dir, file);
        for(value in settings){
            if(!fs.existsSync("./products/" + value + "/")){
                fs.mkdirSync("./products/" + value + "/");
            }
            replaceDirPath = dir.replace("sources\\products\\", replaceDir + value + "/");
            if(!fs.existsSync(replaceDirPath)){
                fs.mkdirSync(replaceDirPath);
            }
        }


    try {
        filelist = walkSync(dirFile, filelist);

    }
    catch (err) {
        if (err.code === 'ENOTDIR' || err.code === 'EBUSY') filelist = [...filelist, dirFile];
    else throw err;
    }
});

Теперь эта функция полностью создала мне нужную структуру. Далее я пробую по этой структуре раскидать копии файлов из исходников
Для этого результат работы функции, массив, я принимаю в переменную list и прохожусь по нему циклом, копируя файлы по папкам из исходного каталога

var list = walkSync(dir);

list.forEach(function (v) {
    var dest = v,
        target = v.replace("sources\\products\\", replaceDir);
    fs.copyFile(dest, target, 0,(err)=>{
        if(err) console.log(err);
    });
});

Все работает как нужно, копии раскидались по нужным папкам.
Теперь пришло время основной задачи - обработка фотографий, для этого используется модуль jimp

Теперь, вместо копирования (fs.copyFile) я пользуюсь модулем jimp, ему нужно указать откуда берем файл и куда кладем - то есть по сути он сам занимается копированием, делаю функцию обработки фото:
function renderImg(dest, target){
    jimp.read(dest, (err, img) => {
        if (err) throw err;
        img
            //.resize() // resize
            //.quality(60) // set JPEG quality
            //.greyscale()
            .write(target); // save
});
}

и добавляю ее в цикл, вместо функции копирования, теперь цикл выглядит так:
//Цикл обработки и размещения файлов
list.forEach(function (v) {
    var dest = v;
    for(value in settings){
        var target = v.replace("sources\\products\\", replaceDir  + value + "\\");
        renderImg(dest, target); //Обработка файлов и копирование
    }


});

Но тут я и получаю ошибку "Error: EMFILE: too many open files"
Как я понимаю jimp долго обрабатывает каждый файл и не успевает выполнить то, что ему дает цикл, таким образом открытых файлов становиться больше, чем можно, в моем случае это 256. Фотографий в исходной папке около 1700 на данный момент, но они еще и умножаться на количество папок-размеров, то есть больше 10к.

Подскажите пожалуйста, как можно избежать такой проблемы? Опыта у меня мало, чувствую, что код написан коряво, но я это писал несколько дней, уже не знаю куда и смотреть. Возможно, как-то можно тормозить цикл и возбуждать его по событию или как-то вообще все по другому сделать? Буду рад любому пояснению
Ответить с цитированием