Всем здравствуйте.
Тема такая: нужно делать много(30k+) insert-запросов в MsSQL из ноды.
Вроде как реализовал, но через одно место. Все запросы шлю в один коннекшн.
Если слать не большими порциями, по 3-4к то все ок. Если все сразу, то такое ощущение что база захлебывается и нода схавав 1Гб рамы висит, периодически освобождая и снова съедая небольшой (40-140Мб) кусок памяти. Продебажить и точно понять что к чему - не удалось.
Я понял что надо как-то давать запросы дозировано и решил заюзать генератор.
Толком их не понимая и юзая ужасным образом сделал следующее:
В качестве модуля под MsSQL решил взять mssql-q.
function saveToDB(queries) {
// ...
let db = new sql(config)
queriesRunner(queryGen, db, queries)
// ...
}
function* queryGen(db, query) {
yield db.DataQuery(query)
}
function queriesRunner(generator, db, queries) {
if (queries.length < 1) return
let query = queries.shift()
let gen = generator(db, query.query)
let next = gen.next()
next.value.then(
result => queriesRunner(generator, db, queries),
err => console.error(query.query, '\n---> ' + err + '\n')
)
}
Проблема в том что все это работает через раз, то идеально все (30к запросов за раз), то тупо висит и получается только небольшими частями слать запросы (3-4к)
Как вообще надо писать подобные вещи? Хочу понять как это реализовать красивее и проще
Заранее огромное спасибо
