Вот это место. Вы вычисляете смещение С ТЕКУЩИМ scale'ом. А масштабирующий scale может отличаться, поскольку является суммой нескольких предыдущих.
// Вычисляю смещение относительно мыши и необходимого положения масштабируемого изображения
var offsetX = x - x * scale;
var offsetY = y - y * scale;