Прикольный способ обойти отсутствие возможности использовать негативный просмотр назад: отбратить строку и использовать негативный просмотр вперед, а потом снова обратить.
var text = "Строка один (тест), ещё текст(скобки) здесь.\nНовая строка (скобка)\n#Третья строка (текст в скобках) и (еще) текст.";
String.prototype.reverse = function () {
return this.split('').reverse().join('');
};
alert( text.reverse().replace(/\)(.*?)\((?!.*#$)/gm, '}$1{').reverse() );