Потому что нужно форматировать свой код:
$(document).ready(function(){
$(".comment").mouseup(function(e){
qtext = $(this).parents("div.postbody");
if (window.getSelection)
theSelection = window.getSelection().toString();
else if (document.getSelection)
theSelection = document.getSelection();
else if (document.selection)
theSelection = document.selection.createRange().text;
});
$(".quote").click(function () {
uname = qtext.find(".name").text();
$('.sceditor-container')[0].value += '[quote="' + uname + '"]' + theSelection + '[/quote]'
});
});
Так сразу становится видно где лишние скобки.