Я не знаток регекспов но похоже как-то так
var re = /,|!|\.|\?/g;
var str = "Моя,, супер!!! стро???ка для..!тес,т!?а";
var newstr = str.replace(re, "+")
Точку и вопросительный знак экранируем, они специальные
g - все совпадения обработать
http://javascript.ru/RegExp
http://javascript.ru/string/replace