лучше это делать на сервере, если речь не идет о добавлении пользователем содержимого без перезагрузки страницы

Вместо "[,.\s\r\n()]" можно \W (большая W)

\Wsmile(?=\W)

Я же писал, что это для юзерскрипта.

забыл

это актуально скорее для отдельных смайлов
вообще, стоит посмотреть, как это у других делается. На этом форуме, например, можно вставлять смайлы в сере:)дину слов. Кроме того, могут быть такие моменты, как пропущенные пробелы (между смайлом и концом/началом слова). А еще смайлы могут быть прямо в начале/конце строки