[Erolast]

Подробный гайд

Ну а конкретно в этом случае нужно сделать так:

var text = '[a url="vk.com"]vk[/a]'
      text = text.replace(/\[a url=(.*)](.*)\[\/a]/, "<a href=$1>$2</a>");