Santehnick,
если двоеточие неиспользуется больше то можно так
var sm = ' test :smile: :smile1: test'.match(/([^:\s]+)(?=:)/g);
alert(sm);
иначе так ...
var reg = /:([^:\s]+):/g;
var str = "test: :smile: :smile1: :test";
var sm = [], arr= [];
while ((arr = reg.exec(str))!=null)
{
sm.push(arr[1])
}
alert(sm);