[y0uix]

for (var i = 0, m; i < Math.round(braces.length / 2); i += 1)

Math.round тут излишне конечно. Идея собственно в том, чтобы мэтчить крайние символы-пары, а внутренность сперва проверять на четное количество скобок.