Ну во-первых надо начинать с кода собсно разметку формирующего.
Простейший способ который срзу приходит на ум - перебор всех элементов со скобками по очереди, начиная с текущей с применением счётчиков. Т.е. если i==0 и скобка закрывающая - подсвечивать, если ещё одна открывающая - i++, закрывающая i--.
Но тут же на ум пришёл иной, более хитрый вариант: при формировании подсветки перед каждой открывающей скобкой открывать особый контейнер контейнер, после закрывающей закрывать, т.е.:
<span><span>(</span>1, ... 2,3<span>)</span></span>
Тогда открывающая и закрывающая скобки будут элементарно доступны через this.parentNode.firstChild и this.parentNode.lastChild.)