[danik.js]

какой-то готовый инструмент для синтаксического анализа строки.

https://github.com/zaach/jison

Грамматика JS там в примерах есть, а вот лексем вроде нету. Но найти можно если сильно захотеть.