[Aetae]

подскажите где ошибка.

Ошибки нет, просто глобальный match не сохраняет скобки - только вхождения строки.

Убрать последнюю скобку ещё можно( /math\.\w+(?=\()/g ), но в целом не получится. Реальные задачи решаются гораздо проще.