Вот пример работы немного подправленого WYSIWYGа - NicEdit.js
NicTexEdit
Остальные WYSIWYG тоже можно легко научить заменять выделенный текст на формулы, для этого в скрипте tex.js есть функция
replaceSelectionFragment(), которая и делает преобразования независимо от WYSIWYG.
Потестите, критика и предложения приветствуются
