danik.js, всё-таки это глюк в tinyMCE - стоило избавиться от установки слоя в "dialog" и всё заработало.
Однако, в tinyMCE есть опция
tinyMCEPopup (
http://www.tinymce.com/wiki.php/API3:class.tinyMCEPopup) но с которой я совсем не возьму в толк как работать.