На сколько мне известно в FF для открытия модальных окон нужны расширенные права, а в Opera это вообще не возможно (открытие действительно
модального окна), но можно попробовать использовать window.open() вместо используемого Вами window.showModalDialog().
А вообще, похожая проблема обсуждалась тут
http://xpoint.ru/forums/programming/...ad/29423.xhtml