Вот так открывается и закрывается: $("#element").dialog().dialog("open"); :)

JQuery dialog
 

сначала инициализируем диалог
ставим autoOpen: false!

$("#dialog").dialog({autoOpen: false});

а по кнопке вызываем

$("#dialog").dialog('open');