Сталкивался с такой проблемой, делайте так при закрытии:
$("#dialog").dialog('destroy').remove();
должно сработать. То есть тут происходит удаление DOM элемента.
Если это не сработает, то посмотрите через любой DOM-инспектор (Firebug), что там надо почистить.