выровнять диалог
 

https://jsfiddle.net/9rqdqo0c/
как выровнять по центру диалог

Если ширина известна и фиксированная, то можно в CSS прописать левую позицию 50% и левый отрицательный отступ равный половине ширины.

ширина и высота не известна, в реальном примере я вызываю так

success: function(data){

                $('#modal').dialog({ height:'auto',  width:'auto', position: { my: 'center', at: 'center' } }).html(data);
            }

А задать? И height:'auto' не лишнее?

а без задавания размеров никак?
если я вызываю диалог в первый раз то он сам выравнивает свои размеры и центрируется по центру
если я вызываю тот же диалог во второй раз тогда криво работает

Если диалог это нечто не объемное по размеру и примерно всегда равное, то лучше задать размер по ширине фиксированный, и посредством CSS центрировать. Если нет, то ширина диалога будет известна только после помещения его в документ, после чего с помощью JS можно отцентрировать.