dialog('isOpen') не работает.
 

Постоянно пишет что диалог создан.

var dialog1=document.getElementById("zvonok");

if (dialog1.dialog('isOpen'))
alert('true');
else
alert('false');

Как им вообще работать в jQuery?

1) Почему не в соответствующем разделе?
2) хочешь юзать jЗапрос - таки юзай:

alert( $('#zvonok').dialog('isOpen') )