katamason,
перед открытием можно присваивать необходимый класс а отследить вы веть чемто его открываите ставьте перед открытием что вам необходимо
вариант
$( "#opener" ).click(function(){
var wiw = $( window ).innerWidth();
if ( wiw >= 600) $("#dialog").dialog( "option", "dialogClass", "new_class" );
$( "#dialog" ).dialog( "open" );
return false;
});