Получилось сделать немного по другому.
$(function(){
$('#ub_enter').click(function() {
$('.modal').css('display', 'block');
});
var inside_div = false;
$('.modal').hover(function(){
inside_div = true;
}, function(){
inside_div = false;
});
$(document).mouseup(function(){
if(! inside_div) $('.modal').hide();
});
});