<div class="wrap">
   <a href="#" id="ub_enter">Войти</a>
   <div class="modal">test</div>
</div>

$(function(){
   $('#ub_enter').click(function() {
      $('.modal').css('display', 'block');
   });
});

$(document).bind("click", f);
function f(){
   // здесь смотриш по координатам попали ли в твоё окно этим щелчком.
   // если непопали то $(this).hide() и $(document).unbind(f)
   // если попали, то можно нечего не делать
}

$(function(){
	$('#ub_enter').click(function() {
		$('.modal').css('display', 'block');
	});
	
	var inside_div = false;
	
	$('.modal').hover(function(){ 
		inside_div = true; 
	}, function(){ 
		inside_div = false; 
	});
	
	$(document).mouseup(function(){ 
		if(! inside_div) $('.modal').hide();
	});
});